# 文本到圖像生成

1Prompt1Story是一種創新的文本到圖像生成技術，能夠在無需額外訓練的情況下，通過單個提示生成一致的圖像序列。該技術利用語言模型的上下文一致性，通過單個提示串聯所有描述，生成具有身份一致性的圖像。它支持多角色生成、空間控制生成以及真實圖像個性化等功能，具有廣泛的應用前景。該模型主要面向需要高效、一致圖像生成的創作者和開發者，可用於故事創作、動畫製作等領域。

Glyph-ByT5是一種定製的文本編碼器，旨在提高文本到圖像生成模型中的視覺文本渲染準確性。它通過微調字符感知的ByT5編碼器並使用精心策劃的成對字形文本數據集來實現。將Glyph-ByT5與SDXL集成後，形成了Glyph-SDXL模型，使設計圖像生成中的文本渲染準確性從低於20%提高到接近90%。該模型還能夠實現段落文本的自動多行佈局渲染，字符數量從幾十到幾百字符都能保持較高的拼寫準確性。此外，通過使用少量高質量的包含視覺文本的真實圖像進行微調，Glyph-SDXL在開放域真實圖像中的場景文本渲染能力也有了大幅提升。這些令人鼓舞的成果旨在鼓勵進一步探索為不同具有挑戰性的任務設計定製的文本編碼器。

LaVi-Bridge是一種針對文本到圖像擴散模型設計的橋接模型,能夠連接各種預訓練的語言模型和生成視覺模型。它通過利用LoRA和適配器,提供了一種靈活的插拔式方法,無需修改原始語言和視覺模型的權重。該模型與各種語言模型和生成視覺模型兼容,可容納不同的結構。在這一框架內,我們證明了通過整合更高級的模塊(如更先進的語言模型或生成視覺模型)可以明顯提高文本對齊或圖像質量等能力。該模型經過大量評估,證實了其有效性。

PIXART-α是一種基於Transformer的文本到圖像生成模型，其圖像生成質量與最先進的圖像生成器相當，支持高分辨率圖像合成，訓練速度明顯優於現有的大規模T2I模型，訓練成本低，可節省近30萬美元，並減少90%的CO2排放。PIXART-α在圖像質量、藝術性和語義控制方面表現出色，可為AIGC社區和初創企業提供新的見解，加速從頭開始構建高質量、低成本的生成模型。