# 自迴歸模型

Aurora是Grok推出的新一代自迴歸圖像生成模型，它通過訓練數十億的互聯網樣本，具備了深刻的世界理解能力。Aurora擅長於照片級真實感渲染和精確遵循文本指令，支持多模態輸入，能夠從用戶提供的圖像中獲取靈感或直接編輯用戶圖像。Aurora的新功能在𝕏平臺上的選定國家已經可用，並將在一週內向所有用戶推出。

OLMo 2 13B是由Allen Institute for AI (Ai2)開發的一款基於Transformer的自迴歸語言模型，專注於英文學術基準測試。該模型在訓練過程中使用了高達5萬億個token，展現出與同等規模的全開放模型相媲美或更優的性能，並在英語學術基準上與Meta和Mistral的開放權重模型競爭。OLMo 2 13B的發佈包括所有代碼、檢查點、日誌和相關的訓練細節，旨在推動語言模型的科學研究。

Pyramid Flow 是一種高效的視頻生成建模技術，它基於流匹配方法，通過自迴歸視頻生成模型來實現。該技術主要優點是訓練效率高，能夠在開源數據集上以較低的GPU小時數進行訓練，生成高質量的視頻內容。Pyramid Flow 的背景信息包括由北京大學、快手科技和北京郵電大學共同研發，並且已經在多個平臺上發佈了相關的論文、代碼和模型。

Open-MAGVIT2是由騰訊ARC實驗室開源的一個自迴歸圖像生成模型系列，包含從300M到1.5B不同規模的模型。該項目復現了Google的MAGVIT-v2分詞器，實現了在ImageNet 256×256數據集上達到1.17 rFID的先進重建性能。通過引入不對稱分詞技術，將大詞彙表分解為不同大小的子詞彙表，並引入'下一個子標記預測'來增強子標記間的交互，以提高生成質量。所有模型和代碼均已開源，旨在推動自迴歸視覺生成領域的創新和創造力。

Lumina-mGPT是一個多模態自迴歸模型家族，能夠執行各種視覺和語言任務，特別是在從文本描述生成靈活的逼真圖像方面表現突出。該模型基於xllmx模塊實現，支持以LLM為中心的多模態任務，適用於深度探索和快速熟悉模型能力。

LlamaGen是一個新的圖像生成模型家族，它將大型語言模型的原始下一個token預測範式應用於視覺生成領域。該模型通過適當的擴展，無需對視覺信號的歸納偏差即可實現最先進的圖像生成性能。LlamaGen重新審視了圖像分詞器的設計空間、圖像生成模型的可擴展性屬性以及它們的訓練數據質量。

VAR是一種新的視覺自迴歸建模方法,能夠超越擴散模型,實現更高效的圖像生成。它建立了視覺生成的冪律scaling laws,並具備零shots的泛化能力。VAR提供了一系列不同規模的預訓練模型,供用戶探索和使用。