# 變換器架構

MobileLLM-125M是由Meta開發的自動迴歸語言模型，它利用優化的變換器架構，專為資源受限的設備端應用而設計。該模型集成了包括SwiGLU激活函數、深度薄架構、嵌入共享和分組查詢注意力等多項關鍵技術。MobileLLM-125M/350M在零樣本常識推理任務上相較於前代125M/350M SoTA模型分別取得了2.7%和4.3%的準確率提升。該模型的設計理念可有效擴展到更大模型，MobileLLM-600M/1B/1.5B均取得了SoTA結果。

Aya Expanse是一個具有高級多語言能力的開放權重研究模型。它專注於將高性能的預訓練模型與Cohere For AI一年的研究成果相結合，包括數據套利、多語言偏好訓練、安全調整和模型合併。該模型是一個強大的多語言大型語言模型，服務於23種語言，包括阿拉伯語、中文（簡體和繁體）、捷克語、荷蘭語、英語、法語、德語、希臘語、希伯來語、印地語、印尼語、意大利語、日語、韓語、波斯語、波蘭語、葡萄牙語、羅馬尼亞語、俄語、西班牙語、土耳其語、烏克蘭語和越南語。

Janus是一個創新的自迴歸框架，它通過分離視覺編碼來實現多模態理解和生成的統一。這種解耦不僅緩解了視覺編碼器在理解和生成中的角色衝突，還增強了框架的靈活性。Janus超越了以往的統一模型，並與特定任務的模型性能相匹配或超越。Janus的簡單性、高靈活性和有效性使其成為下一代統一多模態模型的強有力候選者。

Janus是一個創新的自迴歸框架，通過將視覺編碼分離成不同的路徑，同時利用單一的、統一的變換器架構進行處理，解決了以往方法的侷限性。這種解耦不僅減輕了視覺編碼器在理解和生成中的角色衝突，還增強了框架的靈活性。Janus的性能超越了以往的統一模型，並且達到了或超過了特定任務模型的性能。Janus的簡單性、高靈活性和有效性使其成為下一代統一多模態模型的強有力候選。

Segment Anything Model 2 (SAM 2)是Meta公司AI研究部門FAIR推出的一個視覺分割模型，它通過簡單的變換器架構和流式內存設計，實現即時視頻處理。該模型通過用戶交互構建了一個模型循環數據引擎，收集了迄今為止最大的視頻分割數據集SA-V。SAM 2在該數據集上訓練，提供了在廣泛任務和視覺領域中的強大性能。