# 零樣本推理

Steiner 是由 Yichao 'Peak' Ji 開發的推理模型系列，專注於通過強化學習在合成數據上訓練，能夠在推理時探索多種路徑並自主驗證或回溯。該模型的目標是復現 OpenAI o1 的推理能力，並驗證推理時的擴展曲線。Steiner-preview 是一個正在進行中的項目，其開源目的是為了分享知識並獲取更多真實用戶的反饋。儘管該模型在某些基準測試中表現出色，但尚未完全實現 OpenAI o1 的推理擴展能力，因此仍處於開發階段。

MobileLLM-600M是由Meta開發的自迴歸語言模型，採用了優化的Transformer架構，專為資源受限的設備端應用而設計。該模型集成了SwiGLU激活函數、深度薄架構、嵌入共享和分組查詢注意力等關鍵技術。MobileLLM-600M在零樣本常識推理任務上取得了顯著的性能提升，與之前的125M/350M SoTA模型相比，分別提高了2.7%/4.3%的準確率。該模型的設計理念可擴展至更大模型，如MobileLLM-1B/1.5B，均取得了SoTA結果。

MobileLLM-125M是由Meta開發的自動迴歸語言模型，它利用優化的變換器架構，專為資源受限的設備端應用而設計。該模型集成了包括SwiGLU激活函數、深度薄架構、嵌入共享和分組查詢注意力等多項關鍵技術。MobileLLM-125M/350M在零樣本常識推理任務上相較於前代125M/350M SoTA模型分別取得了2.7%和4.3%的準確率提升。該模型的設計理念可有效擴展到更大模型，MobileLLM-600M/1B/1.5B均取得了SoTA結果。