# 模型架構

MobileLLM是一種針對移動設備優化的小型語言模型，專注於設計少於十億參數的高質量LLMs，以適應移動部署的實用性。與傳統觀念不同，該研究強調了模型架構在小型LLMs中的重要性。通過深度和薄型架構，結合嵌入共享和分組查詢注意力機制，MobileLLM在準確性上取得了顯著提升，並提出了一種不增加模型大小且延遲開銷小的塊級權重共享方法。此外，MobileLLM模型家族在聊天基準測試中顯示出與之前小型模型相比的顯著改進，並在API調用任務中接近LLaMA-v2 7B的正確性，突出了小型模型在普通設備用例中的能力。

RWKV 是一種革新的深度學習架構，結合了 RNN 和 Transformer 的最佳特性。它提供出色的性能，快速的推理和訓練，並且不依賴自注意力機制，節省 VRAM，支持 ' 無限 ' 的上下文長度。RWKV 在多個語言和編碼中表現出色，成為全球開發者的熱門選擇，推動了開源大語言模型的進步。