# 小型語言模型

MiniRAG是一個針對小型語言模型設計的檢索增強生成系統，旨在簡化RAG流程並提高效率。它通過語義感知的異構圖索引機制和輕量級的拓撲增強檢索方法，解決了小型模型在傳統RAG框架中性能受限的問題。該模型在資源受限的場景下具有顯著優勢，如在移動設備或邊緣計算環境中。MiniRAG的開源特性也使其易於被開發者社區接受和改進。

SLM_Survey是一個專注於小型語言模型（SLMs）的研究項目，旨在通過調研和測量，提供對這些模型的深入瞭解和技術評估。該項目涵蓋了基於Transformer的、僅解碼器的語言模型，參數範圍在100M至5B之間。通過對59個最先進的開源SLMs進行調研，分析了它們的技術創新，並在多個領域評估了它們的能力，包括常識推理、上下文學習、數學和編程。此外，還對它們的運行時成本進行了基準測試，包括推理延遲和內存佔用。這些研究對於推動SLMs領域的研究具有重要價值。

Nemotron-Mini-4B-Instruct 是 NVIDIA 開發的一款小型語言模型，通過蒸餾、剪枝和量化優化，以提高速度和便於在設備上部署。它是從 Nemotron-4 15B 通過 NVIDIA 的大型語言模型壓縮技術剪枝和蒸餾得到的 nvidia/Minitron-4B-Base 的微調版本。此指令模型針對角色扮演、檢索增強問答（RAG QA）和功能調用進行了優化，支持 4096 個令牌的上下文長度，已準備好用於商業用途。

SmolLM是一系列最新的小型語言模型，包含135M、360M和1.7B參數的版本。這些模型在精心策劃的高質量訓練語料庫上進行訓練，能夠實現在本地設備上運行，顯著降低推理成本並提高用戶隱私。SmolLM模型在多種基準測試中表現優異，測試了常識推理和世界知識。

MobiLlama是一個為資源受限設備設計的小型語言模型（SLM），它旨在提供準確且輕量級的解決方案，以滿足設備上的處理需求、能效、低內存佔用和響應效率。MobiLlama從更大的模型出發，通過精心設計的參數共享方案來降低預訓練和部署成本。