# 小型言語モデル

MiniRAGは、小型言語モデル用に設計された検索強化生成システムであり、RAGプロセスの簡素化と効率化を目指しています。意味を理解する異種グラフ索引メカニズムと軽量なトポロジ拡張検索手法により、従来のRAGフレームワークにおける小型モデルの性能制限の問題を解決します。このモデルは、モバイルデバイスやエッジコンピューティング環境など、リソースの限られた環境で顕著な利点を発揮します。また、MiniRAGはオープンソースであるため、開発者コミュニティによる容易な採用と改良が可能です。

Phi オープンモデルは、Microsoft Azureが提供する小型言語モデル（SLM）であり、その卓越した性能、低コスト、低遅延によって、小型言語モデルの可能性を再定義しています。Phi モデルは、サイズを小さく保ちながら強力なAI能力を提供し、リソース消費を削減し、費用対効果の高い生成AIの展開を保証します。Phi モデルの開発は、責任、透明性、公平性、信頼性と安全性、プライバシーとセキュリティ、そして包括性といったMicrosoftのAI原則に従って行われています。

SLM_Surveyは、小型言語モデル（SLMs）に特化した研究プロジェクトです。調査と計測を通じて、これらのモデルに関する深い理解と技術評価を提供することを目的としています。本プロジェクトは、Transformerベースのデコーダーのみの言語モデルを対象とし、パラメーター数は1億から50億の間です。59個の最先端のオープンソースSLMを調査し、その技術革新を分析し、常識推論、コンテキスト学習、数学、プログラミングなど複数の分野で能力を評価しました。さらに、推論遅延とメモリ使用量を含む実行時コストについてもベンチマークテストを実施しました。これらの研究は、SLM分野の研究推進に重要な価値を持ちます。

Nemotron-Mini-4B-Instructは、NVIDIAが開発した小型言語モデルです。蒸留、枝刈り、量子化による最適化により、速度の向上とデバイス上での展開が容易になっています。これは、NVIDIAの大規模言語モデル圧縮技術を用いて、nvidia/Minitron-4B-BaseをNemotron-4 15Bから枝刈りと蒸留によって得られた、微調整済みのモデルです。この指示モデルは、ロールプレイング、検索強化型質問応答（RAG QA）、機能呼び出し向けに最適化されており、4096トークンのコンテキスト長をサポートし、商用利用可能です。

SmolLMは、1.35億、3.6億、17億パラメータのバージョンを含む、最新の小型言語モデルシリーズです。これらのモデルは、厳選された高品質のトレーニングデータセットでトレーニングされており、ローカルデバイスでの実行が可能で、推論コストの大幅な削減とユーザープライバシーの向上を実現します。SmolLMモデルは、常識推論と世界知識をテストする複数のベンチマークテストで優れたパフォーマンスを示しています。

MobiLlamaは、リソース制約のあるデバイス向けに設計された小型言語モデル（SLM）です。デバイス上の処理ニーズ、省電力性、低メモリ消費、応答効率を満たす、正確で軽量なソリューションを提供することを目指しています。MobiLlamaは、より大規模なモデルを基に、精緻に設計されたパラメータ共有スキームにより、事前学習と展開のコストを削減します。