# 指示微調整

LLaVA-Videoは、ビデオ指示微調整に特化した大規模多モーダルモデル（LMMs）です。高品質な大量の生のデータをウェブから取得する困難さを解決するために、高品質な合成データセットLLaVA-Video-178Kを作成しました。このデータセットには、詳細なビデオ説明、オープンエンドの質問応答、多肢選択式の質問応答などのタスクが含まれており、ビデオ言語モデルの理解力と推論能力の向上を目指しています。LLaVA-Videoモデルは複数のビデオベンチマークテストで優れた性能を示し、データセットの有効性を証明しています。

Data-Juicerは、大規模言語モデル（LLM）に高品質で豊富、かつ扱いやすいデータを提供することを目的とした、ワンストップのマルチモーダルデータ処理システムです。システム化され、再利用可能なデータ処理ライブラリを提供し、データとモデルの協調開発をサポートします。サンドボックスラボを通して迅速な反復処理を実現し、データとモデルに基づいたフィードバックループ、可視化、多角的な自動評価などの機能を提供することで、ユーザーがデータとモデルをより深く理解し、改善する支援をします。Data-Juicerは積極的に更新とメンテナンスが行われており、機能、データレシピ、データセットが定期的に強化?追加されています。

Llama3.1-70B-Chinese-Chatは、Meta-Llama-3.1-70B-Instructモデルを基盤とした指示微調整言語モデルであり、中英両言語対応ユーザー向けに設計されています。ロールプレイングやツール使用など、多様な機能を備えています。ORPOアルゴリズムによる微調整により、中国語の質問に英語で回答したり、回答に中国語と英語が混在する問題が大幅に減少しました。特に、ロールプレイング、機能呼び出し、数学的能力において顕著な向上が見られます。

Meta Llama 3は、Metaがリリースした最新の超大規模言語モデルです。個人、クリエイター、研究者、あらゆる企業に対し、大規模言語モデルの可能性を開放することを目指しています。8Bから70Bパラメータまでの様々な規模のバージョンがあり、事前学習済みモデルと指示微調整済みモデルの両方が提供されています。GitHubリポジトリを通じて提供されており、ユーザーはモデルの重みとトークナイザをダウンロードしてローカル環境で推論を実行できます。Meta Llama 3の公開は、大規模言語モデル技術の普及と応用をさらに進めるものであり、広範な研究と商業的な可能性を秘めています。

Gemma-2-27B-Chinese-Chatは、google/gemma-2-27b-itを基にした、中英両言語ユーザー向けに設計された初の指示微調整言語モデルです。ロールプレイングやツール使用など、多様な機能を備えています。ORPOアルゴリズムで微調整されており、中英両言語での会話、ロールプレイング、数学計算などの性能が大幅に向上しています。

MG-LLaVAは、低解像度、高解像度、オブジェクト中心の特徴を含む多粒度視覚処理パイプラインを統合することで、モデルの視覚処理能力を強化する機械学習言語モデル（MLLM）です。細部を捉えるために、高解像度視覚エンコーダを追加し、Conv-Gate融合ネットワークを通じて基本的な視覚特徴と融合させます。さらに、オフライン検出器によって識別されたバウンディングボックスを使用してオブジェクトレベルの特徴を統合することで、モデルのオブジェクト認識能力をさらに向上させます。MG-LLaVAは、公開されているマルチモーダルデータのみを使用して指示微調整によってトレーニングされ、優れた知覚能力を示します。

Mistral-7B-Instruct-v0.2は、Mistral-7B-v0.2モデルを指示微調整した大規模言語モデルです。32kのコンテキストウィンドウと1e6のRope Theta値などの特徴を備えています。このモデルは、与えられた指示に基づいてテキスト出力を生成することができ、質疑応答、ライティング、翻訳などの様々なタスクに対応します。指示微調整により、指示の理解と実行能力が向上しています。現時点では、特段のモデレーションメカニズムは搭載されていませんが、今後、より多くのシナリオへの展開に対応できるよう最適化を進めていきます。