# 混合選好最適化

InternVL2.5-MPOは、InternVL2.5と混合選好最適化（MPO）に基づくマルチモーダル大規模言語モデルシリーズです。これは、新しく増分事前学習されたInternViTと、InternLM 2.5やQwen 2.5などの様々な事前学習済み大規模言語モデル（LLM）を、ランダムに初期化されたMLPプロジェクターを使用して統合することで、マルチモーダルタスクにおいて優れた性能を発揮します。このモデルシリーズは約300万サンプルを含むマルチモーダル推論選好データセットMMPRでトレーニングされており、効率的なデータ構築プロセスと混合選好最適化技術により、モデルの推論能力と回答品質が向上しています。

InternVL2_5-26B-MPOは、多様なモダリティに対応する大規模言語モデル（MLLM）です。InternVL2.5をベースに、混合選好最適化（Mixed Preference Optimization, MPO）を用いてモデル性能をさらに向上させています。画像やテキストを含む多様なモダリティのデータを処理でき、画像キャプション生成、ビジュアルクエスチョン?アンサーリングなど幅広い用途に適用可能です。画像の内容と密接に関連したテキストの理解と生成が可能である点が重要であり、多様なモダリティに対応する人工知能の境界を押し広げています。製品の背景情報には、多様なモダリティに対応するタスクにおける卓越した性能と、OpenCompass Leaderboardにおける評価結果が含まれます。本モデルは、研究者や開発者が多様なモダリティに対応する人工知能の可能性を探求し、実現するための強力なツールを提供します。

InternVL2_5-8B-MPO-AWQは、OpenGVLabが開発した多様なモダリティに対応する大規模言語モデルです。InternVL2.5シリーズをベースに、混合選好最適化（Mixed Preference Optimization, MPO）技術を採用しています。このモデルは、視覚と言語の理解と生成において卓越した性能を示し、特に多様なモダリティを扱うタスクで優れた成果を上げています。視覚部分はInternViT、言語部分はInternLMまたはQwenを組み合わせ、ランダムに初期化されたMLPプロジェクターを用いた増分プリトレーニングにより、画像とテキストの深い理解と相互作用を実現しています。本技術の重要性は、単一画像、複数画像、動画データを含む様々なデータタイプを処理できる点にあり、多様なモダリティに対応する人工知能分野に新たなソリューションを提供します。

InternVL2-8B-MPOは、混合選好最適化（MPO）プロセスを導入することで、多様なモダリティ推論能力を強化した多様なモダリティ大規模言語モデル（MLLM）です。自動化された選好データ構築パイプラインを設計し、大規模な多様なモダリティ推論選好データセットであるMMPRを構築しました。InternVL2-8Bを初期化モデルとし、MMPRデータセットを用いてファインチューニングすることで、より強力な多様なモダリティ推論能力と、より少ない幻覚現象を実現しています。MathVistaにおいて67.0％の精度を達成し、InternVL2-8Bを8.7ポイント上回り、10倍規模のInternVL2-76Bに匹敵する性能を示しています。