# 多モーダル学習

InternViT-300M-448px-V2_5は、InternViT-300M-448pxをベースとした強化版です。ViT増分学習とNTP損失（Stage 1.5）を採用することで、特に大規模なウェブデータセットにおいて表現が不足している領域（多言語OCRデータや数学グラフなど）における視覚エンコーダによる視覚特徴抽出能力を向上させています。このモデルはInternViT 2.5シリーズの一部であり、前世代と同様の「ViT-MLP-LLM」モデルアーキテクチャを維持しつつ、新たに増分学習されたInternViTと様々な事前学習済みLLM（InternLM 2.5やQwen 2.5など）を統合し、ランダム初期化されたMLPプロジェクタを使用しています。

FakeShieldは、画像検出と位置特定（IFDL）分野における2つの主要な課題、すなわち検出原理のブラックボックス性と、異なる改ざん手法間の汎化能力の限定性を解決することを目的とした多モーダルフレームワークです。FakeShieldは、GPT-4を用いて既存のIFDLデータセットを強化し、FakeShieldの改ざん分析能力をトレーニングするための多モーダル改ざん記述データセット（MMTD-Set）を作成します。このフレームワークには、ドメインラベルガイドによる解釈可能な検出モジュール（DTE-FDM）と位置特定モジュール（MFLM）が含まれており、様々な種類の改ざん検出の説明を処理し、詳細なテキスト記述による位置特定を実現します。FakeShieldは、検出精度とF1スコアにおいて他の手法を上回り、解釈可能で優れたソリューションを提供します。

LLaVA-Videoは、ビデオ指示微調整に特化した大規模多モーダルモデル（LMMs）です。高品質な大量の生のデータをウェブから取得する困難さを解決するために、高品質な合成データセットLLaVA-Video-178Kを作成しました。このデータセットには、詳細なビデオ説明、オープンエンドの質問応答、多肢選択式の質問応答などのタスクが含まれており、ビデオ言語モデルの理解力と推論能力の向上を目指しています。LLaVA-Videoモデルは複数のビデオベンチマークテストで優れた性能を示し、データセットの有効性を証明しています。

4Mは、多様なビジョンタスクに対応し、多モーダル条件付き生成も可能な、多モーダル?マルチタスクモデルのトレーニングフレームワークです。実験分析を通じて、ビジョンタスクにおける汎用性と拡張性を示しており、ビジョン分野やその他の分野における多モーダル学習の更なる探求の基盤を築きます。

MyGOは、多モーダル知識グラフの補完を行うツールです。離散的なモーダル情報を細粒度のタグとして処理することで、補完精度を向上させます。MyGOはtransformersライブラリを用いてテキストタグの埋め込みを行い、多モーダルデータセット上で学習と評価を行います。カスタムデータセットに対応しており、実験結果を再現するためのトレーニングスクリプトも提供しています。