# マルチモーダル

OmniGen2は、ビジュアル言語モデルと拡散モデルを組み合わせた効率的なマルチモーダル生成モデルで、視覚理解、画像生成、および編集などの機能を備えています。オープンソースの特性により、研究者や開発者に対して強力な基礎を提供し、カスタマイズ可能なAIの探索を支援します。

MNN-LLM は、モバイルデバイスおよびローカルPCでの大規模言語モデルの展開を最適化し、高速化するための効率的な推論フレームワークです。モデルの量子化、ハイブリッドメモリー、ハードウェア固有の最適化によって、高メモリ消費と計算コストの問題に対処します。CPUベンチマークテストでは、他のフレームワークに比べて卓越した性能を示し、プライバシープロテクションと効率的な推論を必要とするユーザーに理想的です。

HunyuanCustom は、ユーザー定義の条件に基づいて特定のテーマのビデオを生成するためのマルチモーダルカスタムビデオ生成フレームワークです。この技術は、画像ID強化モジュールや時間 CASCADE の導入を通じて、テキスト、画像、音声、ビデオなどの多様な入力に対応しており、バーチャルキャラクターアドバタイジングやビデオ編集など、さまざまなシーンでの用途に適しています。

Liquidは、画像を離散コードに分解し、テキストトークンと特徴空間を共有することで、視覚理解とテキスト生成のシームレスな統合を促進する自己回帰生成モデルです。このモデルの主な利点は、外部で事前にトレーニングされた視覚埋め込みを必要とせず、リソースへの依存を削減し、スケール則を通じて理解と生成タスク間の相互促進効果を発見したことです。

InternVL3は、OpenGVLabがオープンソースで公開したマルチモーダル大規模言語モデル（MLLM）であり、優れたマルチモーダル認識と推論能力を備えています。このモデルシリーズは1Bから78Bまでの7つのサイズがあり、テキスト、画像、ビデオなどの様々な情報を同時に処理でき、優れた全体的な性能を示します。InternVL3は、工業用画像分析、3Dビジョン認識などの分野で優れた性能を発揮し、そのテキスト性能はQwen2.5シリーズを上回っています。このモデルのオープンソース化は、マルチモーダルアプリケーション開発に強力なサポートを提供し、マルチモーダル技術のより多くの分野への応用を促進するのに役立ちます。

Kimi-VLは、マルチモーダル推論、ロングコンテキストの理解、強力なエージェント機能のために設計された、高度な専門家混合型ビジョン言語モデルです。このモデルは、複数の複雑な分野で優れた性能を発揮し、28億パラメータの高効率性と、優れた数学的推論能力と画像理解能力を備えています。Kimi-VLは、最適化された計算性能と長い入力の処理能力により、マルチモーダルモデルの新たな基準を打ち立てています。

DreamActor-M1は、拡散トランスフォーマー(DiT)に基づいたヒューマンアニメーションフレームワークであり、きめ細やかな全体制御性、マルチスケール適応性、長期的な時間的一貫性を達成することを目指しています。本モデルは混合誘導によって、肖像画から全身アニメーションまで、様々なシーンに適用可能な、高表現力かつリアルなヒューマンビデオを生成できます。主な利点は高忠実度とアイデンティティ保持であり、ヒューマンビヘイビアアニメーションに新たな可能性をもたらします。

Gemini 2.5は、Googleが発表した最先端のAIモデルであり、効率的な推論能力とコーディング性能を備え、複雑な問題に対処し、複数のベンチマークテストで優れた成果を上げています。このモデルは、強化された基本モデルと事後トレーニングを組み合わせた新しい思考能力を導入し、より複雑なタスクをサポートし、開発者と企業に強力なサポートを提供することを目的としています。Gemini 2.5 Proは、Google AI StudioとGeminiアプリで使用でき、高度な推論とコーディング能力を必要とするユーザーに適しています。

Mistral-Small-3.1-24B-Base-2503は、240億パラメーターを持つ高度なオープンソースモデルであり、多言語と長文コンテキスト処理をサポートし、テキストとビジョンタスクに適しています。Mistral Small 3.1の基本モデルであり、強力なマルチモーダル能力を備え、企業のニーズに適しています。

Mistral OCR は、Mistral AI が開発した高度な光学文字認識 API であり、比類のない精度でドキュメントの内容を抽出して構造化することを目的としています。テキスト、画像、表、数式を含む複雑なドキュメントを処理し、Markdown 形式の結果を出力して、AI システムや検索強化生成（RAG）システムとの統合を容易にします。高精度、高速処理、マルチモーダル処理機能により、大規模なドキュメント処理シナリオで優れたパフォーマンスを発揮し、特に研究、法律、カスタマーサポート、歴史文献保存などの分野に適しています。Mistral OCR の価格は、標準使用量で 1000 ページあたり 1 ドル、大量処理で 2000 ページあたり 1 ドルです。また、特定のプライバシーニーズに対応する企業向け自己ホスティングオプションも提供しています。

Gemini Roboticsは、Google DeepMindが発表した、ロボットアプリケーション向けに設計された高度なAIモデルです。Gemini 2.0アーキテクチャに基づいており、視覚、言語、動作（VLA）の融合により、ロボットは複雑な現実世界のタスクを実行できます。この技術の重要性は、ロボットを研究室から日常生活や産業用途へと進歩させることであり、将来のインテリジェントロボットの発展の基礎を築きます。Gemini Roboticsの主な利点には、強力な汎化能力、対話性、器用さがあり、さまざまなタスクや環境に適応できます。現在、この技術は研究開発段階にあり、具体的な価格や市場での位置付けはまだ明確ではありません。

R1-Omniは、強化学習によってモデルの推論能力と汎化能力を向上させた、革新的なマルチモーダル感情認識モデルです。HumanOmni-0.5Bを基に開発され、感情認識タスクに特化しており、視覚および音声モーダル情報から感情分析を行うことができます。主な利点としては、強力な推論能力、感情認識性能の顕著な向上、および分布外データにおける優れたパフォーマンスが挙げられます。感情分析、スマートカスタマーサービスなどの分野でマルチモーダルな理解が必要なシナリオに適用でき、重要な研究および応用価値を有しています。

智元汎用具象基盤大規模モデルGO-1は、智元が発表した革新的な人工知能モデルです。このモデルは、革新的なVision-Language-Latent-Action（ViLLA）アーキテクチャに基づいており、マルチモーダル大規模モデル（VLM）と混合専門家（MoE）システムを通じて、視覚と言語入力からロボット動作の実行までの効率的な変換を実現しています。GO-1は、人間のビデオと実際のロボットデータを使用して学習することができ、強力な汎化能力を備えており、非常に少ないデータ、あるいはゼロショットでも新しいタスクや環境に迅速に適応できます。主な利点としては、効率的な学習能力、強力な汎化性能、そして様々なロボット本体への適合性があります。このモデルの発表は、具象知能が汎用化、オープン化、知能化の方向へ大きく前進したことを示しており、商業、産業、家庭など多くの分野で重要な役割を果たすことが期待されます。

OpenAI Agents SDKは、自律型エージェントを構築するための開発キットです。高度な推論、マルチモーダルインタラクション、新しいセキュリティ技術など、OpenAIの先進的なモデル機能に基づいており、開発者が信頼性の高いエージェントアプリケーションを構築、展開、拡張するための簡素化された方法を提供します。このツールキットは、単一エージェントと複数エージェントのワークフローのオーケストレーションをサポートするだけでなく、可観測性ツールを統合して、開発者がエージェントの実行プロセスを追跡および最適化するのに役立ちます。主な利点としては、簡単に構成できるLLMモデル、インテリジェントなエージェントハンドオーバーメカニズム、構成可能なセキュリティチェック、強力なデバッグおよびパフォーマンス最適化機能などがあります。このツールキットは、複雑なタスクの自動化を必要とする企業や開発者向けであり、エージェントテクノロジーによって生産性と効率性を向上させることを目的としています。

SmolVLM2は、動画コンテンツを分析して関連するテキスト説明や動画ハイライトを生成することを目的とした軽量の動画言語モデルです。このモデルは、効率性と低リソース消費を特徴とし、モバイルデバイスやデスクトップクライアントなど、さまざまなデバイスで動作します。主な利点は、動画データを迅速に処理し、高品質のテキスト出力を生成できることで、動画コンテンツ制作、動画分析、教育などの分野に強力な技術サポートを提供します。このモデルはHugging Faceチームによって開発され、効率的で軽量な動画処理ツールとして位置付けられており、現在実験段階です。ユーザーは無料で試用できます。

Inception Labsは、拡散型大規模言語モデル（dLLMs）の開発に特化した企業です。その技術は、MidjourneyやSoraなどの高度な画像?動画生成システムから着想を得ています。拡散モデルを通じて、Inception Labsは、従来の自己回帰モデルよりも5～10倍高速で、効率性が高く、生成制御能力が優れたものを提供します。そのモデルは並列テキスト生成をサポートし、エラーや幻覚を修正でき、マルチモーダルタスクに適しており、推論と構造化データ生成において優れた性能を発揮します。スタンフォード大学、UCLA、コーネル大学の研究者とエンジニアによって設立され、拡散モデル分野のパイオニアです。

EgoLifeは、長期的な、マルチモーダルで、多角的な視点を持つ日常生活向けのAIアシスタントプロジェクトです。このプロジェクトでは、6人のボランティアの1週間の共有生活体験を記録することで、日常活動やソーシャルインタラクションなどのシーンを含む約50時間のビデオデータが生成されました。マルチモーダルデータ（ビデオ、視線、IMUデータなど）と多角的なカメラシステムは、AI研究に豊富なコンテキスト情報を提供します。さらに、このプロジェクトでは、長期コンテキスト理解タスクを解決するためのEgoRAGフレームワークを提案し、複雑な環境におけるAIの適用能力を推進しています。

UniTokは、視覚生成と理解のギャップを埋めることを目的とした革新的な視覚トークナイザ技術です。多コードブック量子化技術により、離散トークナイザの表現能力を大幅に向上させ、より豊富な視覚的詳細と意味情報を捉えることができます。この技術は、従来のトークナイザのトレーニングプロセスにおけるボトルネックを克服し、視覚生成と理解のタスクに効率的で統一的なソリューションを提供します。UniTokは、画像生成と理解のタスクにおいて優れた性能を示しており、例えばImageNetにおいて顕著なゼロショット精度向上を実現しています。この技術の主な利点には、効率性、柔軟性、およびマルチモーダルタスクへの強力なサポートが含まれ、視覚生成と理解の分野に新たな可能性をもたらします。

Mochii AIは、適応型メモリ、カスタマイズ可能なパーソナリティ、シームレスなマルチプラットフォーム統合を通じて、人間とAIの協働を促進することを目指しています。OpenAI、Claude、Gemini、DALL-E、Stable Diffusionなどの高度なAIモデルを複数サポートしており、インテリジェントな会話、コンテンツ作成、データ分析、画像生成などの機能を実現します。無料プランを提供しており、クレジットカードは不要です。業務効率と創造性を向上させたい専門家の方々に最適です。

M2RAGは、マルチモーダルコンテキストにおける検索強化生成のためのベンチマークテストコードリポジトリです。マルチモーダル検索ドキュメントを使用して質問に答え、マルチモーダル大規模言語モデル（MLLMs）がマルチモーダルコンテキストの知識を活用する能力を評価します。このモデルは、画像記述、マルチモーダル質問応答、ファクト検証、画像の再配置などのタスクで評価され、マルチモーダルコンテキスト学習におけるモデルの有効性を向上させることを目的としています。M2RAGは、研究者にとって標準化されたテストプラットフォームを提供し、マルチモーダル言語モデルの発展を促進するのに役立ちます。

TheoremExplainAgentは、数学および科学の定理に関する詳細なマルチモーダル解説動画を生成することに特化した、AIベースのモデルです。テキストと視覚アニメーションを組み合わせることで、ユーザーが複雑な概念をより深く理解するのに役立ちます。本製品はManimアニメーション技術を利用して5分を超える長尺動画を生成し、従来のテキスト解説の不足を補い、特に推論エラーの発見において優れた成果を示します。主に教育分野を対象としており、STEM分野の定理に対する学習者の理解能力向上を目指しています。現時点では、価格と商業化の位置付けは明確にされていません。

Gemini 2.0 Flash-Liteは、Googleが提供する高効率な言語モデルであり、長文処理と複雑なタスク向けに最適化されています。推論、マルチモーダル、数学、事実性のベンチマークテストで優れた結果を示しており、簡素化された価格戦略により、百万レベルのコンテキストウィンドウをより経済的に利用できます。Gemini 2.0 Flash-Liteは、Google AI StudioとVertex AIで全面的に公開されており、エンタープライズレベルの生産用途に適しています。

Phi-4-multimodal-instructは、Microsoftが開発したマルチモーダル基礎モデルで、テキスト、画像、音声入力をサポートし、テキスト出力を生成します。本モデルは、Phi-3.5とPhi-4.0の研究とデータセットに基づいて構築され、教師あり微調整、直接選好最適化、人間のフィードバックによる強化学習などのプロセスを経て、指示遵守能力と安全性向上を図っています。多言語のテキスト、画像、音声入力をサポートし、128Kのコンテキスト長を備えています。音声認識、音声翻訳、ビジュアル質問応答など、様々なマルチモーダルタスクに適用可能です。マルチモーダル能力において顕著な向上を見せており、特に音声と視覚タスクにおいて優れた性能を発揮します。開発者に対して強力なマルチモーダル処理能力を提供し、様々なマルチモーダルアプリケーションの構築に使用できます。

Magma-8Bは、マイクロソフトが開発したマルチモーダルAI基盤モデルであり、マルチモーダルAIエージェントの研究のために設計されています。テキストと画像の入力を組み合わせ、テキスト出力を生成し、ビジュアルプランニングとエージェント機能を備えています。このモデルは、言語モデルのバックボーンとしてMeta LLaMA-3を使用し、CLIP-ConvNeXt-XXLargeビジョンエンコーダーと組み合わせることで、ラベルなしビデオデータからの時空間関係の学習を可能にし、強力な汎化能力とマルチタスク適応性を備えています。Magma-8Bはマルチモーダルタスク、特に空間理解と推論において優れた性能を発揮します。これはマルチモーダルAI研究に強力なツールを提供し、仮想環境と現実環境における複雑なインタラクションの研究を推進します。

DeepSeekは、High-Flyerファンドの支援を受けた中国のAI研究所が開発した高度な言語モデルであり、オープンソースモデルと革新的なトレーニング方法に重点を置いています。R1シリーズモデルは、論理推論と問題解決において優れたパフォーマンスを発揮し、強化学習と混合専門家フレームワークを採用することで、低コストで効率的なトレーニングを実現しています。DeepSeekのオープンソース戦略はコミュニティのイノベーションを促進すると同時に、AI競争とオープンソースモデルの影響力に関する業界での議論を引き起こしています。登録不要で無料という利用方法は、ユーザーの参入障壁をさらに低くし、幅広いアプリケーションシナリオに適しています。

ZeroBenchは、大規模マルチモーダルモデル（LMMs）の視覚理解能力を評価するために設計されたベンチマークです。100個の厳選された、厳格に審査された複雑な問題と、334個のサブ問題を通して、現在のモデルの限界に挑戦します。本ベンチマークは、既存のビジュアルベンチマークの不足を補い、より挑戦的で質の高い評価ツールを提供することを目指しています。ZeroBenchの主な利点は、その高難易度、軽量性、多様性、高品質であり、モデルのパフォーマンスを効果的に区別することができます。さらに、詳細なサブ問題評価を提供し、研究者がモデルの推論能力をより深く理解するのに役立ちます。

Grok 3は、イーロン?マスク氏のAI企業xAIが開発した最新のフラッグシップAIモデルです。計算能力とデータセット規模が大幅に向上しており、複雑な数学や科学的問題を処理し、マルチモーダル入力に対応できます。主な利点は、強力な推論能力でより正確な回答を提供できる点であり、いくつかのベンチマークテストでは既存のトップモデルを上回っています。Grok 3の発表は、xAIのAI分野における更なる発展を示しており、ユーザーによりスマートで効率的なAIサービスを提供することを目指しています。現在、主にGrokアプリとXプラットフォームを通じてサービスを提供しており、将来的には音声モードと企業向けAPIインターフェースも提供する予定です。ハイエンドなAIソリューションとして位置付けられており、高度な推論とマルチモーダルインタラクションを必要とするユーザーをターゲットとしています。

CLaMP 3は、最先端の音楽情報検索モデルです。対照学習によって楽譜、演奏信号、オーディオ録音、多言語テキストの特徴をアラインメントし、クロスモーダルかつクロスリンガルの音楽検索をサポートします。未整列のモーダルや未知の言語にも対応でき、強力な汎化能力を備えています。このモデルは、大規模データセットM4-RAGを用いてトレーニングされており、世界中の様々な音楽伝統を網羅し、テキストから音楽、画像から音楽など、様々な音楽検索タスクに対応しています。

VideoRAGは、極めて長いコンテキストを持つビデオの理解と処理に特化した、革新的な検索拡張型生成フレームワークです。グラフ駆動型のテキスト知識アンカーと階層型マルチモーダルコンテキストエンコーディングを組み合わせることで、長さの制限のないビデオの理解を実現します。このフレームワークは、知識グラフを動的に構築し、複数のビデオコンテキストのセマンティックな一貫性を維持し、適応型マルチモーダル融合メカニズムによって検索効率を最適化します。VideoRAGの主な利点としては、効率的な極長コンテキストビデオ処理能力、構造化されたビデオ知識インデックス、マルチモーダル検索能力があり、複雑なクエリに対する包括的な回答を提供できます。このフレームワークは、長尺ビデオ理解分野において重要な技術的価値と応用可能性を秘めています。

MedRAXは、胸部X線（CXR）のインテリジェントな分析に特化した革新的なAIフレームワークです。最先端のCXR分析ツールとマルチモーダル大規模言語モデルを統合することにより、複雑な医療照会を動的に処理できます。MedRAXは追加のトレーニングなしで実行でき、リアルタイムのCXR解釈をサポートし、さまざまな臨床シナリオに適用可能です。主な利点として、高い柔軟性、強力な推論能力、および透明性の高いワークフローが挙げられます。本製品は医療従事者を対象としており、診断効率と精度を向上させ、医療AIの実用化を促進することを目的としています。