# 画像理解

VLM-R1は、参照式理解（Referring Expression Comprehension, REC）などの画像理解タスクに特化した、強化学習に基づくビジュアル言語モデルです。R1（Reinforcement Learning）とSFT（Supervised Fine-Tuning）を組み合わせることで、ドメイン内およびドメイン外のデータにおいて優れた性能を示します。VLM-R1の主な利点としては、安定性と汎化能力があり、様々なビジュアル言語タスクで高いパフォーマンスを発揮します。Qwen2.5-VLを基盤として構築され、Flash Attention 2などの高度な深層学習技術を活用することで、計算効率を向上させています。VLM-R1は、正確な画像理解が求められるアプリケーションシナリオに適した、効率的で信頼性の高いソリューションを提供することを目指しています。

Janus Proは、DeepSeekテクノロジーを搭載した高度なAI画像生成と理解プラットフォームです。革新的な統一トランスフォーマーアーキテクチャを採用し、複雑なマルチモーダル操作を効率的に処理することで、画像生成と理解において卓越したパフォーマンスを実現します。9000万以上のサンプル（合成美学データポイント7200万個を含む）でトレーニングされており、生成される画像は視覚的に魅力的で、コンテキストも正確です。Janus Proは、開発者や研究者に強力なビジュアルAI機能を提供し、アイデアからビジュアルストーリーへの変換を支援します。高品質の画像生成と分析を必要とするユーザー向けに無料トライアルを提供しています。

VideoLLaMA3は、DAMO-NLP-SGチームが開発した最先端のマルチモーダル基盤モデルであり、画像と動画の理解に特化しています。Qwen2.5アーキテクチャをベースに、SigLipなどの高度なビジュアルエンコーダーと強力な自然言語生成能力を組み合わせることで、複雑な視覚言語タスクを処理できます。主な利点として、効率的な時空間モデリング能力、強力なマルチモーダル融合能力、大規模データに対する最適化されたトレーニングなどが挙げられます。動画の深い理解が必要なアプリケーションシナリオ、例えば動画コンテンツ分析やビジュアルクエスチョン?アンサーリングなどに適しており、幅広い研究および商業的な応用可能性を秘めています。

Qwen2-VL-2BはQwen-VLモデルの最新版であり、およそ1年間の革新的な成果を反映しています。このモデルは、MathVista、DocVQA、RealWorldQA、MTVQAなど、視覚理解のベンチマークテストにおいて最先端の性能を達成しています。20分を超えるビデオの理解にも対応し、ビデオベースの質問応答、対話、コンテンツ作成などを高品質にサポートします。Qwen2-VLは多言語にも対応しており、英語と中国語に加え、ほとんどのヨーロッパ言語、日本語、韓国語、アラビア語、ベトナム語などを含みます。モデルアーキテクチャの更新には、Naive Dynamic ResolutionとMultimodal Rotary Position Embedding (M-ROPE)が含まれ、マルチモーダル処理能力が強化されています。

OneDiffusionは、双方向の画像合成と理解をシームレスにサポートする、多機能で大規模な拡散モデルです。様々なタスクに対応できます。コードとチェックポイントは12月初旬に公開予定です。OneDiffusionの重要性は、画像合成と理解タスクの両方を処理できる点にあり、特に画像生成と認識において、人工知能分野における重要な進歩となります。製品の背景情報として、複数の研究者による共同開発プロジェクトであり、その研究成果はarXivに掲載されていることが挙げられます。

Pixtral-Large-Instruct-2411は、Mistral AIが開発した1240億パラメータのマルチモーダル大規模言語モデルです。Mistral Large 2をベースに構築されており、最先端レベルの画像理解能力を備えています。文書、グラフ、自然画像を理解できるだけでなく、Mistral Large 2が持つテキスト理解能力における優位性も維持しています。MathVista、DocVQA、VQAv2などのデータセットにおいて最先端の性能を達成しており、研究および商業用途に強力なツールとなります。

Pixtral Largeは、Mistral AIが発表した最先端のマルチモーダルAIモデルです。Mistral Large 2をベースに構築されており、優れた画像理解能力を備え、ドキュメント、グラフ、自然画像を理解できます。同時に、Mistral Large 2のテキスト理解能力も維持しています。このモデルは、マルチモーダルベンチマークテストで優れた性能を示し、特にMathVista、ChartQA、DocVQAなどのテストでは他のモデルを凌駕しています。MM-MT-Benchテストでも、Claude-3.5 Sonnetを含む複数のモデルを上回る競争力を発揮しています。このモデルは、研究および教育目的のMistral Research License (MRL)と、商業目的のMistral Commercial Licenseで利用可能です。

MM1.5は、テキストリッチな画像理解、視覚的参照解決とグラウンディング、およびマルチイメージ推論能力を強化することを目的とした、多モーダル大規模言語モデル（MLLM）シリーズです。MM1アーキテクチャをベースとし、データ中心のモデルトレーニング手法を採用し、モデルトレーニングライフサイクル全体における様々なデータ混合の影響を体系的に探求しました。MM1.5モデルは、10億から300億パラメーターのモデルを含み、密なモデルと混合専門家（MoE）モデルの両方を備えています。広範な実証研究とアブレーションスタディを通じて、詳細なトレーニングプロセスと意思決定に関する知見を提供し、将来のMLLM開発研究のための貴重な指針となります。

mPLUG-Owl3は、長画像シーケンスの理解に特化したマルチモーダル大規模言語モデルです。検索システムから知識を学習し、ユーザーと画像とテキストを交互に用いた対話をしたり、長尺ビデオを視聴して詳細を記憶することができます。モデルのソースコードと重みはHugging Faceで公開されており、Visual Question Answering、マルチモーダルベンチマーク、ビデオベンチマークなどのシナリオに適しています。

Phi-3.5-visionは、Microsoftが開発した軽量かつ最新のマルチモーダルモデルです。合成データと厳選された公開利用可能なウェブサイトを含むデータセットに基づいて構築されており、テキストとビジュアルに関する高品質で緻密な推論データに焦点を当てています。Phi-3モデルファミリーに属し、厳格な拡張プロセスを経ており、教師あり微調整と直接選好最適化を組み合わせて、正確な指示遵守と強力なセキュリティ対策を確保しています。

MiniCPM-V 2.6は、8億パラメーターを持つ多モーダル大規模言語モデルです。単一画像理解、複数画像理解、動画理解など、複数の分野で優れた性能を発揮します。OpenCompassを始めとする複数の一般的なベンチマークテストにおいて平均65.2点の高得点を達成し、広く使用されている商用モデルを上回っています。強力なOCR機能も備え、多言語に対応し、iPadなどの端末デバイス上でのリアルタイム動画理解も実現できる高い効率性を誇ります。

InternLM-XComposer-2.5は、長文コンテキストの入出力に対応した多機能大型視覚言語モデルです。様々なテキスト?画像の理解と創作アプリケーションにおいて優れた性能を発揮し、GPT-4Vと同等のレベルに達していますが、7BのLLMバックエンドのみを使用しています。24Kのインターリーブされた画像テキストコンテキストで学習されており、RoPE外挿により96Kの長文コンテキストにシームレスに拡張できます。この長文コンテキスト能力により、広範な入力と出力コンテキストを必要とするタスクで特に優れた性能を発揮します。さらに、超高解像度画像理解、細粒度ビデオ理解、複数回にわたる複数画像の対話、Webサイト作成、高品質な画像付き記事の作成などもサポートしています。

PaliGemmaは、Googleが公開した高度な視覚言語モデルです。画像エンコーダSigLIPとテキストデコーダGemma-2Bを組み合わせることで、画像とテキストの理解、そしてそれらの相互作用を理解することを可能にしています。画像キャプション生成、視覚的質問応答、セグメンテーションなどの特定の下流タスク向けに設計されており、研究開発において重要なツールです。

Grok-1.5Vは、X.AI社が開発した最初のマルチモーダルモデルです。強力なテキスト処理能力に加え、ドキュメント、グラフ、スクリーンショット、写真など、様々な視覚情報を処理できます。多分野推論、ドキュメント理解、科学的グラフの理解、グラフ解釈、現実世界の理解などで優れた性能を発揮し、近日中に早期テストユーザーと既存のGrokユーザー向けにリリース予定です。

Mini-Geminiは、2Bから34Bパラメーターの様々なサイズを持つ、密集型およびMoE構造の大規模言語モデルです。画像の理解、推論、生成能力を備えたマルチモーダル視覚言語モデルです。LLaVAを基盤とし、2つの視覚エンコーダを用いて低解像度と高解像度の視覚埋め込みを生成します。高解像度領域と低解像度視覚クエリ間でパッチレベルの情報マイニングを行い、テキストと画像を融合することで、理解と生成タスクを実行します。COCO、GQA、OCR-VQA、VisualGenomeなど、複数の視覚理解ベンチマークに対応しています。

零一万物大規模言語モデル開放プラットフォームは、APIを介して高品質なYiシリーズ大規模言語モデルを利用できるプラットフォームです。Yiシリーズモデルは、零一万物の最先端研究成果と高品質データに基づいて訓練されており、複数の権威あるランキングでSOTAレベルのパフォーマンスを達成しています。主な製品として、yi-34b-chat-0205、yi-34b-chat-200k、yi-vl-plusの3つのモデルがあります。yi-34b-chat-0205は最適化されたチャットモデルで、指示遵守能力が約30%向上し、応答遅延が大幅に削減されています。チャット、質疑応答、会話などのシーンに適しています。yi-34b-chat-200kは200Kトークンという超長文コンテキストに対応し、約20万～30万字のコンテンツを処理できます。文書理解、データ分析、分野横断的な知識活用などに適しています。yi-vl-plusは高解像度画像入力をサポートし、画像質疑応答、グラフ理解、OCRなどの機能を備えています。複雑な画像コンテンツの分析、認識、理解に適しています。本プラットフォームのAPIは、推論速度が速く、OpenAI APIと完全に互換性があることを特長としています。価格設定は、新規登録ユーザーには60元分の無料試用クレジットが付与されます。yi-34b-chat-0205は100万トークンあたり2.5元、yi-34b-chat-200kは1回あたり12元、yi-vl-plusは100万トークンあたり6元です。

Varyは、大規模視覚言語モデル向けの公式コード実装です。視覚語彙を拡張することで、モデルの性能を向上させます。このモデルは強力な画像理解と自然言語生成能力を備えており、様々な分野で応用可能です。