# 視覚推論

Aya Vision 32Bは、Cohere For AIによって開発された、320億個のパラメータを持つ高度なビジュアル言語モデルで、英語、中国語、アラビア語など23の言語をサポートしています。このモデルは、最新の多言語言語モデルAya Expanse 32BとSigLIP2ビジュアルエンコーダを組み合わせ、多様なモダリティアダプターによって視覚と言語の理解を統合しています。OCR、画像記述、視覚推論など、複雑な画像とテキストのタスクを処理できる、ビジュアル言語分野で優れたパフォーマンスを発揮します。このモデルの公開は、多様なモダリティ研究の普及を促進することを目的としており、そのオープンソースの重みは、世界中の研究者にとって強力なツールとなります。このモデルはCC-BY-NCライセンスに従い、Cohere For AIの適正使用ポリシーを遵守する必要があります。

AlphaMazeは、大規模言語モデル（LLM）の視覚推論能力の向上に焦点を当てたプロジェクトです。テキストで記述された迷路タスクを通してモデルを訓練することで、空間構造の理解と計画能力を向上させます。この手法は、複雑な画像処理を回避するだけでなく、テキスト記述を通してモデルの空間理解能力を直接評価できます。主な利点は、モデルが空間問題をどのように解決しようとしているかを明らかにできる点であり、単に問題を解決できるかどうかだけでなく、その思考プロセスを垣間見ることができる点です。本モデルはオープンソースフレームワークに基づいており、言語モデルにおける視覚推論分野の研究開発を促進することを目的としています。

AlphaMazeは、視覚推論タスクの解決のために設計されたデコーダー言語モデルです。迷路解法タスクのトレーニングを通じて、言語モデルの視覚推論における可能性を示しています。このモデルは、15億パラメーターのQwenモデルをベースに構築されており、教師ありファインチューニング（SFT）と強化学習（RL）によってトレーニングされています。主な利点は、視覚タスクをテキスト形式に変換して推論できることであり、従来の言語モデルが空間理解において不足していた点を補っています。このモデルの開発背景は、特に段階的な推論が必要な状況において、AIの視覚タスクにおけるパフォーマンス向上にあります。現在、AlphaMazeは研究プロジェクトとして、商業化価格や市場ポジショニングは明確にされていません。

QVQ-72B-PreviewはQwenチームが開発した実験的な研究モデルであり、視覚推論能力の強化に焦点を当てています。このモデルは、多様な分野の理解と推論において強力な能力を示し、特に数学的推論タスクにおいて著しい進歩を遂げています。視覚推論において進歩が見られる一方で、QVQはQwen2-VL-72Bを完全に代替するものではなく、複数ステップの視覚推論においては、画像内容への注意が徐々に低下し、幻覚が生じる可能性があります。さらに、QVQは基本的な認識タスクにおいて、Qwen2-VL-72Bよりも著しく優れた改善を示していません。

Claude 3.5 Sonnetは、Anthropic社が開発したAIモデルであり、インテリジェンス、速度、コストの優れたバランスを実現しています。大学院レベルの推論能力、学部レベルの知識、そして熟練したプログラミングスキルにおいて、新たな業界基準を確立しています。特に、微妙なニュアンス、ユーモア、複雑な指示の理解に優れ、自然で親しみやすい口調で高品質なコンテンツを作成できます。さらに、視覚推論、チャート解釈、画像テキスト変換においても優れた性能を発揮し、小売、物流、金融サービスなどの業界に最適です。

ビジュアル?スケッチパッドは、マルチモーダル大規模言語モデル（LLM）に視覚的なスケッチパッドと描画ツールを提供するフレームワークです。このフレームワークにより、モデルは、自ら描いた視覚的な成果物を操作しながら、計画と推論を行うことができます。従来のテキストを推論ステップとして使用する手法とは異なり、ビジュアル?スケッチパッドでは、モデルは線、枠、マーカーなど、人間の描画方法により近い要素を使用して図を描くことができ、推論をより効果的に促進します。さらに、オブジェクト検出モデルによる境界ボックスの描画やセグメンテーションモデルによるマスクの描画など、専門的な視覚モデルを図面作成プロセスで使用することで、視覚認識と推論能力をさらに向上させることができます。

Cantorは、マルチモーダル連鎖思考（CoT）フレームワークです。知覚意思決定アーキテクチャを通じて、視覚的コンテキストの取得と論理的推論を組み合わせ、複雑な視覚推論タスクを解決します。Cantorはまず意思決定ジェネレーターとして機能し、視覚入力を統合して画像と問題を分析することで、現実の状況とのより緊密な整合性を確保します。さらに、Cantorは大規模言語モデル（MLLM）の高度な認知機能を活用し、多面的な専門家として、より高次の情報を導き出し、CoT生成プロセスを強化します。Cantorは2つの複雑な視覚推論データセットで広範な実験を行い、微調整や事実上の根拠なしに、マルチモーダルCoTのパフォーマンスを大幅に向上させることで、提案されたフレームワークの有効性を証明しました。

Colaは、言語モデル（LM）を使用して2つ以上の視覚言語モデル（VLM）の出力を統合する手法です。このモデル統合手法は、Cola（COordinative LAnguage model for visual reasoning）と呼ばれています。Colaは、LMファインチューニング（Cola-FTと呼ばれます）を行うと最適な効果を発揮します。また、ゼロショットまたは少ショットコンテキスト学習（Cola-Zeroと呼ばれます）においても有効です。性能向上に加え、ColaはVLMのエラーに対してもよりロバストです。Colaは、InstructBLIPなどの大規模マルチモーダルモデルを含む様々なVLMと、VQA v2、OK-VQA、A-OKVQA、e-SNLI-VE、VSR、CLEVR、GQAの7つのデータセットに適用可能であり、常に性能向上を示すことを実証しました。