# 視覺推理

QVQ-Max 是 Qwen 團隊推出的視覺推理模型，能夠理解和分析圖像及視頻內容，提供解決方案。它不僅限於文本輸入，更能夠處理複雜的視覺信息。適合需要多模態信息處理的用戶，如教育、工作和生活場景。該產品是基於深度學習和計算機視覺技術開發，適用於學生、職場人士和創意工作者。此版本為首發，後續將持續優化。

Aya Vision 32B 是由 Cohere For AI 開發的先進視覺語言模型，擁有 320 億參數，支持 23 種語言，包括英語、中文、阿拉伯語等。該模型結合了最新的多語言語言模型 Aya Expanse 32B 和 SigLIP2 視覺編碼器，通過多模態適配器實現視覺與語言理解的結合。它在視覺語言領域表現出色，能夠處理複雜的圖像與文本任務，如 OCR、圖像描述、視覺推理等。該模型的發佈旨在推動多模態研究的普及，其開源權重為全球研究人員提供了強大的工具。該模型遵循 CC-BY-NC 許可證，並需遵守 Cohere For AI 的合理使用政策。

AlphaMaze 是一個專注於提升大型語言模型（LLM）視覺推理能力的項目。它通過文本形式描述的迷宮任務來訓練模型，使其能夠理解和規劃空間結構。這種方法不僅避免了複雜的圖像處理，還通過文本描述直接評估模型的空間理解能力。其主要優點是能夠揭示模型如何思考空間問題，而不僅僅是能否解決問題。該模型基於開源框架，旨在推動語言模型在視覺推理領域的研究和發展。

AlphaMaze 是一款專為解決視覺推理任務而設計的解碼器語言模型。它通過針對迷宮解謎任務的訓練，展示了語言模型在視覺推理方面的潛力。該模型基於 15 億參數的 Qwen 模型構建，並通過監督微調（SFT）和強化學習（RL）進行訓練。其主要優點在於能夠將視覺任務轉化為文本格式進行推理，從而彌補傳統語言模型在空間理解上的不足。該模型的開發背景是提升 AI 在視覺任務上的表現，尤其是在需要逐步推理的場景中。目前，AlphaMaze 作為研究項目，暫未明確其商業化定價和市場定位。

QVQ-72B-Preview是由Qwen團隊開發的實驗性研究模型，專注於增強視覺推理能力。該模型在多學科理解和推理方面展現出強大的能力，特別是在數學推理任務上取得了顯著的進步。儘管在視覺推理方面取得了進步，但QVQ並不完全取代Qwen2-VL-72B的能力，在多步視覺推理中可能會逐漸失去對圖像內容的關注，導致幻覺。此外，QVQ在基本識別任務上並沒有顯示出比Qwen2-VL-72B更顯著的改進。

OpenAI o1 是一個高性能的AI模型，旨在處理複雜的多步驟任務，並提供先進的準確性。它是o1-preview的後繼產品，已經用於構建代理應用程序，以簡化客戶支持、優化供應鏈決策和預測複雜的金融趨勢。o1模型具有生產就緒的關鍵特性，包括函數調用、結構化輸出、開發者消息、視覺能力等。o1-2024-12-17版本在多個基準測試中創下了新的最高成績，提高了成本效率和性能。

Claude 3.5 Sonnet是Anthropic公司推出的一款AI模型，它在智能、速度和成本之間取得了顯著的平衡。此模型在研究生級推理、本科生級知識以及編程熟練度方面設立了新的行業基準，特別擅長理解細微差別、幽默和複雜指令，並能以自然、親切的語調撰寫高質量內容。此外，它在視覺推理、圖表解讀和圖像文字轉錄方面也表現出色，是零售、物流和金融服務等行業的理想選擇。

Visual Sketchpad 是一種為多模態大型語言模型（LLMs）提供視覺草圖板和繪圖工具的框架。它允許模型在進行規劃和推理時，根據自己繪製的視覺工件進行操作。與以往使用文本作為推理步驟的方法不同，Visual Sketchpad 使模型能夠使用線條、框、標記等更接近人類繪圖方式的元素進行繪圖，從而更好地促進推理。此外，它還可以在繪圖過程中使用專家視覺模型，例如使用目標檢測模型繪製邊界框，或使用分割模型繪製掩碼，以進一步提高視覺感知和推理能力。

Cantor是一個多模態鏈式思維(CoT)框架，它通過感知決策架構，將視覺上下文獲取與邏輯推理相結合，解決複雜的視覺推理任務。Cantor首先作為一個決策生成器，整合視覺輸入來分析圖像和問題，確保與實際情境更緊密的對齊。此外，Cantor利用大型語言模型(MLLMs)的高級認知功能，作為多面專家，推導出更高層次的信息，增強CoT生成過程。Cantor在兩個複雜的視覺推理數據集上進行了廣泛的實驗，證明了所提出框架的有效性，無需微調或真實理由，就顯著提高了多模態CoT性能。

Cola是一種使用語言模型（LM）來聚合2個或更多視覺-語言模型（VLM）輸出的方法。我們的模型組裝方法被稱為Cola（COordinative LAnguage model or visual reasoning）。Cola在LM微調（稱為Cola-FT）時效果最好。Cola在零樣本或少樣本上下文學習（稱為Cola-Zero）時也很有效。除了性能提升外，Cola還對VLM的錯誤更具魯棒性。我們展示了Cola可以應用於各種VLM（包括大型多模態模型如InstructBLIP）和7個數據集（VQA v2、OK-VQA、A-OKVQA、e-SNLI-VE、VSR、CLEVR、GQA），並且它始終提高了性能。