# 圖像理解

VLM-R1 是一種基於強化學習的視覺語言模型，專注於視覺理解任務，如指代表達理解（Referring Expression Comprehension, REC）。該模型通過結合 R1（Reinforcement Learning）和 SFT（Supervised Fine-Tuning）方法，展示了在領域內和領域外數據上的出色性能。VLM-R1 的主要優點包括其穩定性和泛化能力，使其能夠在多種視覺語言任務中表現出色。該模型基於 Qwen2.5-VL 構建，利用了先進的深度學習技術，如閃存注意力機制（Flash Attention 2），以提高計算效率。VLM-R1 旨在為視覺語言任務提供一種高效且可靠的解決方案，適用於需要精確視覺理解的應用場景。

kimi-latest 是月之暗面公司推出的最新 AI 模型，與 Kimi 智能助手同步升級，具備強大的上下文處理能力和自動緩存功能，能夠有效降低使用成本。該模型支持圖像理解和多種功能，如 ToolCalls 和聯網搜索，適用於構建 AI 智能助手或客服系統。其價格為每百萬 Tokens 1 元，定位為高效、靈活的 AI 模型解決方案。

Janus Pro 是由 DeepSeek 技術驅動的先進 AI 圖像生成與理解平臺。它採用革命性的統一變換器架構，能夠高效處理複雜的多模態操作，實現圖像生成和理解的卓越性能。該平臺訓練了超過 9000 萬個樣本，其中包括 7200 萬個合成美學數據點，確保生成的圖像在視覺上具有吸引力且上下文準確。Janus Pro 為開發者和研究人員提供強大的視覺 AI 能力，幫助他們實現從創意到視覺敘事的轉變。平臺提供免費試用，適合需要高質量圖像生成和分析的用戶。

VideoLLaMA3是由DAMO-NLP-SG團隊開發的前沿多模態基礎模型，專注於圖像和視頻理解。該模型基於Qwen2.5架構，結合了先進的視覺編碼器（如SigLip）和強大的語言生成能力，能夠處理複雜的視覺和語言任務。其主要優點包括高效的時空建模能力、強大的多模態融合能力以及對大規模數據的優化訓練。該模型適用於需要深度視頻理解的應用場景，如視頻內容分析、視覺問答等，具有廣泛的研究和商業應用潛力。

Qwen2-VL-2B是Qwen-VL模型的最新迭代，代表了近一年的創新成果。該模型在視覺理解基準測試中取得了最先進的性能，包括MathVista、DocVQA、RealWorldQA、MTVQA等。它能夠理解超過20分鐘的視頻，為基於視頻的問題回答、對話、內容創作等提供高質量的支持。Qwen2-VL還支持多語言，除了英語和中文，還包括大多數歐洲語言、日語、韓語、阿拉伯語、越南語等。模型架構更新包括Naive Dynamic Resolution和Multimodal Rotary Position Embedding (M-ROPE)，增強了其多模態處理能力。

OneDiffusion是一個多功能、大規模的擴散模型，它能夠無縫支持雙向圖像合成和理解，覆蓋多種任務。該模型預計將在12月初發布代碼和檢查點。OneDiffusion的重要性在於其能夠處理圖像合成和理解任務，這在人工智能領域是一個重要的進步，尤其是在圖像生成和識別方面。產品背景信息顯示，這是一個由多位研究人員共同開發的項目，其研究成果已在arXiv上發表。

Pixtral-Large-Instruct-2411是由Mistral AI研發的124B參數的大型多模態模型，基於Mistral Large 2構建，展現出前沿級別的圖像理解能力。該模型不僅能夠理解文檔、圖表和自然圖像，同時保持了Mistral Large 2在文本理解方面的領先地位。它在MathVista、DocVQA、VQAv2等數據集上達到了最先進的性能，是科研和商業應用的強大工具。

Pixtral Large是Mistral AI推出的一款前沿級多模態AI模型，基於Mistral Large 2構建，具備領先的圖像理解能力，能夠理解文檔、圖表和自然圖像，同時保持Mistral Large 2在文本理解方面的領先地位。該模型在多模態基準測試中表現優異，特別是在MathVista、ChartQA和DocVQA等測試中超越了其他模型。Pixtral Large在MM-MT-Bench測試中也展現了競爭力，超越了包括Claude-3.5 Sonnet在內的多個模型。該模型適用於研究和教育用途的Mistral Research License (MRL)，以及適用於商業用途的Mistral Commercial License。

MM1.5是一系列多模態大型語言模型（MLLMs），旨在增強文本豐富的圖像理解、視覺指代表明和接地以及多圖像推理的能力。該模型基於MM1架構，採用以數據為中心的模型訓練方法，系統地探索了整個模型訓練生命週期中不同數據混合的影響。MM1.5模型從1B到30B參數不等，包括密集型和混合專家（MoE）變體，並通過廣泛的實證研究和消融研究，提供了詳細的訓練過程和決策見解，為未來MLLM開發研究提供了寶貴的指導。

mPLUG-Owl3是一個多模態大型語言模型，專注於長圖像序列的理解。它能夠從檢索系統中學習知識，與用戶進行圖文交替對話，並觀看長視頻，記住其細節。模型的源代碼和權重已在HuggingFace上發佈，適用於視覺問答、多模態基準測試和視頻基準測試等場景。

Phi-3.5-vision是微軟開發的輕量級、最新一代的多模態模型，基於包括合成數據和經過篩選的公開可用網站在內的數據集構建，專注於文本和視覺的高質量、密集推理數據。該模型屬於Phi-3模型家族，經過嚴格的增強過程，結合了監督微調和直接偏好優化，以確保精確的指令遵循和強大的安全措施。

MiniCPM-V 2.6是一個基於8億參數的多模態大型語言模型，它在單圖像理解、多圖像理解和視頻理解等多個領域展現出領先性能。該模型在OpenCompass等多個流行基準測試中取得了平均65.2分的高分，超越了廣泛使用的專有模型。它還具備強大的OCR能力，支持多語言，並在效率上表現出色，能夠在iPad等終端設備上實現即時視頻理解。

InternLM-XComposer-2.5是一款支持長上下文輸入和輸出的多功能大型視覺語言模型。它在各種文本圖像理解和創作應用中表現出色，實現了與GPT-4V相當的水平，但僅使用了7B的LLM後端。該模型通過24K交錯圖像文本上下文進行訓練，能夠無縫擴展到96K長上下文，通過RoPE外推。這種長上下文能力使其在需要廣泛輸入和輸出上下文的任務中表現突出。此外，它還支持超高分辨率理解、細粒度視頻理解、多輪多圖像對話、網頁製作以及撰寫高質量圖文文章等功能。

CogVLM2是由清華大學團隊開發的第二代多模態預訓練對話模型，它在多個基準測試中取得了顯著的改進，支持8K內容長度和1344*1344的圖像分辨率。CogVLM2系列模型提供了支持中文和英文的開源版本，能夠與一些非開源模型相媲美的性能。

PaliGemma是Google發佈的一款先進的視覺語言模型，它結合了圖像編碼器SigLIP和文本解碼器Gemma-2B，能夠理解圖像和文本，並通過聯合訓練實現圖像和文本的交互理解。該模型專為特定的下游任務設計，如圖像描述、視覺問答、分割等，是研究和開發領域的重要工具。

Grok-1.5V是X.AI公司推出的第一代多模態模型。除了強大的文本處理能力外,Grok還可以處理各種視覺信息,包括文檔、圖表、截圖和照片等。該模型在多學科推理、文檔理解、科學圖表理解、圖表解讀和現實世界理解等方面表現出色,並將於近期向早期測試用戶和現有Grok用戶推出。

Mini-Gemini是一個多模態視覺語言模型,支持從2B到34B的系列密集和MoE大型語言模型,同時具備圖像理解、推理和生成能力。它基於LLaVA構建,利用雙視覺編碼器提供低分辨率視覺嵌入和高分辨率候選區域,採用補丁信息挖掘在高分辨率區域和低分辨率視覺查詢之間進行補丁級挖掘,將文本與圖像融合用於理解和生成任務。支持包括COCO、GQA、OCR-VQA、VisualGenome等多個視覺理解基準測試。

零一萬物大模型開放平臺是一個通過API調用獲取高品質Yi系列大模型的平臺。Yi系列模型基於零一萬物的前沿科研成果和高品質數據訓練而成，曾在多個權威榜單中獲得SOTA表現。主要產品包括yi-34b-chat-0205、yi-34b-chat-200k和yi-vl-plus三種模型。yi-34b-chat-0205是一款優化版聊天模型,指令遵循能力提升近30%,回覆延遲大幅降低,適用於聊天、問答、對話等場景。yi-34b-chat-200k支持200K超長上下文,可處理約20萬到30萬漢字內容,適用於文檔理解、數據分析和跨領域知識應用。yi-vl-plus支持高分辨率圖片輸入,具備圖像問答、圖表理解、OCR等能力,適用於對複雜圖像內容進行分析、識別和理解。該平臺的API優勢包括推理速度快、與OpenAI API完全兼容。定價方面,新註冊用戶可獲贈60元試用額度,yi-34b-chat-0205單價為2.5元/百萬token,yi-34b-chat-200k單價為12元/次,yi-vl-plus單價為6元/百萬token。

Vary 是一個用於大規模視覺語言模型的官方代碼實現。它通過擴展視覺詞彙來提高模型的性能。該模型具有強大的圖像理解和語言生成能力，可以在多個領域進行應用。