# 視覺問答

Phi-4-multimodal-instruct 是微軟開發的多模態基礎模型，支持文本、圖像和音頻輸入，生成文本輸出。該模型基於Phi-3.5和Phi-4.0的研究和數據集構建，經過監督微調、直接偏好優化和人類反饋強化學習等過程，以提高指令遵循能力和安全性。它支持多種語言的文本、圖像和音頻輸入，具有128K的上下文長度，適用於多種多模態任務，如語音識別、語音翻譯、視覺問答等。該模型在多模態能力上取得了顯著提升，尤其在語音和視覺任務上表現出色。它為開發者提供了強大的多模態處理能力，可用於構建各種多模態應用。

SmolVLM-500M 是由 Hugging Face 開發的輕量級多模態模型，屬於 SmolVLM 系列。該模型基於 Idefics3 架構，專注於高效的圖像和文本處理任務。它能夠接受任意順序的圖像和文本輸入，生成文本輸出，適用於圖像描述、視覺問答等任務。其輕量級架構使其能夠在資源受限的設備上運行，同時保持強大的多模態任務性能。該模型採用 Apache 2.0 許可證，支持開源和靈活的使用場景。

OmAgent是一個多模態原生代理框架，用於智能設備等。它採用分治算法高效解決複雜任務，能預處理長視頻並以類似人類的精度進行問答，還能基於用戶請求和可選天氣條件提供個性化服裝建議等。目前官網未明確顯示價格，但從功能來看，主要面向需要高效任務處理和智能交互的用戶群體，如開發者、企業等。

PaliGemma 2是由Google開發的視覺-語言模型，它結合了SigLIP視覺模型和Gemma 2語言模型的能力，能夠處理圖像和文本輸入，並生成相應的文本輸出。該模型在多種視覺-語言任務上表現出色，如圖像描述、視覺問答等。其主要優點包括強大的多語言支持、高效的訓練架構以及在多種任務上的優異性能。PaliGemma 2的開發背景是為了解決視覺和語言之間的複雜交互問題，幫助研究人員和開發者在相關領域取得突破。

PaliGemma 2是一個由Google開發的視覺-語言模型，繼承了Gemma 2模型的能力，能夠處理圖像和文本輸入並生成文本輸出。該模型在多種視覺語言任務上表現出色，如圖像描述、視覺問答等。其主要優點包括強大的多語言支持、高效的訓練架構和廣泛的適用性。該模型適用於需要處理視覺和文本數據的各種應用場景，如社交媒體內容生成、智能客服等。

InternVL2_5-26B-MPO是一個多模態大型語言模型（MLLM），它在InternVL2.5的基礎上，通過混合偏好優化（Mixed Preference Optimization, MPO）進一步提升了模型性能。該模型能夠處理包括圖像、文本在內的多模態數據，廣泛應用於圖像描述、視覺問答等場景。它的重要性在於能夠理解和生成與圖像內容緊密相關的文本，推動了多模態人工智能的邊界。產品背景信息包括其在多模態任務中的卓越性能，以及在OpenCompass Learderboard中的評估結果。該模型為研究者和開發者提供了強大的工具，以探索和實現多模態人工智能的潛力。

InternVL2_5-1B-MPO是一個多模態大型語言模型（MLLM），它基於InternVL2.5和混合偏好優化（MPO）構建，展示了優越的整體性能。該模型集成了新增量預訓練的InternViT與各種預訓練的大型語言模型（LLMs），包括InternLM 2.5和Qwen 2.5，使用隨機初始化的MLP投影器。InternVL2.5-MPO在模型架構上保留了與InternVL 2.5及其前身相同的“ViT-MLP-LLM”範式，並引入了對多圖像和視頻數據的支持。該模型在多模態任務中表現出色，能夠處理包括圖像描述、視覺問答等多種視覺語言任務。

DeepSeek-VL2是一系列先進的大型混合專家(MoE)視覺語言模型，相較於前代DeepSeek-VL有顯著提升。該模型系列在視覺問答、光學字符識別、文檔/表格/圖表理解以及視覺定位等多種任務上展現出卓越的能力。DeepSeek-VL2由三種變體組成：DeepSeek-VL2-Tiny、DeepSeek-VL2-Small和DeepSeek-VL2，分別擁有10億、28億和45億激活參數。DeepSeek-VL2在激活參數相似或更少的情況下，與現有的開源密集型和基於MoE的模型相比，達到了競爭性或最先進的性能。

DeepSeek-VL2是一系列大型Mixture-of-Experts視覺語言模型，相較於前代DeepSeek-VL有顯著提升。該模型系列在視覺問答、光學字符識別、文檔/表格/圖表理解以及視覺定位等任務上展現出卓越的能力。DeepSeek-VL2包含三個變體：DeepSeek-VL2-Tiny、DeepSeek-VL2-Small和DeepSeek-VL2，分別擁有1.0B、2.8B和4.5B激活參數。DeepSeek-VL2在激活參數相似或更少的情況下，與現有的開源密集和MoE基礎模型相比，達到了競爭性或最先進的性能。

Pixtral-12B-2409是由Mistral AI團隊開發的多模態模型，包含12B參數的多模態解碼器和400M參數的視覺編碼器。該模型在多模態任務中表現出色，支持不同尺寸的圖像，並在文本基準測試中保持最前沿的性能。它適用於需要處理圖像和文本數據的高級應用，如圖像描述生成、視覺問答等。

VideoLLaMA2-7B是由DAMO-NLP-SG團隊開發的多模態大型語言模型，專注於視頻內容的理解和生成。該模型在視覺問答和視頻字幕生成方面具有顯著的性能，能夠處理複雜的視頻內容，並生成準確、自然的語言描述。它在空間-時間建模和音頻理解方面進行了優化，為視頻內容的智能分析和處理提供了強大的支持。

VideoLLaMA2-7B-Base 是由 DAMO-NLP-SG 開發的大型視頻語言模型，專注於視頻內容的理解與生成。該模型在視覺問答和視頻字幕生成方面展現出卓越的性能，通過先進的空間時間建模和音頻理解能力，為用戶提供了一種新的視頻內容分析工具。它基於 Transformer 架構，能夠處理多模態數據，結合文本和視覺信息，生成準確且富有洞察力的輸出。

HuggingFaceM4/idefics-80b-instruct是一個開源的多模態模型,它可以接受圖像和文本的輸入,輸出相關的文本內容。該模型在視覺問答、圖像描述等任務上表現出色,是一個通用的智能助手模型。它由Hugging Face團隊開發,基於開放數據集訓練,提供免費使用。

Kosmos-2是一個多模態大型語言模型，可以將自然語言與圖像、視頻等多種形式的輸入進行關聯。它可以用於短語定位、指代表達理解、指代表達生成、圖像描述和視覺問答等任務。Kosmos-2使用了GRIT數據集，該數據集包含了大量的圖像-文本對，可以用於模型的訓練和評估。Kosmos-2的優勢在於它可以將自然語言與視覺信息進行關聯，從而提高了模型的表現。

SEED是一個大規模預訓練的模型，通過對交錯的文本和視覺數據進行預訓練和指導調整，展現了在廣泛的多模態理解和生成任務上的出色性能。SEED還具有組合性新興能力，例如多輪上下文多模態生成，就像您的AI助手一樣。SEED還包括SEED Tokenizer v1和SEED Tokenizer v2，它們可以將文本轉換為圖像。