# 多模態

OmniGen2 是一個高效的多模態生成模型，結合了視覺語言模型和擴散模型，能夠實現視覺理解、圖像生成及編輯等功能。其開源特性為研究人員和開發者提供了強大的基礎，助力個性化和可控生成 AI 的探索。

OneReach.ai是一個平臺，旨在幫助組織編排提升員工和客戶體驗的高級多模態AI代理。它讓用戶輕鬆打造智能數字勞動者(IDWs)，並提供強大的工作流自動化功能。

FLUX.1 Kontext是一款革命性的多模態AI模型，將文本指令與圖像編輯和生成相結合，實現精準本地化編輯，保持角色一致性和風格連貫性。該產品適用於營銷內容創作、電影製作和設計等專業工作流程。

BAGEL是一款可擴展的統一多模態模型，它正在革新AI與複雜系統的交互方式。該模型具有對話推理、圖像生成、編輯、風格轉移、導航、構圖、思考等功能，通過深度學習視頻和網絡數據進行預訓練，為生成高保真度、逼真圖像提供了基礎。

MNN-LLM 是一款高效的推理框架，旨在優化和加速大語言模型在移動設備和本地 PC 上的部署。它通過模型量化、混合存儲和硬件特定優化，解決高內存消耗和計算成本的問題。MNN-LLM 在 CPU 基準測試中表現卓越，速度顯著提升，適合需要隱私保護和高效推理的用戶。

HunyuanCustom 是一個多模態定製視頻生成框架，旨在根據用戶定義的條件生成特定主題的視頻。該技術在身份一致性和多種輸入模式的支持上表現出色，能夠處理文本、圖像、音頻和視頻輸入，適合虛擬人廣告、視頻編輯等多種應用場景。

Liquid 是一個自迴歸生成模型，通過將圖像分解為離散代碼並與文本標記共享特徵空間，促進視覺理解和文本生成的無縫集成。此模型的主要優點在於無需外部預訓練的視覺嵌入，減少了對資源的依賴，同時通過規模法則發現了理解與生成任務之間的相互促進效應。

InternVL3是由OpenGVLab開源發佈的多模態大型語言模型（MLLM），具備卓越的多模態感知和推理能力。該模型系列包含從1B到78B共7個尺寸，能夠同時處理文字、圖片、視頻等多種信息，展現出卓越的整體性能。InternVL3在工業圖像分析、3D視覺感知等領域表現出色，其整體文本性能甚至優於Qwen2.5系列。該模型的開源為多模態應用開發提供了強大的支持，有助於推動多模態技術在更多領域的應用。

Kimi-VL 是一個先進的混合專家視覺語言模型，專為多模態推理、長上下文理解及強大代理能力而設計。該模型在多個複雜領域表現出色，具有 2.8B 參數的高效性，同時具備出色的數學推理和圖像理解能力。Kimi-VL 以其優化的計算性能和處理長輸入的能力，標誌著多模態模型的新標準。

DreamActor-M1 是一個基於擴散變換器 (DiT) 的人類動畫框架，旨在實現細粒度的整體可控性、多尺度適應性和長期時間一致性。該模型通過混合引導，能夠生成高表現力和真實感的人類視頻，適用於從肖像到全身動畫的多種場景。其主要優勢在於高保真度和身份保留，為人類行為動畫帶來了新的可能性。

Gemini 2.5 是谷歌推出的最先進的 AI 模型，具備高效的推理能力和編碼性能，能夠處理複雜問題，並在多項基準測試中表現出色。該模型引入了新的思維能力，結合增強的基礎模型和後期訓練，支持更復雜的任務，旨在為開發者和企業提供強大的支持。Gemini 2.5 Pro 可在 Google AI Studio 和 Gemini 應用中使用，適合需要高級推理和編碼能力的用戶。

Mistral-Small-3.1-24B-Base-2503 是一款具有 240 億參數的先進開源模型，支持多語言和長上下文處理，適用於文本與視覺任務。它是 Mistral Small 3.1 的基礎模型，具有較強的多模態能力，適合企業需求。

Mistral OCR 是由 Mistral AI 開發的先進光學字符識別 API，旨在以無與倫比的準確性提取和結構化文檔內容。它能夠處理包含文本、圖像、表格和方程式的複雜文檔，輸出 Markdown 格式的結果，便於與 AI 系統和檢索增強生成（RAG）系統集成。其高精度、高速度和多模態處理能力使其在大規模文檔處理場景中表現出色，尤其適用於科研、法律、客服和歷史文獻保護等領域。Mistral OCR 的定價為每美元 1000 頁標準使用量，批量處理可達每美元 2000 頁，還提供企業自託管選項，滿足特定隱私需求。

Gemini Robotics是Google DeepMind推出的一種先進的人工智能模型，專為機器人應用而設計。它基於Gemini 2.0架構，通過視覺、語言和動作（VLA）的融合，使機器人能夠執行復雜的現實世界任務。該技術的重要性在於它推動了機器人從實驗室走向日常生活和工業應用的進程，為未來智能機器人的發展奠定了基礎。Gemini Robotics的主要優點包括強大的泛化能力、交互性和靈巧性，使其能夠適應不同的任務和環境。目前，該技術處於研究和開發階段，尚未明確具體的價格和市場定位。

R1-Omni 是一個創新的多模態情緒識別模型，通過強化學習提升模型的推理能力和泛化能力。該模型基於 HumanOmni-0.5B 開發，專注於情緒識別任務，能夠通過視覺和音頻模態信息進行情緒分析。其主要優點包括強大的推理能力、顯著提升的情緒識別性能以及在分佈外數據上的出色表現。該模型適用於需要多模態理解的場景，如情感分析、智能客服等領域，具有重要的研究和應用價值。

智元通用具身基座大模型GO-1是智元推出的一款革命性的人工智能模型。該模型基於創新的Vision-Language-Latent-Action（ViLLA）架構，通過多模態大模型（VLM）和混合專家（MoE）系統，實現了從視覺和語言輸入到機器人動作執行的高效轉換。GO-1能夠利用人類視頻和真實機器人數據進行學習，具備強大的泛化能力，能夠在極少數據甚至零樣本下快速適應新任務和環境。其主要優點包括高效的學習能力、強大的泛化性能以及對多種機器人本體的適配性。該模型的推出標誌著具身智能向通用化、開放化和智能化方向邁出了重要一步，有望在商業、工業和家庭等多個領域發揮重要作用。

OpenAI Agents SDK 是一個用於構建自主智能體的開發工具包。它基於 OpenAI 的先進模型能力，如高級推理、多模態交互和新的安全技術，為開發者提供了一種簡化的方式來構建、部署和擴展可靠的智能體應用。該工具包不僅支持單智能體和多智能體工作流的編排，還集成了可觀測性工具，幫助開發者追蹤和優化智能體的執行流程。其主要優點包括易於配置的 LLM 模型、智能的智能體交接機制、可配置的安全檢查以及強大的調試和性能優化功能。該工具包適用於需要自動化複雜任務的企業和開發者，旨在通過智能體技術提升生產力和效率。

SmolVLM2 是一種輕量級的視頻語言模型，旨在通過分析視頻內容生成相關的文本描述或視頻亮點。該模型具有高效性、低資源消耗的特點，適合在多種設備上運行，包括移動設備和桌面客戶端。其主要優點是能夠快速處理視頻數據並生成高質量的文本輸出，為視頻內容創作、視頻分析和教育等領域提供了強大的技術支持。該模型由 Hugging Face 團隊開發，定位為高效、輕量化的視頻處理工具，目前處於實驗階段，用戶可以免費試用。

Inception Labs 是一家專注於開發擴散式大語言模型（dLLMs）的公司。其技術靈感來源於先進的圖像和視頻生成系統，如 Midjourney 和 Sora。通過擴散模型，Inception Labs 提供了比傳統自迴歸模型快 5-10 倍的速度、更高的效率和更強的生成控制能力。其模型支持並行文本生成，能夠糾正錯誤和幻覺，適合多模態任務，並且在推理和結構化數據生成方面表現出色。公司由斯坦福、UCLA 和康奈爾大學的研究人員和工程師組成，是擴散模型領域的先驅。

Aya Vision 是 Cohere For AI 團隊開發的先進視覺模型，專注於多語言多模態任務，支持 23 種語言。該模型通過創新的算法突破，如合成標註、多語言數據擴展和多模態模型融合，顯著提升了視覺和文本任務的性能。其主要優點包括高效性（在計算資源有限的情況下仍能表現出色）和廣泛的多語言支持。Aya Vision 的發佈旨在推動多語言多模態研究的前沿發展，併為全球研究社區提供技術支持。

EgoLife是一個面向長期、多模態、多視角日常生活的AI助手項目。該項目通過記錄六名志願者一週的共享生活體驗，生成了約50小時的視頻數據，涵蓋日常活動、社交互動等場景。其多模態數據（包括視頻、視線、IMU數據）和多視角攝像頭系統為AI研究提供了豐富的上下文信息。此外，該項目提出了EgoRAG框架，用於解決長期上下文理解任務，推動了AI在複雜環境中的應用能力。

UniTok是一種創新的視覺分詞技術，旨在彌合視覺生成和理解之間的差距。它通過多碼本量化技術，顯著提升了離散分詞器的表示能力，使其能夠捕捉到更豐富的視覺細節和語義信息。這一技術突破了傳統分詞器在訓練過程中的瓶頸，為視覺生成和理解任務提供了一種高效且統一的解決方案。UniTok在圖像生成和理解任務中表現出色，例如在ImageNet上實現了顯著的零樣本準確率提升。該技術的主要優點包括高效性、靈活性以及對多模態任務的強大支持，為視覺生成和理解領域帶來了新的可能性。

ViDoRAG 是阿里巴巴自然語言處理團隊開發的一種新型多模態檢索增強生成框架，專為處理視覺豐富文檔的複雜推理任務設計。該框架通過動態迭代推理代理和高斯混合模型（GMM）驅動的多模態檢索策略，顯著提高了生成模型的魯棒性和準確性。ViDoRAG 的主要優點包括高效處理視覺和文本信息、支持多跳推理以及可擴展性強。該框架適用於需要從大規模文檔中檢索和生成信息的場景，例如智能問答、文檔分析和內容創作。其開源特性和靈活的模塊化設計使其成為研究人員和開發者在多模態生成領域的重要工具。

Migician 是清華大學自然語言處理實驗室開發的一種多模態大語言模型，專注於多圖像定位任務。該模型通過引入創新的訓練框架和大規模數據集 MGrounding-630k，顯著提升了多圖像場景下的精確定位能力。它不僅超越了現有的多模態大語言模型，甚至在性能上超過了更大規模的 70B 模型。Migician 的主要優點在於其能夠處理複雜的多圖像任務，並提供自由形式的定位指令，使其在多圖像理解領域具有重要的應用前景。該模型目前在 Hugging Face 上開源，供研究人員和開發者使用。

Mochii AI 旨在通過自適應記憶、自定義個性和無縫多平臺集成，推動人類與人工智能的協作。它支持多種高級 AI 模型，如 OpenAI、Claude、Gemini、DALL-E 和 Stable Diffusion，能夠實現智能對話、內容創作、數據分析和圖像生成等功能。產品提供免費層級，無需信用卡即可使用，適合希望提升工作效率和創造力的專業人士。

M2RAG是一個用於多模態上下文中的檢索增強生成的基準測試代碼庫。它通過多模態檢索文檔來回答問題，評估多模態大語言模型（MLLMs）在利用多模態上下文知識方面的能力。該模型在圖像描述、多模態問答、事實驗證和圖像重排等任務上進行了評估，旨在提升模型在多模態上下文學習中的有效性。M2RAG為研究人員提供了一個標準化的測試平臺，有助於推動多模態語言模型的發展。

TheoremExplainAgent 是一款基於人工智能的模型，專注於為數學和科學定理生成詳細的多模態解釋視頻。它通過結合文本和視覺動畫，幫助用戶更深入地理解複雜概念。該產品利用 Manim 動畫技術生成超過 5 分鐘的長視頻，填補了傳統文本解釋的不足，尤其在揭示推理錯誤方面表現出色。它主要面向教育領域，旨在提升學習者對 STEM 領域定理的理解能力，目前尚未明確其價格和商業化定位。

Gemini 2.0 Flash-Lite 是 Google 推出的高效語言模型，專為長文本處理和複雜任務優化。它在推理、多模態、數學和事實性基準測試中表現出色，具備簡化的價格策略，使得百萬級上下文窗口更加經濟實惠。Gemini 2.0 Flash-Lite 已在 Google AI Studio 和 Vertex AI 中全面開放，適合企業級生產使用。

Phi-4-multimodal-instruct 是微軟開發的多模態基礎模型，支持文本、圖像和音頻輸入，生成文本輸出。該模型基於Phi-3.5和Phi-4.0的研究和數據集構建，經過監督微調、直接偏好優化和人類反饋強化學習等過程，以提高指令遵循能力和安全性。它支持多種語言的文本、圖像和音頻輸入，具有128K的上下文長度，適用於多種多模態任務，如語音識別、語音翻譯、視覺問答等。該模型在多模態能力上取得了顯著提升，尤其在語音和視覺任務上表現出色。它為開發者提供了強大的多模態處理能力，可用於構建各種多模態應用。

Magma-8B 是微軟開發的一款多模態 AI 基礎模型，專為研究多模態 AI 代理而設計。它結合了文本和圖像輸入，能夠生成文本輸出，並具備視覺規劃和代理能力。該模型使用了 Meta LLaMA-3 作為語言模型骨幹，並結合 CLIP-ConvNeXt-XXLarge 視覺編碼器，支持從無標籤視頻數據中學習時空關係，具有強大的泛化能力和多任務適應性。Magma-8B 在多模態任務中表現出色，特別是在空間理解和推理方面。它為多模態 AI 研究提供了強大的工具，推動了虛擬和現實環境中複雜交互的研究。