# 視覺理解

PromptPilot 是一個智能解決方案平臺，專注於大模型的優化和用戶任務意圖的實現。通過交互反饋，該平臺能夠自動優化多步驟、多模態和多場景的任務，為用戶提供高效的智能解決方案，適合企業和個人用戶提升工作效率和任務完成質量。

Liquid 是一個自迴歸生成模型，通過將圖像分解為離散代碼並與文本標記共享特徵空間，促進視覺理解和文本生成的無縫集成。此模型的主要優點在於無需外部預訓練的視覺嵌入，減少了對資源的依賴，同時通過規模法則發現了理解與生成任務之間的相互促進效應。

Kimi-VL 是一個先進的混合專家視覺語言模型，專為多模態推理、長上下文理解及強大代理能力而設計。該模型在多個複雜領域表現出色，具有 2.8B 參數的高效性，同時具備出色的數學推理和圖像理解能力。Kimi-VL 以其優化的計算性能和處理長輸入的能力，標誌著多模態模型的新標準。

UniTok是一種創新的視覺分詞技術，旨在彌合視覺生成和理解之間的差距。它通過多碼本量化技術，顯著提升了離散分詞器的表示能力，使其能夠捕捉到更豐富的視覺細節和語義信息。這一技術突破了傳統分詞器在訓練過程中的瓶頸，為視覺生成和理解任務提供了一種高效且統一的解決方案。UniTok在圖像生成和理解任務中表現出色，例如在ImageNet上實現了顯著的零樣本準確率提升。該技術的主要優點包括高效性、靈活性以及對多模態任務的強大支持，為視覺生成和理解領域帶來了新的可能性。

ZeroBench 是一個專為評估大型多模態模型（LMMs）視覺理解能力而設計的基準測試。它通過 100 個精心設計且經過嚴格審查的複雜問題，以及 334 個子問題，挑戰當前模型的極限。該基準測試旨在填補現有視覺基準的不足，提供更具挑戰性和高質量的評估工具。ZeroBench 的主要優點是其高難度、輕量級、多樣化和高質量的特點，使其能夠有效區分模型的性能。此外，它還提供了詳細的子問題評估，幫助研究人員更好地理解模型的推理能力。

MiniCPM-o 2.6是MiniCPM-o系列中最新且功能最強大的模型。該模型基於SigLip-400M、Whisper-medium-300M、ChatTTS-200M和Qwen2.5-7B構建，擁有8B參數。它在視覺理解、語音交互和多模態直播方面表現出色，支持即時語音對話和多模態直播功能。該模型在開源社區中表現優異，超越了多個知名模型。其優勢在於高效的推理速度、低延遲、低內存和功耗，能夠在iPad等終端設備上高效支持多模態直播。此外，MiniCPM-o 2.6易於使用，支持多種使用方式，包括llama.cpp的CPU推理、int4和GGUF格式的量化模型、vLLM的高吞吐量推理等。

Qwen2-VL-72B是Qwen-VL模型的最新迭代，代表了近一年的創新成果。該模型在視覺理解基準測試中取得了最新的性能，包括MathVista、DocVQA、RealWorldQA、MTVQA等。它能夠理解超過20分鐘的視頻，並可以集成到手機、機器人等設備中，進行基於視覺環境和文本指令的自動操作。除了英語和中文，Qwen2-VL現在還支持圖像中不同語言文本的理解，包括大多數歐洲語言、日語、韓語、阿拉伯語、越南語等。模型架構更新包括Naive Dynamic Resolution和Multimodal Rotary Position Embedding (M-ROPE)，增強了其多模態處理能力。

GLM-4V-9B是智譜AI推出的新一代預訓練模型，支持1120*1120高分辨率下的中英雙語多輪對話，以及視覺理解能力。在多模態評測中，GLM-4V-9B展現出超越GPT-4-turbo-2024-04-09、Gemini 1.0 Pro、Qwen-VL-Max和Claude 3 Opus的卓越性能。

Video-LLaVA 是一個用於學習聯合視覺表示的模型，通過對齊前投影進行訓練。它可以將視頻和圖像表示進行對齊，從而實現更好的視覺理解。該模型具有高效的學習和推理速度，適用於視頻處理和視覺任務。