# 多模態模型

Awesome GPT-4o Images 是一個展示 OpenAI 最新多模態模型 GPT-4o 生成的圖片和提示的集合。該產品充分展示了 GPT-4o 在文本與圖像理解方面的能力，支持多種藝術風格的生成。它適合設計師、藝術創作者和任何對 AI 藝術感興趣的人。該項目是免費開放的，旨在激發創作靈感並推動 AI 藝術的發展。

StarVector 是一個先進的生成模型，旨在將圖像和文本指令轉化為高質量的可縮放矢量圖形（SVG）代碼。其主要優點在於能夠處理複雜的 SVG 元素，並在各種圖形風格和複雜性上表現出色。作為開放源代碼資源，StarVector 推動了圖形設計的創新和效率，適用於設計、插圖和技術文檔等多種應用場景。

TableGPT-agent 是一個基於 TableGPT2 的預構建代理模型，專為處理表格數據的問答任務而設計。它基於 Langgraph 庫開發，提供用戶友好的交互界面，能夠高效處理與表格相關的複雜問題。TableGPT2 是一個大型多模態模型，能夠將表格數據與自然語言處理相結合，為數據分析和知識提取提供強大的技術支持。該模型適用於需要快速準確處理表格數據的場景，如數據分析、商業智能和學術研究等。

Mobile-Agent-E 是一款基於大型多模態模型（LMM）的移動助手，旨在幫助用戶高效完成複雜的多步驟任務。它通過分層多智能體框架實現自我進化，能夠從過去的任務中學習並改進。該產品的主要優點在於其強大的推理能力和對複雜任務的處理能力，尤其是在長週期、多應用交互的任務中表現出色。它適用於需要高效完成複雜移動任務的用戶，如商務人士、研究人員等，目前處於研究階段，未明確具體價格。

Aria-UI是一個專為GUI指令視覺定位而設計的大規模多模態模型。它採用純視覺方法，不依賴輔助輸入，能夠適應多樣化的規劃指令，並通過合成多樣化、高質量的指令樣本來適應不同的任務。Aria-UI在離線和在線代理基準測試中均創下新的最高記錄，超越了僅依賴視覺和依賴AXTree的基線。

FlagEval是一個模型評測平臺，專注於大語言模型和多模態模型的評測。它提供了一個公正、透明的環境，讓不同的模型在同一標準下進行比較，幫助研究者和開發者瞭解模型性能，推動人工智能技術的發展。該平臺涵蓋了對話模型、視覺語言模型等多種模型類型，支持開源和閉源模型的評測，並提供專項評測如K12學科測驗和金融量化交易評測。

Apollo是一個專注於視頻理解的先進大型多模態模型家族。它通過系統性地探索視頻-LMMs的設計空間，揭示了驅動性能的關鍵因素，提供了優化模型性能的實用見解。Apollo通過發現'Scaling Consistency'，使得在較小模型和數據集上的設計決策能夠可靠地轉移到更大的模型上，大幅降低計算成本。Apollo的主要優點包括高效的設計決策、優化的訓練計劃和數據混合，以及一個新型的基準測試ApolloBench，用於高效評估。

OmniAudio-2.6B是一個2.6B參數的多模態模型，能夠無縫處理文本和音頻輸入。該模型結合了Gemma-2B、Whisper turbo和一個自定義投影模塊，與傳統的將ASR和LLM模型串聯的方法不同，它將這兩種能力統一在一個高效的架構中，以最小的延遲和資源開銷實現。這使得它能夠安全、快速地在智能手機、筆記本電腦和機器人等邊緣設備上直接處理音頻文本。

ultravox-v0_4_1-mistral-nemo是一個基於預訓練的Mistral-Nemo-Instruct-2407和whisper-large-v3-turbo的多模態語音大型語言模型（LLM）。該模型能夠同時處理語音和文本輸入，例如，一個文本系統提示和一個語音用戶消息。Ultravox通過特殊的<|audio|>偽標記將輸入音頻轉換為嵌入，並生成輸出文本。未來版本計劃擴展標記詞彙以支持生成語義和聲學音頻標記，進而可以輸入到聲碼器中產生語音輸出。該模型由Fixie.ai開發，採用MIT許可。

fixie-ai/ultravox-v0_4_1-llama-3_1-8b是一個基於預訓練的Llama3.1-8B-Instruct和whisper-large-v3-turbo的大型語言模型，能夠處理語音和文本輸入，生成文本輸出。該模型通過特殊的<|audio|>偽標記將輸入音頻轉換為嵌入，並生成輸出文本。未來版本計劃擴展標記詞彙以支持生成語義和聲學音頻標記，進而可以用於聲碼器產生語音輸出。該模型在翻譯評估中表現出色，且沒有偏好調整，適用於語音代理、語音到語音翻譯、語音分析等場景。

TableGPT2是一個大型多模態模型，專門針對表格數據進行預訓練和微調，以解決實際應用中表格數據整合不足的問題。該模型在超過593.8K的表格和2.36M的高質量查詢-表格-輸出元組上進行了預訓練和微調，規模前所未有。TableGPT2的關鍵創新之一是其新穎的表格編碼器，專門設計用於捕獲模式級別和單元格級別的信息，增強了模型處理模糊查詢、缺失列名和不規則表格的能力。在23個基準測試指標上，TableGPT2在7B模型上平均性能提升了35.20%，在72B模型上提升了49.32%，同時保持了強大的通用語言和編碼能力。

LVBench是一個專門設計用於長視頻理解的基準測試，旨在推動多模態大型語言模型在理解數小時長視頻方面的能力，這對於長期決策制定、深入電影評論和討論、現場體育解說等實際應用至關重要。

MiniGPT4-Video是為視頻理解設計的多模態大模型，能處理時態視覺數據和文本數據，配標題、宣傳語，適用於視頻問答。基於MiniGPT-v2，結合視覺主幹EVA-CLIP，訓練多階段階段，包括大規模視頻-文本預訓練和視頻問題解答微調。在MSVD、MSRVTT、TGIF和TVQA基準上取得顯著提升。定價未知。

冒泡鴨AI是基於自研多模態大模型開發的AI互動平臺，提供擬人、工具、內容、遊戲、娛樂等多個領域的海量智能體。平臺具有超長的上下文記憶能力和即時聯網搜索能力，能夠深度理解用戶意圖，並提供即時、準確、個性化的回覆和選擇。用戶還可以定製個性化的AI智能體，以滿足個性化的需求和偏好。

WebVoyager是一款創新的大型多模態模型（LMM）驅動的網絡代理，能夠通過與現實世界的網站交互，端到端完成用戶指令。我們提出了一種新的網絡代理評估協議，以解決開放式網絡代理任務的自動評估挑戰，利用GPT-4V的強大多模態理解能力。我們從15個廣泛使用的網站收集了真實世界任務，用於評估我們的代理。我們展示了WebVoyager實現了55.7%的任務成功率，明顯超過了GPT-4（所有工具）和WebVoyager（僅文本）設置的性能，突顯了WebVoyager在實際應用中的卓越能力。我們發現我們提出的自動評估與人類判斷達成了85.3%的一致性，為在真實世界環境中進一步發展網絡代理鋪平了道路。

Adept Fuyu-Heavy是一款新型的多模態模型，專為數字代理設計。它在多模態推理方面表現出色，尤其在UI理解方面表現出色，同時在傳統的多模態基準測試中也表現良好。此外，它展示了我們可以擴大Fuyu架構並獲得所有相關好處的能力，包括處理任意大小/形狀的圖像和有效地重複使用現有的變壓器優化。它還具有匹配或超越相同計算級別模型性能的能力，儘管需要將部分容量用於圖像建模。

Multimodal-Maestro為您提供更多對大型多模態模型的控制，以獲得您想要的輸出。通過更有效的提示策略，您可以讓多模態模型執行您以前不知道（或認為不可能）的任務。想知道它是如何工作的嗎？試試我們的HF空間！ 該項目仍在建設中，API可能會發生變化。