# 多模態模型

Awesome GPT-4o Images
Awesome GPT 4o Images
Awesome GPT-4o Images 是一個展示 OpenAI 最新多模態模型 GPT-4o 生成的圖片和提示的集合。該產品充分展示了 GPT-4o 在文本與圖像理解方面的能力,支持多種藝術風格的生成。它適合設計師、藝術創作者和任何對 AI 藝術感興趣的人。該項目是免費開放的,旨在激發創作靈感並推動 AI 藝術的發展。
AI信息平臺
104.3K
國外精選
StarVector
Starvector
StarVector 是一個先進的生成模型,旨在將圖像和文本指令轉化為高質量的可縮放矢量圖形(SVG)代碼。其主要優點在於能夠處理複雜的 SVG 元素,並在各種圖形風格和複雜性上表現出色。作為開放源代碼資源,StarVector 推動了圖形設計的創新和效率,適用於設計、插圖和技術文檔等多種應用場景。
AI設計工具
119.0K
tablegpt-agent
Tablegpt Agent
TableGPT-agent 是一個基於 TableGPT2 的預構建代理模型,專為處理表格數據的問答任務而設計。它基於 Langgraph 庫開發,提供用戶友好的交互界面,能夠高效處理與表格相關的複雜問題。TableGPT2 是一個大型多模態模型,能夠將表格數據與自然語言處理相結合,為數據分析和知識提取提供強大的技術支持。該模型適用於需要快速準確處理表格數據的場景,如數據分析、商業智能和學術研究等。
數據分析
64.9K
Mobile-Agent-E
Mobile Agent E
Mobile-Agent-E 是一款基於大型多模態模型(LMM)的移動助手,旨在幫助用戶高效完成複雜的多步驟任務。它通過分層多智能體框架實現自我進化,能夠從過去的任務中學習並改進。該產品的主要優點在於其強大的推理能力和對複雜任務的處理能力,尤其是在長週期、多應用交互的任務中表現出色。它適用於需要高效完成複雜移動任務的用戶,如商務人士、研究人員等,目前處於研究階段,未明確具體價格。
個人助理
72.6K
Aria-UI
Aria UI
Aria-UI是一個專為GUI指令視覺定位而設計的大規模多模態模型。它採用純視覺方法,不依賴輔助輸入,能夠適應多樣化的規劃指令,並通過合成多樣化、高質量的指令樣本來適應不同的任務。Aria-UI在離線和在線代理基準測試中均創下新的最高記錄,超越了僅依賴視覺和依賴AXTree的基線。
AI設計工具
51.6K
FlagEval
Flageval
FlagEval是一個模型評測平臺,專注於大語言模型和多模態模型的評測。它提供了一個公正、透明的環境,讓不同的模型在同一標準下進行比較,幫助研究者和開發者瞭解模型性能,推動人工智能技術的發展。該平臺涵蓋了對話模型、視覺語言模型等多種模型類型,支持開源和閉源模型的評測,並提供專項評測如K12學科測驗和金融量化交易評測。
AI模型
53.5K
Apollo-LMMs
Apollo LMMs
Apollo是一個專注於視頻理解的先進大型多模態模型家族。它通過系統性地探索視頻-LMMs的設計空間,揭示了驅動性能的關鍵因素,提供了優化模型性能的實用見解。Apollo通過發現'Scaling Consistency',使得在較小模型和數據集上的設計決策能夠可靠地轉移到更大的模型上,大幅降低計算成本。Apollo的主要優點包括高效的設計決策、優化的訓練計劃和數據混合,以及一個新型的基準測試ApolloBench,用於高效評估。
視頻生成
51.3K
優質新品
OmniAudio-2.6B
Omniaudio 2.6B
OmniAudio-2.6B是一個2.6B參數的多模態模型,能夠無縫處理文本和音頻輸入。該模型結合了Gemma-2B、Whisper turbo和一個自定義投影模塊,與傳統的將ASR和LLM模型串聯的方法不同,它將這兩種能力統一在一個高效的架構中,以最小的延遲和資源開銷實現。這使得它能夠安全、快速地在智能手機、筆記本電腦和機器人等邊緣設備上直接處理音頻文本。
語音識別
58.8K
ultravox-v0_4_1-mistral-nemo
Ultravox V0 4 1 Mistral Nemo
ultravox-v0_4_1-mistral-nemo是一個基於預訓練的Mistral-Nemo-Instruct-2407和whisper-large-v3-turbo的多模態語音大型語言模型(LLM)。該模型能夠同時處理語音和文本輸入,例如,一個文本系統提示和一個語音用戶消息。Ultravox通過特殊的<|audio|>偽標記將輸入音頻轉換為嵌入,並生成輸出文本。未來版本計劃擴展標記詞彙以支持生成語義和聲學音頻標記,進而可以輸入到聲碼器中產生語音輸出。該模型由Fixie.ai開發,採用MIT許可。
語音翻譯
48.6K
ultravox-v0_4_1-llama-3_1-8b
Ultravox V0 4 1 Llama 3 1 8b
fixie-ai/ultravox-v0_4_1-llama-3_1-8b是一個基於預訓練的Llama3.1-8B-Instruct和whisper-large-v3-turbo的大型語言模型,能夠處理語音和文本輸入,生成文本輸出。該模型通過特殊的<|audio|>偽標記將輸入音頻轉換為嵌入,並生成輸出文本。未來版本計劃擴展標記詞彙以支持生成語義和聲學音頻標記,進而可以用於聲碼器產生語音輸出。該模型在翻譯評估中表現出色,且沒有偏好調整,適用於語音代理、語音到語音翻譯、語音分析等場景。
語音翻譯
50.2K
TableGPT2
Tablegpt2
TableGPT2是一個大型多模態模型,專門針對表格數據進行預訓練和微調,以解決實際應用中表格數據整合不足的問題。該模型在超過593.8K的表格和2.36M的高質量查詢-表格-輸出元組上進行了預訓練和微調,規模前所未有。TableGPT2的關鍵創新之一是其新穎的表格編碼器,專門設計用於捕獲模式級別和單元格級別的信息,增強了模型處理模糊查詢、缺失列名和不規則表格的能力。在23個基準測試指標上,TableGPT2在7B模型上平均性能提升了35.20%,在72B模型上提升了49.32%,同時保持了強大的通用語言和編碼能力。
AI模型
97.7K
優質新品
LVBench
Lvbench
LVBench是一個專門設計用於長視頻理解的基準測試,旨在推動多模態大型語言模型在理解數小時長視頻方面的能力,這對於長期決策制定、深入電影評論和討論、現場體育解說等實際應用至關重要。
AI模型
55.8K
MiniGPT4-Video
Minigpt4 Video
MiniGPT4-Video是為視頻理解設計的多模態大模型,能處理時態視覺數據和文本數據,配標題、宣傳語,適用於視頻問答。基於MiniGPT-v2,結合視覺主幹EVA-CLIP,訓練多階段階段,包括大規模視頻-文本預訓練和視頻問題解答微調。在MSVD、MSRVTT、TGIF和TVQA基準上取得顯著提升。定價未知。
AI視頻生成
106.8K
冒泡鴨AI
冒泡鴨AI
冒泡鴨AI是基於自研多模態大模型開發的AI互動平臺,提供擬人、工具、內容、遊戲、娛樂等多個領域的海量智能體。平臺具有超長的上下文記憶能力和即時聯網搜索能力,能夠深度理解用戶意圖,並提供即時、準確、個性化的回覆和選擇。用戶還可以定製個性化的AI智能體,以滿足個性化的需求和偏好。
聊天機器人
192.6K
WebVoyager
Webvoyager
WebVoyager是一款創新的大型多模態模型(LMM)驅動的網絡代理,能夠通過與現實世界的網站交互,端到端完成用戶指令。我們提出了一種新的網絡代理評估協議,以解決開放式網絡代理任務的自動評估挑戰,利用GPT-4V的強大多模態理解能力。我們從15個廣泛使用的網站收集了真實世界任務,用於評估我們的代理。我們展示了WebVoyager實現了55.7%的任務成功率,明顯超過了GPT-4(所有工具)和WebVoyager(僅文本)設置的性能,突顯了WebVoyager在實際應用中的卓越能力。我們發現我們提出的自動評估與人類判斷達成了85.3%的一致性,為在真實世界環境中進一步發展網絡代理鋪平了道路。
AI Agents
56.9K
Adept Fuyu-Heavy
Adept Fuyu Heavy
Adept Fuyu-Heavy是一款新型的多模態模型,專為數字代理設計。它在多模態推理方面表現出色,尤其在UI理解方面表現出色,同時在傳統的多模態基準測試中也表現良好。此外,它展示了我們可以擴大Fuyu架構並獲得所有相關好處的能力,包括處理任意大小/形狀的圖像和有效地重複使用現有的變壓器優化。它還具有匹配或超越相同計算級別模型性能的能力,儘管需要將部分容量用於圖像建模。
AI模型
52.7K
Multimodal-Maestro
Multimodal Maestro
Multimodal-Maestro為您提供更多對大型多模態模型的控制,以獲得您想要的輸出。通過更有效的提示策略,您可以讓多模態模型執行您以前不知道(或認為不可能)的任務。想知道它是如何工作的嗎?試試我們的HF空間! 該項目仍在建設中,API可能會發生變化。
AI工具網址目錄
58.2K
精選AI產品推薦
中文精選
騰訊混元圖像 2.0
騰訊混元圖像 2.0
騰訊混元圖像 2.0 是騰訊最新發布的 AI 圖像生成模型,顯著提升了生成速度和畫質。通過超高壓縮倍率的編解碼器和全新擴散架構,使得圖像生成速度可達到毫秒級,避免了傳統生成的等待時間。同時,模型通過強化學習算法與人類美學知識的結合,提升了圖像的真實感和細節表現,適合設計師、創作者等專業用戶使用。
圖片生成
80.9K
國外精選
Lovart
Lovart
Lovart 是一款革命性的 AI 設計代理,能夠將創意提示轉化為藝術作品,支持從故事板到品牌視覺的多種設計需求。其重要性在於打破傳統設計流程,節省時間並提升創意靈感。Lovart 當前處於測試階段,用戶可加入等候名單,隨時體驗設計的樂趣。
AI設計工具
64.0K
FastVLM
Fastvlm
FastVLM 是一種高效的視覺編碼模型,專為視覺語言模型設計。它通過創新的 FastViTHD 混合視覺編碼器,減少了高分辨率圖像的編碼時間和輸出的 token 數量,使得模型在速度和精度上表現出色。FastVLM 的主要定位是為開發者提供強大的視覺語言處理能力,適用於各種應用場景,尤其在需要快速響應的移動設備上表現優異。
AI模型
51.1K
KeySync
Keysync
KeySync 是一個針對高分辨率視頻的無洩漏唇同步框架。它解決了傳統唇同步技術中的時間一致性問題,同時通過巧妙的遮罩策略處理表情洩漏和麵部遮擋。KeySync 的優越性體現在其在唇重建和跨同步方面的先進成果,適用於自動配音等實際應用場景。
視頻編輯
48.6K
Manus
Manus
Manus 是由 Monica.im 研發的全球首款真正自主的 AI 代理產品,能夠直接交付完整的任務成果,而不僅僅是提供建議或答案。它採用 Multiple Agent 架構,運行在獨立虛擬機中,能夠通過編寫和執行代碼、瀏覽網頁、操作應用等方式直接完成任務。Manus 在 GAIA 基準測試中取得了 SOTA 表現,展現了強大的任務執行能力。其目標是成為用戶在數字世界的‘代理人’,幫助用戶高效完成各種複雜任務。
個人助理
1.5M
Trae國內版
Trae國內版
Trae是一款專為中文開發場景設計的AI原生IDE,將AI技術深度集成於開發環境中。它通過智能代碼補全、上下文理解等功能,顯著提升開發效率和代碼質量。Trae的出現填補了國內AI集成開發工具的空白,滿足了中文開發者對高效開發工具的需求。其定位為高端開發工具,旨在為專業開發者提供強大的技術支持,目前尚未明確公開價格,但預計會採用付費模式以匹配其高端定位。
開發與工具
138.0K
國外精選
Pika
Pika
Pika是一個視頻製作平臺,用戶可以上傳自己的創意想法,Pika會自動生成相關的視頻。主要功能有:支持多種創意想法轉視頻,視頻效果專業,操作簡單易用。平臺採用免費試用模式,定位面向創意者和視頻愛好者。
視頻生成
18.7M
中文精選
LiblibAI
Liblibai
LiblibAI是一箇中國領先的AI創作平臺,提供強大的AI創作能力,幫助創作者實現創意。平臺提供海量免費AI創作模型,用戶可以搜索使用模型進行圖像、文字、音頻等創作。平臺還支持用戶訓練自己的AI模型。平臺定位於廣大創作者用戶,致力於創造條件普惠,服務創意產業,讓每個人都享有創作的樂趣。
AI模型
8.0M
AIbase
智啟未來,您的人工智能解決方案智庫
© 2025AIbase