# 多模態學習

OmniTalker 是由阿里巴巴 Tongyi 實驗室提出的一種統一框架，旨在即時生成音頻和視頻，提升人機交互體驗。其創新之處在於解決了傳統文本到語音及語音驅動的視頻生成方法中常見的音視頻不同步、風格不一致及系統複雜性等問題。OmniTalker 採用雙分支擴散變換器架構，能夠在保持高效的同時實現高保真的音視頻輸出。其即時推理速度可達每秒 25 幀，適用於各種交互式視頻聊天應用，提升了用戶體驗。

DeepSeek-VL2是一系列先進的大型混合專家(MoE)視覺語言模型，相較於前代DeepSeek-VL有顯著提升。該模型系列在視覺問答、光學字符識別、文檔/表格/圖表理解以及視覺定位等多種任務上展現出卓越的能力。DeepSeek-VL2由三種變體組成：DeepSeek-VL2-Tiny、DeepSeek-VL2-Small和DeepSeek-VL2，分別擁有10億、28億和45億激活參數。DeepSeek-VL2在激活參數相似或更少的情況下，與現有的開源密集型和基於MoE的模型相比，達到了競爭性或最先進的性能。

MMAudio是一種多模態聯合訓練技術，旨在高質量的視頻到音頻合成。該技術能夠根據視頻和文本輸入生成同步音頻，適用於各種應用場景，如影視製作、遊戲開發等。其重要性在於提升了音頻生成的效率和質量，適合需要音頻合成的創作者和開發者使用。

InternViT-300M-448px-V2_5是一個基於InternViT-300M-448px的增強版本，通過採用ViT增量學習與NTP損失（Stage 1.5），提升了視覺編碼器提取視覺特徵的能力，尤其是在大規模網絡數據集中代表性不足的領域，如多語言OCR數據和數學圖表等。該模型是InternViT 2.5系列的一部分，保留了與前代相同的“ViT-MLP-LLM”模型架構，並集成了新的增量預訓練的InternViT與各種預訓練的LLMs，如InternLM 2.5和Qwen 2.5，使用隨機初始化的MLP投影器。

Florence-VL是一個視覺語言模型，通過引入生成式視覺編碼器和深度廣度融合技術，增強了模型對視覺和語言信息的處理能力。該技術的重要性在於其能夠提升機器對圖像和文本的理解，進而在多模態任務中取得更好的效果。Florence-VL基於LLaVA項目進行開發，提供了預訓練和微調的代碼、模型檢查點和演示。

LLaVA-o1是北京大學元組團隊開發的一個視覺語言模型，它能夠進行自發的、系統的推理，類似於GPT-o1。該模型在六個具有挑戰性的多模態基準測試中超越了其他模型，包括Gemini-1.5-pro、GPT-4o-mini和Llama-3.2-90B-Vision-Instruct。LLaVA-o1通過逐步推理解決問題，展示了其在視覺語言模型中的獨特優勢。

PPLLaVA是一個高效的視頻大型語言模型，它結合了細粒度視覺提示對齊、用戶指令的卷積風格池化的視覺令牌壓縮以及CLIP上下文擴展。該模型在VideoMME、MVBench、VideoChatGPT Bench和VideoQA Bench等數據集上建立了新的最先進結果，僅使用1024個視覺令牌，吞吐量提高了8倍。

Agent S是一個開放的代理框架，旨在通過圖形用戶界面(GUI)實現與計算機的自主交互，通過自動化複雜多步驟任務來轉變人機交互。它引入了經驗增強的分層規劃方法，利用在線網絡知識和敘事記憶，從過去的交互中提取高級經驗，將複雜任務分解為可管理的子任務，並使用情景記憶進行逐步指導，Agent S不斷優化其行動並從經驗中學習，實現適應性強且有效的任務規劃。Agent S在OSWorld基準測試中的表現超過了基線9.37%的成功率（相對提高了83.6%），並在WindowsAgentArena基準測試中展示了廣泛的通用性。

FakeShield是一個多模態框架，旨在解決圖像檢測和定位（IFDL）領域中的兩個主要挑戰：檢測原理的黑箱性和在不同篡改方法間的有限泛化能力。FakeShield通過利用GPT-4o增強現有的IFDL數據集，創建了多模態篡改描述數據集（MMTD-Set），用於訓練FakeShield的篡改分析能力。該框架包括領域標籤引導的可解釋檢測模塊（DTE-FDM）和定位模塊（MFLM），能夠處理各種類型的篡改檢測解釋，並實現由詳細文本描述引導的定位。FakeShield在檢測準確性和F1分數上優於其他方法，提供了一個可解釋且優越的解決方案。

LLaVA-Video是一個專注於視頻指令調優的大型多模態模型（LMMs），通過創建高質量的合成數據集LLaVA-Video-178K來解決從網絡獲取大量高質量原始數據的難題。該數據集包括詳細的視頻描述、開放式問答和多項選擇問答等任務，旨在提高視頻語言模型的理解和推理能力。LLaVA-Video模型在多個視頻基準測試中表現出色，證明了其數據集的有效性。

NVLM 1.0是一系列前沿級的多模態大型語言模型（LLMs），在視覺-語言任務上取得了與領先專有模型和開放訪問模型相媲美的先進成果。值得注意的是，NVLM 1.0在多模態訓練後，其文本性能甚至超過了其LLM主幹模型。我們為社區開源了模型權重和代碼。

LongLLaVA是一個多模態大型語言模型，通過混合架構高效擴展至1000圖像，旨在提升圖像處理和理解能力。該模型通過創新的架構設計，實現了在大規模圖像數據上的有效學習和推理，對於圖像識別、分類和分析等領域具有重要意義。

EAGLE是一個面向視覺中心的高分辨率多模態大型語言模型（LLM）系列，通過混合視覺編碼器和不同輸入分辨率來加強多模態LLM的感知能力。該模型包含基於通道連接的'CLIP+X'融合，適用於具有不同架構（ViT/ConvNets）和知識（檢測/分割/OCR/SSL）的視覺專家。EAGLE模型家族支持超過1K的輸入分辨率，並在多模態LLM基準測試中取得了優異的成績，特別是在對分辨率敏感的任務上，如光學字符識別和文檔理解。

SlowFast-LLaVA是一個無需訓練的多模態大型語言模型，專為視頻理解和推理設計。它無需在任何數據上進行微調，就能在多種視頻問答任務和基準測試中達到與最先進視頻大型語言模型相當甚至更好的性能。

Llama3-s v0.2 是 Homebrew Computer Company 開發的多模態檢查點，專注於提升語音理解能力。該模型通過早期融合語義標記的方式，利用社區反饋進行改進，以簡化模型結構，提高壓縮效率，並實現一致的語音特徵提取。Llama3-s v0.2 在多個語音理解基準測試中表現穩定，並提供了即時演示，允許用戶親自體驗其功能。儘管模型仍在早期開發階段，存在一些限制，如對音頻壓縮敏感、無法處理超過10秒的音頻等，但團隊計劃在未來更新中解決這些問題。

llama3-s是一個開放的、正在進行中的研究實驗，旨在將基於文本的大型語言模型(LLM)擴展到具有原生“聽力”能力。該項目使用Meta的Chameleon論文啟發的技術，專注於令牌傳遞性，將聲音令牌擴展到LLM的詞彙表中，未來可能擴展到各種輸入類型。作為一個開源科學實驗，代碼庫和數據集都是公開的。

MAVIS是一個針對多模態大型語言模型（MLLMs）的數學視覺指令調優模型，主要通過改進視覺編碼數學圖表、圖表-語言對齊和數學推理技能來增強MLLMs在視覺數學問題解決方面的能力。該模型包括兩個新策劃的數據集、一個數學視覺編碼器和數學MLLM，通過三階段訓練範式在MathVerse基準測試中取得領先性能。

LongVA是一個能夠處理超過2000幀或超過200K視覺標記的長上下文轉換模型。它在Video-MME中的表現在7B模型中處於領先地位。該模型基於CUDA 11.8和A100-SXM-80G進行了測試，並且可以通過Hugging Face平臺進行快速啟動和使用。

MG-LLaVA是一個增強模型視覺處理能力的機器學習語言模型（MLLM），通過整合多粒度視覺流程，包括低分辨率、高分辨率和以對象為中心的特徵。提出了一個額外的高分辨率視覺編碼器來捕捉細節，並通過Conv-Gate融合網絡與基礎視覺特徵融合。此外，通過離線檢測器識別的邊界框整合對象級特徵，以進一步細化模型的對象識別能力。MG-LLaVA僅在公開可用的多模態數據上通過指令調優進行訓練，展現出卓越的感知技能。

4M是一個用於訓練多模態和多任務模型的框架，能夠處理多種視覺任務，並且能夠進行多模態條件生成。該模型通過實驗分析展示了其在視覺任務上的通用性和可擴展性，為多模態學習在視覺和其他領域的進一步探索奠定了基礎。

Stable Diffusion 3是由Stability AI開發的最新文本生成圖像模型，具有顯著進步的圖像保真度、多主體處理和文本匹配能力。利用多模態擴散變換器（MMDiT）架構，提供單獨的圖像和語言表示，支持API、下載和在線平臺訪問，適用於各種應用場景。

VideoLLaMA2-7B-Base 是由 DAMO-NLP-SG 開發的大型視頻語言模型，專注於視頻內容的理解與生成。該模型在視覺問答和視頻字幕生成方面展現出卓越的性能，通過先進的空間時間建模和音頻理解能力，為用戶提供了一種新的視頻內容分析工具。它基於 Transformer 架構，能夠處理多模態數據，結合文本和視覺信息，生成準確且富有洞察力的輸出。

emo-visual-data 是一個公開的表情包視覺標註數據集，它通過使用 glm-4v 和 step-free-api 項目完成的視覺標註，收集了5329個表情包。這個數據集可以用於訓練和測試多模態大模型，對於理解圖像內容和文本描述之間的關係具有重要意義。

llama3v是一個基於Llama3 8B和siglip-so400m的SOTA（State of the Art，即最先進技術）視覺模型。它是一個開源的VLLM（視覺語言多模態學習模型），在Huggingface上提供模型權重，支持快速本地推理，併發布了推理代碼。該模型結合了圖像識別和文本生成，通過添加投影層將圖像特徵映射到LLaMA嵌入空間，以提高模型對圖像的理解能力。

CuMo是一種多模態大型語言模型（LLMs）的擴展架構，它通過在視覺編碼器和MLP連接器中融入稀疏的Top-K門控專家混合（MoE）塊，提高了模型的可擴展性，同時在推理時幾乎不增加激活參數。CuMo在預訓練MLP塊後，初始化MoE塊中的每個專家，並在視覺指令調整階段使用輔助損失以確保專家的均衡負載。CuMo在各種VQA和視覺指令遵循基準測試中超越了其他同類模型，且完全基於開源數據集進行訓練。

Bunny 是一系列輕量級但功能強大的多模態模型，提供多種即插即用的視圖編碼器和語言主幹網絡。通過從更廣泛的數據源進行精選選擇，構建更豐富的訓練數據，以補償模型尺寸的減小。Bunny-v1.0-3B 模型在性能上超越了同類大小甚至更大的 MLLMs（7B）模型，並與 13B 模型性能相當。

llava-llama-3-8b-v1_1是一個由XTuner優化的LLaVA模型，它基於meta-llama/Meta-Llama-3-8B-Instruct和CLIP-ViT-Large-patch14-336，並通過ShareGPT4V-PT和InternVL-SFT進行了微調。該模型專為圖像和文本的結合處理而設計，具有強大的多模態學習能力，適用於各種下游部署和評估工具包。

MyGO是一個用於多模態知識圖譜補全的工具，它通過將離散模態信息作為細粒度的標記來處理，以提高補全的準確性。MyGO利用transformers庫對文本標記進行嵌入，進而在多模態數據集上進行訓練和評估。它支持自定義數據集，並且提供了訓練腳本以復現實驗結果。

Stable Diffusion 3是一款先進的文本到圖像生成系統，它在排版和提示遵循方面與DALL-E 3和Midjourney v6等頂尖系統相匹敵或更優。該系統採用新的多模態擴散變換器(MMDiT)架構，使用不同的權重集來改善圖像和語言的表示，從而提高文本理解和拼寫能力。Stable Diffusion 3 API現已在Stability AI開發者平臺上線，與Fireworks AI合作提供快速可靠的API服務，並承諾在不久的將來通過Stability AI會員資格開放模型權重以供自託管。

MATHVERSE項目旨在評估多模態大型語言模型處理和理解視覺數學問題的能力，特別是如何解析和理解問題中的圖表信息。