# 多模態理解

DeepSeek-VL2是一系列先進的大型混合專家（MoE）視覺語言模型，相較於前代DeepSeek-VL有顯著提升。該模型系列在視覺問答、光學字符識別、文檔/表格/圖表理解、視覺定位等多項任務中展現出卓越的能力。DeepSeek-VL2由三種變體組成：DeepSeek-VL2-Tiny、DeepSeek-VL2-Small和DeepSeek-VL2，分別擁有1.0B、2.8B和4.5B激活參數。DeepSeek-VL2在激活參數相似或更少的情況下，與現有的開源密集型和基於MoE的模型相比，達到了競爭性或最先進的性能。

DeepSeek-VL2是一系列大型Mixture-of-Experts視覺語言模型，相較於前代DeepSeek-VL有顯著提升。該模型系列在視覺問答、光學字符識別、文檔/表格/圖表理解以及視覺定位等任務上展現出卓越的能力。DeepSeek-VL2包含三個變體：DeepSeek-VL2-Tiny、DeepSeek-VL2-Small和DeepSeek-VL2，分別擁有1.0B、2.8B和4.5B激活參數。DeepSeek-VL2在激活參數相似或更少的情況下，與現有的開源密集和MoE基礎模型相比，達到了競爭性或最先進的性能。

Large World Models是一個利用RingAttention技術訓練的神經網絡，專注於處理長視頻和語言序列，以理解人類知識和多模態世界。它通過大規模數據集訓練，實現了前所未有的上下文大小，並開源了一系列70億參數的模型，能夠處理超過100萬標記的文本和視頻。

InternLM-XComposer2是一款領先的視覺語言模型，擅長自由形式文本圖像合成與理解。該模型不僅能夠理解傳統的視覺語言，還能熟練地從各種輸入中構建交織的文本圖像內容，如輪廓、詳細的文本規範和參考圖像，實現高度可定製的內容創作。InternLM-XComposer2提出了一種部分LoRA（PLoRA）方法，專門將額外的LoRA參數應用於圖像標記，以保留預訓練語言知識的完整性，實現精確的視覺理解和具有文學才能的文本構成之間的平衡。實驗結果表明，基於InternLM2-7B的InternLM-XComposer2在生成高質量長文本多模態內容方面優越，以及在各種基準測試中其出色的視覺語言理解性能，不僅明顯優於現有的多模態模型，還在某些評估中與甚至超過GPT-4V和Gemini Pro。這凸顯了它在多模態理解領域的卓越能力。InternLM-XComposer2系列模型具有7B參數，可在https://github.com/InternLM/InternLM-XComposer 上公開獲取。