# 混合專家

DeepSeek-VL2是一系列先進的大型混合專家（MoE）視覺語言模型，相較於前代DeepSeek-VL有顯著提升。該模型系列在視覺問答、光學字符識別、文檔/表格/圖表理解、視覺定位等多項任務中展現出卓越的能力。DeepSeek-VL2由三種變體組成：DeepSeek-VL2-Tiny、DeepSeek-VL2-Small和DeepSeek-VL2，分別擁有1.0B、2.8B和4.5B激活參數。DeepSeek-VL2在激活參數相似或更少的情況下，與現有的開源密集型和基於MoE的模型相比，達到了競爭性或最先進的性能。

DeepSeek-V2.5-1210是DeepSeek-V2.5的升級版本，它在多個能力方面進行了改進，包括數學、編碼和寫作推理。模型在MATH-500基準測試中的性能從74.8%提高到82.8%，在LiveCodebench (08.01 - 12.01)基準測試中的準確率從29.2%提高到34.38%。此外，新版本優化了文件上傳和網頁摘要功能的用戶體驗。DeepSeek-V2系列（包括基礎和聊天）支持商業用途。

Yuan2.0-M32是一個具有32個專家的混合專家(MoE)語言模型，其中2個處於活躍狀態。引入了新的路由網絡——注意力路由器，以提高專家選擇的效率，使模型在準確性上比使用傳統路由器網絡的模型提高了3.8%。Yuan2.0-M32從頭開始訓練，使用了2000億個token，其訓練計算量僅為同等參數規模密集型模型所需計算量的9.25%。在編碼、數學和各種專業領域表現出競爭力，Yuan2.0-M32在總參數40億中只有3.7億活躍參數，每個token的前向計算量為7.4 GFLOPS，僅為Llama3-70B需求的1/19。Yuan2.0-M32在MATH和ARC-Challenge基準測試中超越了Llama3-70B，準確率分別達到了55.9%和95.8%。

Yuan2.0-M32是一個具有32個專家的混合專家(MoE)語言模型，其中2個是活躍的。提出了一種新的路由網絡——注意力路由，用於更高效的專家選擇，提高了3.8%的準確性。該模型從零開始訓練，使用了2000B個token，其訓練計算量僅為同等參數規模的密集模型所需計算量的9.25%。在編碼、數學和各種專業領域表現出競爭力，僅使用3.7B個活躍參數，每個token的前向計算量僅為7.4 GFLOPS，僅為Llama3-70B需求的1/19。在MATH和ARC-Challenge基準測試中超越了Llama3-70B，準確率分別達到了55.9%和95.8%。

DeepSeek-V2是一個由236B參數構成的混合專家（MoE）語言模型，它在保持經濟訓練和高效推理的同時，激活每個token的21B參數。與前代DeepSeek 67B相比，DeepSeek-V2在性能上更強，同時節省了42.5%的訓練成本，減少了93.3%的KV緩存，並提升了最大生成吞吐量至5.76倍。該模型在8.1萬億token的高質量語料庫上進行了預訓練，並通過監督式微調（SFT）和強化學習（RL）進一步優化，使其在標準基準測試和開放式生成評估中表現出色。

MistralAI的新8x7B混合專家（MoE）基礎模型，用於文本生成。該模型使用混合專家架構，可以生成高質量的文本。該模型的優勢是可以生成高質量的文本，可以用於各種文本生成任務。該模型的定價是根據使用情況而定，具體可以參考官方網站。該模型的定位是為了解決文本生成任務中的問題。