# 混合專家模型

DeepEP 是一個專為混合專家模型（MoE）和專家並行（EP）設計的通信庫。它提供了高吞吐量和低延遲的全連接 GPU 內核，支持低精度操作（如 FP8）。該庫針對非對稱域帶寬轉發進行了優化，適合訓練和推理預填充任務。此外，它還支持流處理器（SM）數量控制，並引入了一種基於鉤子的通信-計算重疊方法，不佔用任何 SM 資源。DeepEP 的實現雖然與 DeepSeek-V3 論文略有差異，但其優化的內核和低延遲設計使其在大規模分佈式訓練和推理任務中表現出色。

Moonlight是基於Muon優化器訓練的16B參數混合專家模型（MoE），在大規模訓練中表現出色。它通過添加權重衰減和調整參數更新比例，顯著提高了訓練效率和穩定性。該模型在多項基準測試中超越了現有模型，同時大幅減少了訓練所需的計算量。Moonlight的開源實現和預訓練模型為研究人員和開發者提供了強大的工具，支持多種自然語言處理任務，如文本生成、代碼生成等。

DeepSeek-VL2是一系列先進的大型混合專家(MoE)視覺語言模型，相較於前代DeepSeek-VL有顯著提升。該模型系列在視覺問答、光學字符識別、文檔/表格/圖表理解以及視覺定位等多種任務上展現出卓越的能力。DeepSeek-VL2由三種變體組成：DeepSeek-VL2-Tiny、DeepSeek-VL2-Small和DeepSeek-VL2，分別擁有10億、28億和45億激活參數。DeepSeek-VL2在激活參數相似或更少的情況下，與現有的開源密集型和基於MoE的模型相比，達到了競爭性或最先進的性能。

Tencent-Hunyuan-Large（混元大模型）是由騰訊推出的業界領先的開源大型混合專家（MoE）模型，擁有3890億總參數和520億激活參數。該模型在自然語言處理、計算機視覺和科學任務等領域取得了顯著進展，特別是在處理長上下文輸入和提升長上下文任務處理能力方面表現出色。混元大模型的開源，旨在激發更多研究者的創新靈感，共同推動AI技術的進步和應用。

Aria是一個多模態原生混合專家模型，具有強大的多模態、語言和編碼任務性能。它在視頻和文檔理解方面表現出色，支持長達64K的多模態輸入，能夠在10秒內描述一個256幀的視頻。Aria模型的參數量為25.3B，能夠在單個A100（80GB）GPU上使用bfloat16精度進行加載。Aria的開發背景是滿足對多模態數據理解的需求，特別是在視頻和文檔處理方面。它是一個開源模型，旨在推動多模態人工智能的發展。

GRIN-MoE是由微軟開發的混合專家(Mixture of Experts, MoE)模型，專注於提高模型在資源受限環境下的性能。該模型通過使用SparseMixer-v2來估計專家路由的梯度，與傳統的MoE訓練方法相比，GRIN-MoE在不依賴專家並行處理和令牌丟棄的情況下，實現了模型訓練的擴展。它在編碼和數學任務上表現尤為出色，適用於需要強推理能力的場景。

Yuan2.0-M32-hf-int8是一個具有32個專家的混合專家(MoE)語言模型，其中2個是活躍的。該模型通過採用新的路由網絡——注意力路由器，提高了專家選擇的效率，使得準確率比使用傳統路由網絡的模型提高了3.8%。Yuan2.0-M32從頭開始訓練，使用了2000億個token，其訓練計算量僅為同等參數規模的密集模型所需計算量的9.25%。該模型在編程、數學和各種專業領域展現出競爭力，並且只使用37億個活躍參數，佔總參數40億的一小部分，每個token的前向計算僅為7.4 GFLOPS，僅為Llama3-70B需求的1/19。Yuan2.0-M32在MATH和ARC-Challenge基準測試中超越了Llama3-70B，分別達到了55.9%和95.8%的準確率。

Skywork-MoE-Base是一個具有1460億參數的高性能混合專家(MoE)模型，由16個專家組成，並激活了220億參數。該模型從Skywork-13B模型的密集型檢查點初始化而來，並引入了兩種創新技術：門控邏輯歸一化增強專家多樣化，以及自適應輔助損失係數，允許針對層特定調整輔助損失係數。Skywork-MoE在各種流行基準測試中表現出與參數更多或激活參數更多的模型相當的或更優越的性能。

phixtral-2x2_8是第一個由兩個microsoft/phi-2模型製作的混合專家模型，受到mistralai/Mixtral-8x7B-v0.1架構的啟發。其性能優於每個單獨的專家模型。該模型在AGIEval、GPT4All、TruthfulQA、Bigbench等多個評估指標上表現優異。它採用了自定義版本的mergekit庫（mixtral分支）和特定配置。用戶可以在Colab notebook上以4位精度在免費的T4 GPU上運行Phixtral。模型大小為4.46B參數，張量類型為F16。