# MoE

Flock of Finches 37B-A11B v0.1是RWKV家族的最新成員，這是一個實驗性模型，擁有11億個活躍參數，儘管僅訓練了1090億個token，但在常見基準測試中的得分與最近發佈的Finch 14B模型大致相當。該模型採用了高效的稀疏混合專家(MoE)方法，在任何給定token上僅激活一部分參數，從而在訓練和推理過程中節省時間和減少計算資源的使用。儘管這種架構選擇以更高的VRAM使用為代價，但從我們的角度看，能夠低成本訓練和運行具有更大能力模型是非常值得的。

Skywork-MoE是一個具有146億參數的高性能混合專家(MoE)模型，擁有16個專家和22億激活參數。該模型從Skywork-13B模型的密集型檢查點初始化而來。引入了兩種創新技術：門控邏輯歸一化，增強專家多樣化；自適應輔助損失係數，允許層特定的輔助損失係數調整。Skywork-MoE在各種流行基準測試中，如C-Eval、MMLU、CMMLU、GSM8K、MATH和HumanEval，展現出與參數更多或激活參數更多的模型相當的或更優越的性能。

Qwen1.5-MoE-A2.7B是一款大規模的MoE(Mixture of Experts)語言模型,僅有27億個激活參數,但性能可與70億參數模型相媲美。相比傳統大模型,該模型訓練成本降低75%,推理速度提高1.74倍。它採用特別的MoE架構設計,包括細粒度專家、新的初始化方法和路由機制等,大幅提升了模型效率。該模型可用於自然語言處理、代碼生成等多種任務。