Yuan2.0-M32是一個具有32個專家的混合專家(MoE)語言模型，其中2個處於活躍狀態。引入了新的路由網絡——注意力路由器，以提高專家選擇的效率，使模型在準確性上比使用傳統路由器網絡的模型提高了3.8%。Yuan2.0-M32從頭開始訓練，使用了2000億個token，其訓練計算量僅為同等參數規模密集型模型所需計算量的9.25%。在編碼、數學和各種專業領域表現出競爭力，Yuan2.0-M32在總參數40億中只有3.7億活躍參數，每個token的前向計算量為7.4 GFLOPS，僅為Llama3-70B需求的1/19。Yuan2.0-M32在MATH和ARC-Challenge基準測試中超越了Llama3-70B，準確率分別達到了55.9%和95.8%。