Yuan2.0-M32-hf-int8是一個具有32個專家的混合專家(MoE)語言模型，其中2個是活躍的。該模型通過採用新的路由網絡——注意力路由器，提高了專家選擇的效率，使得準確率比使用傳統路由網絡的模型提高了3.8%。Yuan2.0-M32從頭開始訓練，使用了2000億個token，其訓練計算量僅為同等參數規模的密集模型所需計算量的9.25%。該模型在編程、數學和各種專業領域展現出競爭力，並且只使用37億個活躍參數，佔總參數40億的一小部分，每個token的前向計算僅為7.4 GFLOPS，僅為Llama3-70B需求的1/19。Yuan2.0-M32在MATH和ARC-Challenge基準測試中超越了Llama3-70B，分別達到了55.9%和95.8%的準確率。