Yuan2.0-M32-hf-int8は、32個の専門家を持つ混合専門家（MoE）言語モデルであり、そのうち2個がアクティブです。本モデルは、新しいルーティングネットワークであるアテンションルーターを採用することで、専門家の選択効率を向上させ、従来のルーティングネットワークを使用するモデルと比較して精度を3.8%向上させました。Yuan2.0-M32は、2000億トークンを使用してゼロからトレーニングされており、そのトレーニング計算量は、同等の規模の密集モデルに必要な計算量のわずか9.25%です。本モデルは、プログラミング、数学、および様々な専門分野で競争力を示しており、37億個のアクティブパラメータのみを使用しており、総パラメータ40億個のごく一部です。トークンごとの順方向計算はわずか7.4 GFLOPSで、Llama3-70Bの1/19に過ぎません。Yuan2.0-M32は、MATHおよびARC-ChallengeベンチマークテストにおいてLlama3-70Bを上回り、それぞれ55.9%と95.8%の精度を達成しました。