# MoE

Flock of Finches 37B-A11B v0.1はRWKVファミリーの最新モデルであり、実験的なモデルです。11億個の活性化パラメータを持ち、わずか1090億個のトークンで学習したにもかかわらず、一般的なベンチマークテストでは最近リリースされたFinch 14Bモデルとほぼ同等のスコアを達成しています。このモデルは、効率的なスパース混合専門家（MoE）手法を採用しており、任意のトークンに対して一部のパラメータのみを活性化するため、学習と推論の過程で時間と計算資源を節約できます。このアーキテクチャの選択はVRAM使用量の増加を招きますが、より強力なモデルを低コストで学習および実行できることは、我々の観点からは非常に価値のあることです。

Skywork-MoEは、146億パラメーターを持つ高性能な混合専門家（MoE）モデルです。16のエキスパートと22億の活性化パラメーターを備えています。このモデルは、Skywork-13Bモデルの密集型チェックポイントから初期化されています。2つの革新的な技術、ゲート付きロジック正規化（専門家の多様性を強化）と適応型補助損失係数（層固有の補助損失係数の調整を可能にする）が導入されています。Skywork-MoEは、C-Eval、MMLU、CMMLU、GSM8K、MATH、HumanEvalなどの様々な一般的なベンチマークテストにおいて、パラメーター数が多いモデルや活性化パラメーター数が多いモデルと同等かそれ以上の性能を示しています。

Qwen1.5-MoE-A2.7Bは、わずか27億の活性化パラメーターしか持たない大規模MoE（Mixture of Experts）言語モデルです。しかし、その性能は70億パラメーターモデルに匹敵します。従来の大規模モデルと比較して、訓練コストを75％削減し、推論速度を1.74倍向上させています。これは、細粒度専門家、新しい初期化方法、ルーティングメカニズムなどを含む独自のMoEアーキテクチャ設計によって実現しました。これにより、モデルの効率性が大幅に向上しています。本モデルは、自然言語処理、コード生成など、さまざまなタスクに使用できます。