# 混合専門家モデル

DeepEPは、混合専門家モデル（MoE）と専門家並列処理（EP）用に設計された通信ライブラリです。高スループットと低遅延の全結合GPUカーネルを提供し、低精度演算（FP8など）をサポートしています。非対称ドメイン帯域幅転送向けに最適化されており、プリフェッチタスクのトレーニングと推論に適しています。さらに、ストリームプロセッサ（SM）数の制御をサポートし、フックベースの通信計算オーバーラップ手法を導入しており、SMリソースを消費しません。DeepEPの実装はDeepSeek-V3論文とは多少異なりますが、最適化されたカーネルと低遅延設計により、大規模分散トレーニングと推論タスクで優れたパフォーマンスを発揮します。

Moonlightは、Muon最適化器で訓練された160億パラメータの混合専門家モデル（MoE）であり、大規模訓練において優れた成果を示しています。重み減衰の追加とパラメータ更新率の調整により、訓練効率と安定性が大幅に向上しました。複数のベンチマークテストにおいて既存モデルを上回り、同時に訓練に必要な計算量を大幅に削減しています。Moonlightのオープンソース実装と事前学習済みモデルは、研究者や開発者に強力なツールを提供し、テキスト生成、コード生成など、様々な自然言語処理タスクをサポートします。

DeepSeek-VL2は、前世代のDeepSeek-VLを大幅に改良した、高度な大規模混合専門家(MoE)ビジョン言語モデルシリーズです。このモデルシリーズは、ビジュアルクエスチョンアンサー、光学文字認識、文書/表/グラフの理解、およびビジュアルロケーションなど、様々なタスクにおいて卓越した能力を発揮します。DeepSeek-VL2は、DeepSeek-VL2-Tiny、DeepSeek-VL2-Small、DeepSeek-VL2の3つのバリアントで構成され、それぞれ10億、28億、45億の活性化パラメーターを持ちます。DeepSeek-VL2は、活性化パラメーターが同等か少ないにも関わらず、既存のオープンソースの密なモデルやMoEベースのモデルと比較して、競争力のある、あるいは最先端の性能を達成しています。

Tencent-Hunyuan-Large（混元大模型）は、テンセントが発表した業界をリードするオープンソースの大規模混合専門家（MoE）モデルであり、総パラメータ数3890億、活性化パラメータ数520億を誇ります。自然言語処理、コンピュータビジョン、科学タスクなどにおいて顕著な進歩を遂げており、特に長いコンテキストの入力処理と、長コンテキストタスク処理能力の向上において優れた性能を発揮します。混元大模型のオープンソース化は、より多くの研究者の革新的な発想を促し、AI技術の進歩と応用を共同で推進することを目指しています。

Ariaは、強力な多モーダル、言語、コーディングタスクの性能を備えた、多モーダルネイティブ混合専門家モデルです。ビデオとドキュメントの理解において優れた性能を示し、最大64Kの長さの多モーダル入力をサポートし、256フレームのビデオを10秒以内で記述できます。Ariaモデルのパラメータ数は25.3Bで、単一のA100（80GB）GPU上でbfloat16精度を使用してロードできます。Ariaの開発背景は、特にビデオとドキュメント処理において、多モーダルデータの理解に対するニーズを満たすことです。これはオープンソースモデルであり、多モーダル人工知能の発展を促進することを目的としています。

GRIN-MoEは、マイクロソフトが開発した混合専門家（Mixture of Experts, MoE）モデルであり、リソースが制限された環境下でのモデル性能向上に焦点を当てています。SparseMixer-v2を用いて専門家ルーティングの勾配を推定することで、従来のMoE訓練方法と比較して、専門家の並列処理やトークンの破棄に依存することなく、モデル訓練の拡張を実現しました。エンコーディングや数学的なタスクにおいて特に優れた性能を示し、強力な推論能力が求められるシナリオに適しています。

Yuan2.0-M32-hf-int8は、32個の専門家を持つ混合専門家（MoE）言語モデルであり、そのうち2個がアクティブです。本モデルは、新しいルーティングネットワークであるアテンションルーターを採用することで、専門家の選択効率を向上させ、従来のルーティングネットワークを使用するモデルと比較して精度を3.8%向上させました。Yuan2.0-M32は、2000億トークンを使用してゼロからトレーニングされており、そのトレーニング計算量は、同等の規模の密集モデルに必要な計算量のわずか9.25%です。本モデルは、プログラミング、数学、および様々な専門分野で競争力を示しており、37億個のアクティブパラメータのみを使用しており、総パラメータ40億個のごく一部です。トークンごとの順方向計算はわずか7.4 GFLOPSで、Llama3-70Bの1/19に過ぎません。Yuan2.0-M32は、MATHおよびARC-ChallengeベンチマークテストにおいてLlama3-70Bを上回り、それぞれ55.9%と95.8%の精度を達成しました。

phixtral-2x2_8は、2つのmicrosoft/phi-2モデルを組み合わせた、初の混合専門家モデルです。mistralai/Mixtral-8x7B-v0.1アーキテクチャを参考に設計されており、個々の専門家モデルを上回る性能を示します。AGIEval、GPT4All、TruthfulQA、Bigbenchなど、複数の評価指標において優れた結果を達成しています。カスタム版のmergekitライブラリ（mixtralブランチ）と特定の設定を使用しています。ユーザーは、Colabノートブック上で、無料のT4 GPUを用いて、4bit精度でPhixtralを実行できます。モデルサイズは4.46Bパラメーター、テンソル型はF16です。