# 分散型トレーニング

Expert Parallelism Load Balancer (EPLB)は、ディープラーニングにおけるエキスパート並列（EP）のための負荷分散アルゴリズムです。冗長エキスパート戦略とヒューリスティックなパッキングアルゴリズムにより、異なるGPU間の負荷バランスを確保し、同時にグループ制限エキスパートルーティングを利用してノード間のデータトラフィックを削減します。このアルゴリズムは大規模分散型トレーニングにおいて重要な意味を持ち、リソース利用率とトレーニング効率を向上させます。

Memory Layers at Scaleは、学習可能なキーバリュー検索メカニズムを通じて、浮動小数点演算回数を増やすことなくモデルに追加パラメータを追加する革新的なメモリ層の実装方法です。この方法は、計算効率を維持しながらモデルの記憶容量と検索能力を大幅に向上させることができるため、大規模言語モデルにおいて特に重要です。この技術の主な利点としては、モデル容量の効率的な拡張、計算資源消費の削減、モデルの柔軟性と拡張性の向上などが挙げられます。このプロジェクトはMeta Linguaチームによって開発され、大規模データや複雑なモデルの処理が必要なシナリオに適しています。

INTELLECT-1 Chatは、グローバル協力でトレーニングされた100億パラメーターの言語モデルを基盤とするチャットツールです。大規模言語モデルにおける最新の進歩を体現しており、分散型トレーニングにより、モデルの多様性と適応性を向上させています。主な利点として、自然言語の理解と生成、スムーズな会話体験、大量の言語データ処理が挙げられます。製品背景情報によると、分散型トレーニングの可能性を初めて示すデモであり、使いやすく、興味深いものです。価格については、ログインしてチャットを保存?再開できる機能が提供されており、有料サービスまたは会員サービスの可能性を示唆しています。

INTELLECT-1-Instructは、Prime Intellectによってトレーニングされた10億パラメーターの言語モデルです。1兆個の英語テキストとコードトークンでゼロからトレーニングされました。このモデルはテキスト生成をサポートし、分散型トレーニング機能を備えており、信頼性が低いグローバルに分散されたワーカー上でも高性能なトレーニングが可能です。DiLoCoアルゴリズムを使用してトレーニングされ、カスタムのint8 all-reduceカーネルを使用して通信負荷を削減することで、通信オーバーヘッドを大幅に削減しています。このモデルの背景情報として、30人の独立したコミュニティ貢献者から計算サポートを受け、3大陸の14個の並列ノードでトレーニングされたことが挙げられます。

Meta Linguaは、研究向けに設計された軽量で効率的な大規模言語モデル（LLM）のトレーニングおよび推論ライブラリです。変更しやすいPyTorchコンポーネントを使用しており、研究者は新しいアーキテクチャ、損失関数、およびデータセットを試すことができます。このライブラリは、エンドツーエンドのトレーニング、推論、および評価を実現し、モデルの速度と安定性をより深く理解するためのツールを提供することを目的としています。Meta Linguaはまだ開発中ですが、このコードベースの使用方法を示す複数のサンプルアプリケーションが既に提供されています。

Prime Intellectは、AI開発の民主化とスケーラビリティを目指したプラットフォームです。世界中の計算資源の発見、モデルのトレーニング、そして共有によるスマートイノベーションの実現を可能にします。分散型トレーニングによるクラスタ横断処理により、最先端モデルのトレーニングを可能にし、その成果であるオープンなAIイノベーション（自然言語モデルや科学的ブレークスルーを含む）を共同で所有することができます。

ゼロバブルパイプライン並列処理は大規模分散型トレーニングにおける重要な構成要素の一つであり、その効率はパイプラインバブルの影響を受けます。本研究では、同期トレーニングのセマンティクス下でゼロパイプラインバブルを実現するスケジューリング戦略を導入しました。この改善の核心となるアイデアは、逆伝播計算を2つの部分、すなわち入力の勾配計算とパラメータの勾配計算に分割することです。このアイデアに基づき、従来手法を明らかに凌駕する新規のパイプラインスケジューリングを手動で設計しました。さらに、特定のモデル構成とメモリ制限に基づいて最適なスケジューリングを自動的に見つけるアルゴリズムを開発しました。また、真のゼロバブルを実現するために、オプティマイザーステップ中に同期をバイパスする新規技術を導入しました。実験評価の結果、本手法は、同様のメモリ制限下で、1F1Bスケジューリングと比較してスループットを最大23％向上しました。メモリ制限が緩和されると、この数値はさらに31％に向上します。本研究の結果は、パイプライン並列の可能性を最大限に引き出す上で重要な一歩を踏み出したものと考えています。