# ハードウェアとソフトウェアの協調設計

d-MatrixはAI推論技術に特化した企業です。主力製品であるCorsair?は、データセンター向けに設計されたAI推論プラットフォームで、極めて高速な推論速度と極めて低いレイテンシを実現します。d-Matrixはハードウェアとソフトウェアの協調設計により、Generative AI推論のパフォーマンスを最適化し、データセンターにおけるAI技術の応用を推進することで、大規模なAI推論をより効率的で持続可能なものにします。

大規模言語モデルの学習と推論では、分散技術への依存度が高まっています。これらの技術はデバイス間の通信を必要とし、デバイス数が増加するにつれて、スケーラビリティ効率が低下する可能性があります。一部の分散技術では重複させることで、独立した計算の通信を隠蔽できますが、テンソル並列（TP）のような技術は、通信とモデル実行を本質的に直列化します。この直列化された通信を隠蔽する1つの方法は、きめ細かい方法でそれをプロデューサー操作（通信データの生成）とインターリーブすることです。しかし、ソフトウェアでこのようなきめ細かい通信と計算のインターリーブを実装するのは困難な場合があります。さらに、あらゆる並列実行と同様に、計算と通信間で計算とメモリ資源を共有する必要があり、リソース競合を引き起こして重複効率を低下させます。これらの課題を克服するために、ハードウェアとソフトウェアの協調設計を用いて、直列通信を透過的に重複させながら、計算とのリソース競合を最小限に抑えるT3を提案します。T3は、プロデューサーの出力アドレス空間を簡単に設定することで、プロデューサー操作とそれに続く通信を透過的に融合し、わずかなソフトウェア変更で済みます。ハードウェアレベルでは、T3は軽量な追跡とトリガーのメカニズムを追加し、プロデューサーの計算と通信を調整します。さらに、通信に関連する計算にエンハンスト?コンピューティング?メモリを活用します。その結果、T3はリソース競合を削減し、直列通信と計算を効率的に重複させます。T-NLGなど重要なTransformerモデルにおいて、T3は通信集約的なサブ層の速度を幾何平均で30％（最大47％）、データ移動量を幾何平均で22％（最大36％）削減します。さらに、モデルの拡大に伴い、T3のメリットは持続します。500億パラメーターモデルのサブ層では、幾何平均で29％の改善が見られました（PALMとMT-NLG）。