大規模言語モデルの学習と推論では、分散技術への依存度が高まっています。これらの技術はデバイス間の通信を必要とし、デバイス数が増加するにつれて、スケーラビリティ効率が低下する可能性があります。一部の分散技術では重複させることで、独立した計算の通信を隠蔽できますが、テンソル並列（TP）のような技術は、通信とモデル実行を本質的に直列化します。この直列化された通信を隠蔽する1つの方法は、きめ細かい方法でそれをプロデューサー操作（通信データの生成）とインターリーブすることです。しかし、ソフトウェアでこのようなきめ細かい通信と計算のインターリーブを実装するのは困難な場合があります。さらに、あらゆる並列実行と同様に、計算と通信間で計算とメモリ資源を共有する必要があり、リソース競合を引き起こして重複効率を低下させます。これらの課題を克服するために、ハードウェアとソフトウェアの協調設計を用いて、直列通信を透過的に重複させながら、計算とのリソース競合を最小限に抑えるT3を提案します。T3は、プロデューサーの出力アドレス空間を簡単に設定することで、プロデューサー操作とそれに続く通信を透過的に融合し、わずかなソフトウェア変更で済みます。ハードウェアレベルでは、T3は軽量な追跡とトリガーのメカニズムを追加し、プロデューサーの計算と通信を調整します。さらに、通信に関連する計算にエンハンスト?コンピューティング?メモリを活用します。その結果、T3はリソース競合を削減し、直列通信と計算を効率的に重複させます。T-NLGなど重要なTransformerモデルにおいて、T3は通信集約的なサブ層の速度を幾何平均で30％（最大47％）、データ移動量を幾何平均で22％（最大36％）削減します。さらに、モデルの拡大に伴い、T3のメリットは持続します。500億パラメーターモデルのサブ層では、幾何平均で29％の改善が見られました（PALMとMT-NLG）。