ゼロバブルパイプライン並列処理は大規模分散型トレーニングにおける重要な構成要素の一つであり、その効率はパイプラインバブルの影響を受けます。本研究では、同期トレーニングのセマンティクス下でゼロパイプラインバブルを実現するスケジューリング戦略を導入しました。この改善の核心となるアイデアは、逆伝播計算を2つの部分、すなわち入力の勾配計算とパラメータの勾配計算に分割することです。このアイデアに基づき、従来手法を明らかに凌駕する新規のパイプラインスケジューリングを手動で設計しました。さらに、特定のモデル構成とメモリ制限に基づいて最適なスケジューリングを自動的に見つけるアルゴリズムを開発しました。また、真のゼロバブルを実現するために、オプティマイザーステップ中に同期をバイパスする新規技術を導入しました。実験評価の結果、本手法は、同様のメモリ制限下で、1F1Bスケジューリングと比較してスループットを最大23％向上しました。メモリ制限が緩和されると、この数値はさらに31％に向上します。本研究の結果は、パイプライン並列の可能性を最大限に引き出す上で重要な一歩を踏み出したものと考えています。