Zero Bubble Pipeline Parallelism是大規模分佈式訓練的關鍵組成部分之一，其效率受到管道泡沫的影響。我們引入了一種調度策略，成功實現了在同步訓練語義下零管道泡沫。這一改進的關鍵思想是將反向計算分為兩部分，一部分計算輸入的梯度，另一部分計算參數的梯度。基於這一思想，我們手工設計了新穎的管道調度，明顯優於基準方法。我們進一步開發了一種算法，根據特定模型配置和內存限制自動找到最佳調度。此外，為了真正實現零泡泡，我們引入了一種新穎的技術，在優化器步驟期間繞過同步。實驗評估表明，我們的方法在類似內存限制下的吞吐量比1F1B調度高出了最多23%。當內存約束放寬時，這一數字可以進一步提高至31%。我們相信我們的結果標誌著在發揮管道並行潛力方面邁出了重要的一步。