# 分佈式訓練

Expert Parallelism Load Balancer (EPLB)是一種用於深度學習中專家並行（EP）的負載均衡算法。它通過冗餘專家策略和啟發式打包算法，確保不同GPU之間的負載平衡，同時利用組限制專家路由減少節點間數據流量。該算法對於大規模分佈式訓練具有重要意義，能夠提高資源利用率和訓練效率。

DualPipe是一種創新的雙向流水線並行算法，由DeepSeek-AI團隊開發。該算法通過優化計算與通信的重疊，顯著減少了流水線氣泡，提高了訓練效率。它在大規模分佈式訓練中表現出色，尤其適用於需要高效並行化的深度學習任務。DualPipe基於PyTorch開發，易於集成和擴展，適合需要高性能計算的開發者和研究人員使用。

LLaSA_training 是一個基於 LLaMA 的語音合成訓練項目，旨在通過優化訓練時間和推理時間的計算資源，提升語音合成模型的效率和性能。該項目利用開源數據集和內部數據集進行訓練，支持多種配置和訓練方式，具有較高的靈活性和可擴展性。其主要優點包括高效的數據處理能力、強大的語音合成效果以及對多種語言的支持。該項目適用於需要高性能語音合成解決方案的研究人員和開發者，可用於開發智能語音助手、語音播報系統等應用場景。

Memory Layers at Scale 是一種創新的內存層實現方式，通過可訓練的鍵值查找機制，在不增加浮點運算次數的情況下為模型增加額外的參數。這種方法在大規模語言模型中尤為重要，因為它能夠在保持計算效率的同時，顯著提升模型的存儲和檢索能力。該技術的主要優點包括高效擴展模型容量、降低計算資源消耗以及提高模型的靈活性和可擴展性。該項目由 Meta Lingua 團隊開發，適用於需要處理大規模數據和複雜模型的場景。

PrimeIntellect-ai/prime是一個用於在互聯網上高效、全球分佈式訓練AI模型的框架。它通過技術創新，實現了跨地域的AI模型訓練，提高了計算資源的利用率，降低了訓練成本，對於需要大規模計算資源的AI研究和應用開發具有重要意義。

INTELLECT-1-Instruct是一個由Prime Intellect訓練的10億參數語言模型，從零開始在1萬億個英文文本和代碼token上進行訓練。該模型支持文本生成，並且具有分佈式訓練的能力，能夠在不可靠的、全球分佈的工作者上進行高性能訓練。它使用了DiLoCo算法進行訓練，並利用自定義的int8 all-reduce內核來減少通信負載，顯著降低了通信開銷。這個模型的背景信息顯示，它是由30個獨立的社區貢獻者提供計算支持，並在3個大洲的14個併發節點上進行訓練。

Meta Lingua 是一個輕量級、高效的大型語言模型（LLM）訓練和推理庫，專為研究而設計。它使用了易於修改的PyTorch組件，使得研究人員可以嘗試新的架構、損失函數和數據集。該庫旨在實現端到端的訓練、推理和評估，並提供工具以更好地理解模型的速度和穩定性。儘管Meta Lingua目前仍在開發中，但已經提供了多個示例應用來展示如何使用這個代碼庫。

Prime Intellect是一個致力於AI開發規模化民主化的平臺，提供全球計算資源的發現、模型訓練以及共同擁有智能創新的能力。它通過分佈式訓練跨集群，使得用戶能夠訓練最前沿的模型，並且共同擁有由此產生的開放AI創新成果，包括語言模型和科學突破。

OpenDiLoCo是一個開源框架，用於實現和擴展DeepMind的分佈式低通信(DiLoCo)方法，支持全球分佈式AI模型訓練。它通過提供可擴展的、去中心化的框架，使得在資源分散的地區也能高效地進行AI模型的訓練，這對於推動AI技術的普及和創新具有重要意義。

Zero Bubble Pipeline Parallelism是大規模分佈式訓練的關鍵組成部分之一，其效率受到管道泡沫的影響。我們引入了一種調度策略，成功實現了在同步訓練語義下零管道泡沫。這一改進的關鍵思想是將反向計算分為兩部分，一部分計算輸入的梯度，另一部分計算參數的梯度。基於這一思想，我們手工設計了新穎的管道調度，明顯優於基準方法。我們進一步開發了一種算法，根據特定模型配置和內存限制自動找到最佳調度。此外，為了真正實現零泡泡，我們引入了一種新穎的技術，在優化器步驟期間繞過同步。實驗評估表明，我們的方法在類似內存限制下的吞吐量比1F1B調度高出了最多23%。當內存約束放寬時，這一數字可以進一步提高至31%。我們相信我們的結果標誌著在發揮管道並行潛力方面邁出了重要的一步。