這個GitHub倉庫包含了訓練和推理代碼，用於複製我們在AI數學奧林匹克（AIMO）進展獎1中的獲勝解決方案。我們的解決方案由四個主要部分組成：一個用於微調DeepSeekMath-Base 7B以使用工具集成推理（TIR）解決數學問題的配方；兩個約100萬個數學問題和解決方案的高質量訓練數據集；一個自洽解碼算法，用於生成具有代碼執行反饋的解決方案候選項（SC-TIR）；四個來自AMC、AIME和MATH的精心選擇的驗證集，以指導模型選擇並避免對公共排行榜的過擬合。

HippoRAG是一個啟發自人類長期記憶的新型檢索增強生成(RAG)框架，它使得大型語言模型(LLMs)能夠持續地整合跨外部文檔的知識。該框架通過實驗表明，HippoRAG能夠以更低的計算成本提供通常需要昂貴且高延遲迭代LLM流水線的RAG系統能力。

Intel NPU Acceleration Library是英特爾為神經處理單元（NPU）開發的加速庫，旨在提高深度學習和機器學習應用的性能。該庫提供了針對英特爾硬件優化的算法和工具，支持多種深度學習框架，能夠顯著提升模型的推理速度和效率。

OpenDiT是一個開源項目，提供了一個基於Colossal-AI的Diffusion Transformer(DiT)的高性能實現，專為增強DiT應用（包括文本到視頻生成和文本到圖像生成）的訓練和推理效率而設計。OpenDiT通過以下技術提升性能：在GPU上高達80%的加速和50%的內存減少；包括FlashAttention、Fused AdaLN和Fused layernorm核心優化；包括ZeRO、Gemini和DDP的混合並行方法，還有對ema模型進行分片進一步降低內存成本；FastSeq：一種新穎的序列並行方法，特別適用於DiT等工作負載，其中激活大小較大但參數大小較小；單節點序列並行可以節省高達48%的通信成本；突破單個GPU的內存限制，減少整體訓練和推理時間；通過少量代碼修改獲得巨大性能改進；用戶無需瞭解分佈式訓練的實現細節；完整的文本到圖像和文本到視頻生成流程；研究人員和工程師可以輕鬆使用和調整我們的流程到實際應用中，無需修改並行部分；在ImageNet上進行文本到圖像訓練併發布檢查點。

大型語言模型在訓練和推斷中越來越依賴於分佈式技術。這些技術需要在設備之間進行通信，隨著設備數量的增加，這可能會降低擴展效率。雖然一些分佈式技術可以重疊，從而隱藏獨立計算的通信，但類似張量並行（TP）的技術固有地將通信與模型執行串行化。隱藏這種串行化通信的一種方法是以細粒度的方式將其與生產者操作（通信數據的產生）交錯在一起。然而，在軟件中實現這種細粒度的通信和計算交錯可能很困難。此外，與任何併發執行一樣，它需要在計算和通信之間共享計算和內存資源，導致資源爭用，從而降低了重疊效率。為了克服這些挑戰，我們提出了T3，它應用硬件-軟件共同設計，透明地重疊串行通信，同時最小化與計算的資源爭用。T3通過簡單配置生產者的輸出地址空間，透明地融合了生產者操作和隨後的通信，需要進行輕微的軟件更改。在硬件層面，T3添加了輕量級的跟蹤和觸發機制，以編排生產者的計算和通信。它進一步利用增強計算的存儲器來進行通信的相關計算。因此，T3減少了資源爭用，並有效地將串行通信與計算重疊。對於重要的Transformer模型，如T-NLG，T3將通信密集型子層的速度提高了30%的幾何平均值（最大47%），並將數據移動減少了22%的幾何平均值（最大36%）。此外，隨著模型的擴展，T3的好處仍然存在：對於sim500億參數模型的子層，幾何平均值為29%，PALM和MT-NLG。

Zero Bubble Pipeline Parallelism是大規模分佈式訓練的關鍵組成部分之一，其效率受到管道泡沫的影響。我們引入了一種調度策略，成功實現了在同步訓練語義下零管道泡沫。這一改進的關鍵思想是將反向計算分為兩部分，一部分計算輸入的梯度，另一部分計算參數的梯度。基於這一思想，我們手工設計了新穎的管道調度，明顯優於基準方法。我們進一步開發了一種算法，根據特定模型配置和內存限制自動找到最佳調度。此外，為了真正實現零泡泡，我們引入了一種新穎的技術，在優化器步驟期間繞過同步。實驗評估表明，我們的方法在類似內存限制下的吞吐量比1F1B調度高出了最多23%。當內存約束放寬時，這一數字可以進一步提高至31%。我們相信我們的結果標誌著在發揮管道並行潛力方面邁出了重要的一步。

ReFT是一種增強大型語言模型（LLMs）推理能力的簡單而有效的方法。它首先通過監督微調（SFT）對模型進行預熱，然後使用在線強化學習，具體來說是本文中的PPO算法，進一步微調模型。ReFT通過自動對給定問題進行大量推理路徑的採樣，並從真實答案中自然地得出獎勵，從而顯著優於SFT。ReFT的性能可能通過結合推理時策略（如多數投票和重新排名）進一步提升。需要注意的是，ReFT通過學習與SFT相同的訓練問題而獲得改進，而無需依賴額外或增強的訓練問題。這表明ReFT具有更強的泛化能力。

這是一種在 Intel GPU 上實現的高效的 LLM 推理解決方案。通過簡化 LLM 解碼器層、使用分段 KV 緩存策略和自定義的 Scaled-Dot-Product-Attention 內核，該解決方案在 Intel GPU 上相比標準的 HuggingFace 實現可實現高達 7 倍的令牌延遲降低和 27 倍的吞吐量提升。詳細功能、優勢、定價和定位等信息請參考官方網站。

RoboGen 是一款基於生成式模擬的自動機器人學習產品。它通過自動生成多樣化的任務、場景和訓練監督，實現大規模機器人技能學習。RoboGen 具備自主提出、生成、學習的能力，可以不斷生成與各種任務和環境相關的技能演示。

Intel® Gaudi® 3 AI Accelerator是英特爾推出的一款高性能人工智能加速器，它基於高效的英特爾® Gaudi® 平臺構建，具備出色的MLPerf基準性能，旨在處理要求苛刻的訓練和推理任務。該加速器支持數據中心或雲中的大型語言模型、多模態模型和企業RAG等人工智能應用程序，能夠在您可能已經擁有的以太網基礎設施上運行。無論您需要單個加速器還是數千個加速器，英特爾Gaudi 3都可以在您的AI成功中發揮關鍵作用。

這個GitHub倉庫包含了訓練和推理代碼，用於複製我們在AI數學奧林匹克（AIMO）進展獎1中的獲勝解決方案。我們的解決方案由四個主要部分組成：一個用於微調DeepSeekMath-Base 7B以使用工具集成推理（TIR）解決數學問題的配方；兩個約100萬個數學問題和解決方案的高質量訓練數據集；一個自洽解碼算法，用於生成具有代碼執行反饋的解決方案候選項（SC-TIR）；四個來自AMC、AIME和MATH的精心選擇的驗證集，以指導模型選擇並避免對公共排行榜的過擬合。

HippoRAG是一個啟發自人類長期記憶的新型檢索增強生成(RAG)框架，它使得大型語言模型(LLMs)能夠持續地整合跨外部文檔的知識。該框架通過實驗表明，HippoRAG能夠以更低的計算成本提供通常需要昂貴且高延遲迭代LLM流水線的RAG系統能力。

Intel NPU Acceleration Library是英特爾為神經處理單元（NPU）開發的加速庫，旨在提高深度學習和機器學習應用的性能。該庫提供了針對英特爾硬件優化的算法和工具，支持多種深度學習框架，能夠顯著提升模型的推理速度和效率。

OpenDiT是一個開源項目，提供了一個基於Colossal-AI的Diffusion Transformer(DiT)的高性能實現，專為增強DiT應用（包括文本到視頻生成和文本到圖像生成）的訓練和推理效率而設計。OpenDiT通過以下技術提升性能：在GPU上高達80%的加速和50%的內存減少；包括FlashAttention、Fused AdaLN和Fused layernorm核心優化；包括ZeRO、Gemini和DDP的混合並行方法，還有對ema模型進行分片進一步降低內存成本；FastSeq：一種新穎的序列並行方法，特別適用於DiT等工作負載，其中激活大小較大但參數大小較小；單節點序列並行可以節省高達48%的通信成本；突破單個GPU的內存限制，減少整體訓練和推理時間；通過少量代碼修改獲得巨大性能改進；用戶無需瞭解分佈式訓練的實現細節；完整的文本到圖像和文本到視頻生成流程；研究人員和工程師可以輕鬆使用和調整我們的流程到實際應用中，無需修改並行部分；在ImageNet上進行文本到圖像訓練併發布檢查點。

大型語言模型在訓練和推斷中越來越依賴於分佈式技術。這些技術需要在設備之間進行通信，隨著設備數量的增加，這可能會降低擴展效率。雖然一些分佈式技術可以重疊，從而隱藏獨立計算的通信，但類似張量並行（TP）的技術固有地將通信與模型執行串行化。隱藏這種串行化通信的一種方法是以細粒度的方式將其與生產者操作（通信數據的產生）交錯在一起。然而，在軟件中實現這種細粒度的通信和計算交錯可能很困難。此外，與任何併發執行一樣，它需要在計算和通信之間共享計算和內存資源，導致資源爭用，從而降低了重疊效率。為了克服這些挑戰，我們提出了T3，它應用硬件-軟件共同設計，透明地重疊串行通信，同時最小化與計算的資源爭用。T3通過簡單配置生產者的輸出地址空間，透明地融合了生產者操作和隨後的通信，需要進行輕微的軟件更改。在硬件層面，T3添加了輕量級的跟蹤和觸發機制，以編排生產者的計算和通信。它進一步利用增強計算的存儲器來進行通信的相關計算。因此，T3減少了資源爭用，並有效地將串行通信與計算重疊。對於重要的Transformer模型，如T-NLG，T3將通信密集型子層的速度提高了30%的幾何平均值（最大47%），並將數據移動減少了22%的幾何平均值（最大36%）。此外，隨著模型的擴展，T3的好處仍然存在：對於sim500億參數模型的子層，幾何平均值為29%，PALM和MT-NLG。

Zero Bubble Pipeline Parallelism是大規模分佈式訓練的關鍵組成部分之一，其效率受到管道泡沫的影響。我們引入了一種調度策略，成功實現了在同步訓練語義下零管道泡沫。這一改進的關鍵思想是將反向計算分為兩部分，一部分計算輸入的梯度，另一部分計算參數的梯度。基於這一思想，我們手工設計了新穎的管道調度，明顯優於基準方法。我們進一步開發了一種算法，根據特定模型配置和內存限制自動找到最佳調度。此外，為了真正實現零泡泡，我們引入了一種新穎的技術，在優化器步驟期間繞過同步。實驗評估表明，我們的方法在類似內存限制下的吞吐量比1F1B調度高出了最多23%。當內存約束放寬時，這一數字可以進一步提高至31%。我們相信我們的結果標誌著在發揮管道並行潛力方面邁出了重要的一步。

ReFT是一種增強大型語言模型（LLMs）推理能力的簡單而有效的方法。它首先通過監督微調（SFT）對模型進行預熱，然後使用在線強化學習，具體來說是本文中的PPO算法，進一步微調模型。ReFT通過自動對給定問題進行大量推理路徑的採樣，並從真實答案中自然地得出獎勵，從而顯著優於SFT。ReFT的性能可能通過結合推理時策略（如多數投票和重新排名）進一步提升。需要注意的是，ReFT通過學習與SFT相同的訓練問題而獲得改進，而無需依賴額外或增強的訓練問題。這表明ReFT具有更強的泛化能力。