# 大規模參數

INTELLECT-1-Instruct是一個由Prime Intellect訓練的10億參數語言模型，從零開始在1萬億個英文文本和代碼token上進行訓練。該模型支持文本生成，並且具有分佈式訓練的能力，能夠在不可靠的、全球分佈的工作者上進行高性能訓練。它使用了DiLoCo算法進行訓練，並利用自定義的int8 all-reduce內核來減少通信負載，顯著降低了通信開銷。這個模型的背景信息顯示，它是由30個獨立的社區貢獻者提供計算支持，並在3個大洲的14個併發節點上進行訓練。

DiT-MoE是一個使用PyTorch實現的擴散變換器模型，能夠擴展到160億參數，與密集網絡競爭的同時展現出高度優化的推理能力。它代表了深度學習領域在處理大規模數據集時的前沿技術，具有重要的研究和應用價值。

Skywork-MoE-Base是一個具有1460億參數的高性能混合專家(MoE)模型，由16個專家組成，並激活了220億參數。該模型從Skywork-13B模型的密集型檢查點初始化而來，並引入了兩種創新技術：門控邏輯歸一化增強專家多樣化，以及自適應輔助損失係數，允許針對層特定調整輔助損失係數。Skywork-MoE在各種流行基準測試中表現出與參數更多或激活參數更多的模型相當的或更優越的性能。