Skywork-MoE-Base-FP8
S
Skywork MoE Base FP8
簡介 :
Skywork-MoE是一個具有146億參數的高性能混合專家(MoE)模型,擁有16個專家和22億激活參數。該模型從Skywork-13B模型的密集型檢查點初始化而來。引入了兩種創新技術:門控邏輯歸一化,增強專家多樣化;自適應輔助損失係數,允許層特定的輔助損失係數調整。Skywork-MoE在各種流行基準測試中,如C-Eval、MMLU、CMMLU、GSM8K、MATH和HumanEval,展現出與參數更多或激活參數更多的模型相當的或更優越的性能。
需求人群 :
Skywork-MoE模型適合需要處理大規模語言模型訓練和推理的研究人員和開發者。它提供了高效的參數利用和強大的計算性能,尤其適合在資源受限或需要快速推理的場景中使用。
總訪問量: 29.7M
佔比最多地區: US(17.94%)
本站瀏覽量 : 44.4K
使用場景
研究人員使用Skywork-MoE進行自然語言處理任務的模型訓練和測試。
企業利用Skywork-MoE模型進行產品文檔的自動生成和問答系統開發。
教育機構採用Skywork-MoE模型輔助教學內容的自動生成和學生作業的自動批改。
產品特色
具有146億參數的大規模MoE模型
16個專家和22億激活參數
門控邏輯歸一化技術
自適應輔助損失係數調整
在多個基準測試中表現出色
支持fp8精度運行,優化資源利用
使用教程
安裝必要的依賴項,包括對應版本的PyTorch和vllm。
克隆Skywork提供的vllm代碼庫,並編譯安裝。
設置Docker環境,使用Skywork提供的Docker鏡像直接運行vllm。
配置模型路徑和工作目錄,開始使用Skywork MoE模型進行文本生成等任務。
AIbase
智啟未來,您的人工智能解決方案智庫
© 2025AIbase