Skywork-MoE-Base-FP8
S
Skywork MoE Base FP8
简介 :
Skywork-MoE是一个具有146亿参数的高性能混合专家(MoE)模型,拥有16个专家和22亿激活参数。该模型从Skywork-13B模型的密集型检查点初始化而来。引入了两种创新技术:门控逻辑归一化,增强专家多样化;自适应辅助损失系数,允许层特定的辅助损失系数调整。Skywork-MoE在各种流行基准测试中,如C-Eval、MMLU、CMMLU、GSM8K、MATH和HumanEval,展现出与参数更多或激活参数更多的模型相当的或更优越的性能。
需求人群 :
Skywork-MoE模型适合需要处理大规模语言模型训练和推理的研究人员和开发者。它提供了高效的参数利用和强大的计算性能,尤其适合在资源受限或需要快速推理的场景中使用。
总访问量: 29.7M
占比最多地区: US(17.94%)
本站浏览量 : 46.9K
使用场景
研究人员使用Skywork-MoE进行自然语言处理任务的模型训练和测试。
企业利用Skywork-MoE模型进行产品文档的自动生成和问答系统开发。
教育机构采用Skywork-MoE模型辅助教学内容的自动生成和学生作业的自动批改。
产品特色
具有146亿参数的大规模MoE模型
16个专家和22亿激活参数
门控逻辑归一化技术
自适应辅助损失系数调整
在多个基准测试中表现出色
支持fp8精度运行,优化资源利用
使用教程
安装必要的依赖项,包括对应版本的PyTorch和vllm。
克隆Skywork提供的vllm代码库,并编译安装。
设置Docker环境,使用Skywork提供的Docker镜像直接运行vllm。
配置模型路径和工作目录,开始使用Skywork MoE模型进行文本生成等任务。
AIbase
智启未来,您的人工智能解决方案智库
© 2025AIbase