Yuan2.0-M32-hf-int8
Y
Yuan2.0 M32 Hf Int8
简介 :
Yuan2.0-M32-hf-int8是一个具有32个专家的混合专家(MoE)语言模型,其中2个是活跃的。该模型通过采用新的路由网络——注意力路由器,提高了专家选择的效率,使得准确率比使用传统路由网络的模型提高了3.8%。Yuan2.0-M32从头开始训练,使用了2000亿个token,其训练计算量仅为同等参数规模的密集模型所需计算量的9.25%。该模型在编程、数学和各种专业领域展现出竞争力,并且只使用37亿个活跃参数,占总参数40亿的一小部分,每个token的前向计算仅为7.4 GFLOPS,仅为Llama3-70B需求的1/19。Yuan2.0-M32在MATH和ARC-Challenge基准测试中超越了Llama3-70B,分别达到了55.9%和95.8%的准确率。
需求人群 :
Yuan2.0-M32-hf-int8模型适合需要处理大量数据和复杂任务的开发者和研究人员,尤其是在编程、数学和专业领域。它的高效率和准确性使其成为这些领域的理想选择。
总访问量: 29.7M
占比最多地区: US(17.94%)
本站浏览量 : 51.3K
使用场景
用于开发复杂的编程项目,提高代码生成的准确性
在数学问题求解中提供精确的计算和推理
应用于专业领域的知识获取和文本生成
产品特色
32个专家中只有2个活跃,提高效率
使用注意力路由器,提升准确率3.8%
从头开始训练,使用2000亿个token
训练计算量小,仅占同等规模密集模型的9.25%
在编程、数学等领域有竞争力
在MATH和ARC-Challenge基准测试中表现优异
使用教程
1. 配置环境,使用推荐的docker镜像启动Yuan2.0容器
2. 根据提供的脚本进行数据预处理
3. 使用示例脚本进行模型预训练
4. 参考vllm文档进行详细部署以提供推理服务
5. 访问GitHub仓库获取更多信息
AIbase
智启未来,您的人工智能解决方案智库
© 2025AIbase