

Skywork MoE
简介 :
Skywork-MoE是一个具有146亿参数的高性能混合专家(MoE)模型,包含16个专家和22亿激活参数。该模型从Skywork-13B模型的密集型检查点初始化而来,并引入了两种创新技术:门控逻辑归一化增强专家多样化,以及自适应辅助损失系数允许层特定的辅助损失系数调整。Skywork-MoE在性能上与参数更多或激活参数更多的模型如Grok-1、DBRX、Mistral 8*22和Deepseek-V2相当或更优。
需求人群 :
Skywork-MoE模型适合需要处理大规模语言模型训练和推理的研究人员和开发者。它的高参数量和专家多样化技术使其在处理复杂语言任务时表现出色,同时自适应辅助损失系数的调整能力允许模型针对特定层进行优化,提高模型性能和效率。
使用场景
在C-Eval、MMLU、CMMLU等流行基准测试上的评估
使用HuggingFace进行Skywork-MoE-Base模型的推理示例
基于vLLM的Skywork-MoE-Base模型快速部署示例
产品特色
Gating Logit Normalization技术,增强专家多样化
Adaptive Auxiliary Loss Coefficients技术,允许层特定的辅助损失系数调整
与Hugging Face、ModelScope、Wisemodel等平台兼容
支持在8xA100/A800或更高GPU硬件配置上进行推理
提供vLLM模型推理的快速部署方法
支持fp8精度,可在8*4090上运行Skywork-MoE-Base模型
提供详细的技术报告和社区许可协议
使用教程
安装必要的依赖,包括pytorch-nightly版本和vllm-flash-attn
克隆Skywork提供的vllm源代码
根据本地环境配置并编译安装vllm
使用docker运行vllm,设置模型路径和工作目录
通过vllm的LLM类和SamplingParams类进行文本生成
精选AI产品推荐

Deepmind Gemini
Gemini是谷歌DeepMind推出的新一代人工智能系统。它能够进行多模态推理,支持文本、图像、视频、音频和代码之间的无缝交互。Gemini在语言理解、推理、数学、编程等多个领域都超越了之前的状态,成为迄今为止最强大的AI系统之一。它有三个不同规模的版本,可满足从边缘计算到云计算的各种需求。Gemini可以广泛应用于创意设计、写作辅助、问题解答、代码生成等领域。
AI模型
11.4M
中文精选

Liblibai
LiblibAI是一个中国领先的AI创作平台,提供强大的AI创作能力,帮助创作者实现创意。平台提供海量免费AI创作模型,用户可以搜索使用模型进行图像、文字、音频等创作。平台还支持用户训练自己的AI模型。平台定位于广大创作者用户,致力于创造条件普惠,服务创意产业,让每个人都享有创作的乐趣。
AI模型
8.0M