# MoE

Flock of Finches 37B-A11B v0.1是RWKV家族的最新成员，这是一个实验性模型，拥有11亿个活跃参数，尽管仅训练了1090亿个token，但在常见基准测试中的得分与最近发布的Finch 14B模型大致相当。该模型采用了高效的稀疏混合专家(MoE)方法，在任何给定token上仅激活一部分参数，从而在训练和推理过程中节省时间和减少计算资源的使用。尽管这种架构选择以更高的VRAM使用为代价，但从我们的角度看，能够低成本训练和运行具有更大能力模型是非常值得的。

Skywork-MoE是一个具有146亿参数的高性能混合专家(MoE)模型，拥有16个专家和22亿激活参数。该模型从Skywork-13B模型的密集型检查点初始化而来。引入了两种创新技术：门控逻辑归一化，增强专家多样化；自适应辅助损失系数，允许层特定的辅助损失系数调整。Skywork-MoE在各种流行基准测试中，如C-Eval、MMLU、CMMLU、GSM8K、MATH和HumanEval，展现出与参数更多或激活参数更多的模型相当的或更优越的性能。

Qwen1.5-MoE-A2.7B是一款大规模的MoE(Mixture of Experts)语言模型,仅有27亿个激活参数,但性能可与70亿参数模型相媲美。相比传统大模型,该模型训练成本降低75%,推理速度提高1.74倍。它采用特别的MoE架构设计,包括细粒度专家、新的初始化方法和路由机制等,大幅提升了模型效率。该模型可用于自然语言处理、代码生成等多种任务。