# 高吞吐量

DeepEP 是一个专为混合专家模型（MoE）和专家并行（EP）设计的通信库。它提供了高吞吐量和低延迟的全连接 GPU 内核，支持低精度操作（如 FP8）。该库针对非对称域带宽转发进行了优化，适合训练和推理预填充任务。此外，它还支持流处理器（SM）数量控制，并引入了一种基于钩子的通信-计算重叠方法，不占用任何 SM 资源。DeepEP 的实现虽然与 DeepSeek-V3 论文略有差异，但其优化的内核和低延迟设计使其在大规模分布式训练和推理任务中表现出色。

FastApply-7B-v1.0 是一个专为代码编辑任务设计的大型语言模型。它基于 Qwen2.5 Coder 架构，经过微调以实现快速、准确的代码修改功能。该模型能够快速生成完整的文件编辑，支持即时代码应用任务，特别适合集成到 AI 驱动的代码编辑器中。它在部署时表现出高吞吐量和高编辑准确率，速度可达约 150 tokens/second。该模型由 Kortix 开发，采用 Apache-2.0 许可证，旨在通过快速应用流程为数据生成和模型微调提供支持。