# 分布式系统

DeepSeek-V3/R1 推理系统是 DeepSeek 团队开发的高性能推理架构，旨在优化大规模稀疏模型的推理效率。它通过跨节点专家并行（EP）技术，显著提升 GPU 矩阵计算效率，降低延迟。该系统采用双批量重叠策略和多级负载均衡机制，确保在大规模分布式环境中高效运行。其主要优点包括高吞吐量、低延迟和优化的资源利用率，适用于高性能计算和 AI 推理场景。

MuKoe是一个完全开源的MuZero实现，使用Ray作为分布式编排器在GKE上运行。它提供了Atari游戏的示例，并通过Google Next 2024的演讲提供了代码库的概览。MuKoe支持在CPU和TPU上运行，具有特定的硬件要求，适合需要大规模分布式计算资源的AI研究和开发。