Mooncake是Kimi的服務平臺，由Moonshot AI提供，是一個領先的大型語言模型(LLM)服務。它採用了以KVCache為中心的解耦架構，通過分離預填充(prefill)和解碼(decoding)集群，以及利用GPU集群中未充分利用的CPU、DRAM和SSD資源來實現KVCache的解耦緩存。Mooncake的核心是其KVCache中心調度器，它在確保滿足延遲相關的服務級別目標(SLOs)要求的同時，平衡最大化整體有效吞吐量。與傳統研究不同，Mooncake面對的是高度過載的場景，為此開發了基於預測的早期拒絕策略。實驗表明，Mooncake在長上下文場景中表現出色，與基線方法相比，在某些模擬場景中吞吐量可提高525%，同時遵守SLOs。在實際工作負載下，Mooncake的創新架構使Kimi能夠處理75%以上的請求。