# 分佈式計算

DeepSeek Profile Data 是一個專注於深度學習框架性能分析的項目。它通過 PyTorch Profiler 捕獲訓練和推理框架的性能數據，幫助研究人員和開發者更好地理解計算與通信重疊策略以及底層實現細節。這些數據對於優化大規模分佈式訓練和推理任務至關重要，能夠顯著提升系統的效率和性能。該項目是 DeepSeek 團隊在深度學習基礎設施領域的重要貢獻，旨在推動社區對高效計算策略的探索。

Aphrodite是PygmalionAI的官方後端引擎，旨在為PygmalionAI網站提供推理端點，並允許以極快的速度為大量用戶提供Pygmalion模型服務。Aphrodite利用vLLM的分頁注意力技術，實現了連續批處理、高效的鍵值管理、優化的CUDA內核等特性，支持多種量化方案，以提高推理性能。

exo是一個實驗性的軟件項目，旨在利用家中的現有設備，如iPhone、iPad、Android、Mac、Linux等，統一成一個強大的GPU來運行AI模型。它支持多種流行的模型，如LLaMA，並具有動態模型分割功能，能夠根據當前網絡拓撲和設備資源來最優地分割模型。此外，exo還提供了與ChatGPT兼容的API，使得在應用程序中使用exo運行模型僅需一行代碼的更改。

Video-Infinity 是一種分佈式長視頻生成技術，能夠在5分鐘內生成2300幀的視頻，速度是先前方法的100倍。該技術基於VideoCrafter2模型，採用了Clip Parallelism和Dual-scope Attention等創新技術，顯著提高了視頻生成的效率和質量。

AsyncDiff 是一種用於並行化擴散模型的異步去噪加速方案，它通過將噪聲預測模型分割成多個組件並分配到不同的設備上，實現了模型的並行處理。這種方法顯著減少了推理延遲，同時對生成質量的影響很小。AsyncDiff 支持多種擴散模型，包括 Stable Diffusion 2.1、Stable Diffusion 1.5、Stable Diffusion x4 Upscaler、Stable Diffusion XL 1.0、ControlNet、Stable Video Diffusion 和 AnimateDiff。

YaFSDP是一個分佈式數據並行框架，專為與transformer類神經網絡結構良好協作而設計。它在預訓練大型語言模型(Large Language Models, LLMs)時比傳統的FSDP快20%，並且在高內存壓力條件下表現更佳。YaFSDP旨在減少通信和內存操作的開銷。