# 推理加速

FastVideo是一個開源框架，旨在加速大型視頻擴散模型。它提供了FastHunyuan和FastMochi兩種一致性蒸餾視頻擴散模型，實現了8倍推理速度提升。FastVideo基於PCM（Phased-Consistency-Model）提供了首個開放的視頻DiT蒸餾配方，支持對最先進的開放視頻DiT模型進行蒸餾、微調和推理，包括Mochi和Hunyuan。此外，FastVideo還支持使用FSDP、序列並行和選擇性激活檢查點進行可擴展訓練，以及使用LoRA、預計算潛在和預計算文本嵌入進行內存高效微調。FastVideo的開發正在進行中，技術高度實驗性，未來計劃包括增加更多蒸餾方法、支持更多模型以及代碼更新。

Star-Attention是NVIDIA提出的一種新型塊稀疏注意力機制，旨在提高基於Transformer的大型語言模型（LLM）在長序列上的推理效率。該技術通過兩個階段的操作顯著提高了推理速度，同時保持了95-100%的準確率。它與大多數基於Transformer的LLM兼容，無需額外訓練或微調即可直接使用，並且可以與其他優化方法如Flash Attention和KV緩存壓縮技術結合使用，進一步提升性能。

MInference是一個針對長上下文大型語言模型（LLMs）的推理加速框架。它利用了LLMs注意力機制中的動態稀疏特性，通過靜態模式識別和在線稀疏索引近似計算，顯著提升了預填充（pre-filling）的速度，實現了在單個A100 GPU上處理1M上下文的10倍加速，同時保持了推理的準確性。

AsyncDiff 是一種用於並行化擴散模型的異步去噪加速方案，它通過將噪聲預測模型分割成多個組件並分配到不同的設備上，實現了模型的並行處理。這種方法顯著減少了推理延遲，同時對生成質量的影響很小。AsyncDiff 支持多種擴散模型，包括 Stable Diffusion 2.1、Stable Diffusion 1.5、Stable Diffusion x4 Upscaler、Stable Diffusion XL 1.0、ControlNet、Stable Video Diffusion 和 AnimateDiff。