FlashMLA 是一個針對 Hopper GPU 優化的高效 MLA 解碼內核，專為變長序列服務設計。它基於 CUDA 12.3 及以上版本開發，支持 PyTorch 2.0 及以上版本。FlashMLA 的主要優勢在於其高效的內存訪問和計算性能，能夠在 H800 SXM5 上實現高達 3000 GB/s 的內存帶寬和 580 TFLOPS 的計算性能。該技術對於需要大規模並行計算和高效內存管理的深度學習任務具有重要意義，尤其是在自然語言處理和計算機視覺領域。FlashMLA 的開發靈感來源於 FlashAttention 2&3 和 cutlass 項目，旨在為研究人員和開發者提供一個高效的計算工具。