# 內存優化

FlexHeadFA 是一個基於 FlashAttention 的改進模型，專注於提供快速且內存高效的精確注意力機制。它支持靈活的頭維度配置，能夠顯著提升大語言模型的性能和效率。該模型的主要優點包括高效利用 GPU 資源、支持多種頭維度配置以及與 FlashAttention-2 和 FlashAttention-3 兼容。它適用於需要高效計算和內存優化的深度學習場景，尤其在處理長序列數據時表現出色。

FlashMLA 是一個針對 Hopper GPU 優化的高效 MLA 解碼內核，專為變長序列服務設計。它基於 CUDA 12.3 及以上版本開發，支持 PyTorch 2.0 及以上版本。FlashMLA 的主要優勢在於其高效的內存訪問和計算性能，能夠在 H800 SXM5 上實現高達 3000 GB/s 的內存帶寬和 580 TFLOPS 的計算性能。該技術對於需要大規模並行計算和高效內存管理的深度學習任務具有重要意義，尤其是在自然語言處理和計算機視覺領域。FlashMLA 的開發靈感來源於 FlashAttention 2&3 和 cutlass 項目，旨在為研究人員和開發者提供一個高效的計算工具。

Gemma 2B - 10M Context是一個大規模的語言模型，它通過創新的注意力機制優化，能夠在內存使用低於32GB的情況下處理長達10M的序列。該模型採用了循環局部注意力技術，靈感來源於Transformer-XL論文，是處理大規模語言任務的強大工具。

EasyContext是一個開源項目,旨在通過結合多種技術手段,實現使用普通硬件訓練語言模型的上下文長度達到100萬詞元。主要採用的技術包括序列並行、Deepspeed zero3離載、Flash注意力以及激活checkpoint等。該項目不提出新的創新點,而是展示如何組合現有的技術手段來實現這一目標。已成功訓練出Llama-2-7B和Llama-2-13B兩個模型,分別在8塊A100和16塊A100上實現了700K和1M詞元的上下文長度。