# 長上下文

ModernBERT-large是一個現代化的雙向編碼器Transformer模型（BERT風格），在2萬億個英文和代碼數據上預訓練，具有長達8192個token的原生上下文長度。該模型採用了最新的架構改進，如旋轉位置嵌入（RoPE）以支持長上下文，局部-全局交替注意力以提高長輸入的效率，以及無填充和Flash Attention以提高推理效率。ModernBERT-long適合處理需要處理長文檔的任務，如檢索、分類和大型語料庫中的語義搜索。模型訓練數據主要是英文和代碼，因此可能在其他語言上的表現會較低。

Qwen2.5-Coder是Qwen大型語言模型的最新系列，專注於代碼生成、代碼推理和代碼修復。基於強大的Qwen2.5，該模型在訓練中使用了5.5萬億的源代碼、文本代碼關聯、合成數據等，使其成為當前開源代碼語言模型中的佼佼者。該模型不僅在編程能力上有所增強，還保持了在數學和通用能力方面的優勢。

Qwen2.5-Coder-3B-Instruct-GPTQ-Int8是Qwen2.5-Coder系列中的一種大型語言模型，專門針對代碼生成、代碼推理和代碼修復進行了優化。該模型基於Qwen2.5，訓練數據包括源代碼、文本代碼關聯、合成數據等，達到5.5萬億個訓練令牌。Qwen2.5-Coder-32B已成為當前最先進的開源代碼大型語言模型，其編碼能力與GPT-4o相匹配。該模型還為現實世界中的應用提供了更全面的基礎，如代碼代理，不僅增強了編碼能力，還保持了在數學和通用能力方面的優勢。

AI21 Jamba 1.5系列模型是市場上最強大的長上下文模型之一，提供比同類領先模型快2.5倍的推理速度。這些模型展示了卓越的長上下文處理能力、速度和質量，是首次成功將非Transformer模型擴展到市場領先模型的質量和強度。

Gemini Pro是DeepMind推出的一款高性能多模態AI模型，專為廣泛的任務設計，具有高達兩百萬token的長上下文窗口，能夠處理大規模文檔、代碼、音頻和視頻等。它在多個基準測試中表現出色，包括代碼生成、數學問題解決和多語言翻譯等。

LongVA是一個能夠處理超過2000幀或超過200K視覺標記的長上下文轉換模型。它在Video-MME中的表現在7B模型中處於領先地位。該模型基於CUDA 11.8和A100-SXM-80G進行了測試，並且可以通過Hugging Face平臺進行快速啟動和使用。

Samba是一個簡單而強大的混合模型，具有無限的上下文長度。它的架構非常簡單：Samba = Mamba + MLP + 滑動窗口注意力 + 層級MLP堆疊。Samba-3.8B模型在Phi3數據集上訓練了3.2萬億個token，主要基準測試（例如MMLU、GSM8K和HumanEval）上的表現大大超過了Phi3-mini。Samba還可以通過最少的指令調整實現完美的長上下文檢索能力，同時保持與序列長度的線性複雜度。這使得Samba-3.8B-instruct在下游任務（如長上下文摘要）上表現出色。

Qwen1.5是Qwen系列的下一個版本，提供了基礎和聊天模型的開源版本，覆蓋了0.5B到72B的多個規模。支持多語言，長上下文，對齊人類偏好，並在基本能力、聊天性能、多語言理解等方面取得顯著進展。

Flash-Decoding是一種針對長上下文推理的技術，可以顯著加速推理中的注意力機制，從而使生成速度提高8倍。該技術通過並行加載鍵和值，然後分別重新縮放和組合結果來維護正確的注意力輸出，從而實現了更快的推理速度。Flash-Decoding適用於大型語言模型，可以處理長文檔、長對話或整個代碼庫等長上下文。Flash-Decoding已經在FlashAttention包和xFormers中提供，可以自動選擇Flash-Decoding或FlashAttention方法，也可以使用高效的Triton內核。