# 長文本處理

GPT-4.1 是一系列新模型，提供了顯著的性能提升，特別是在編碼、指令跟隨和處理長文本上下文方面。它的上下文窗口擴大到 100 萬標記，並且在真實世界的應用中表現出色，適合開發者創建更高效的應用程序。此模型的價格相對較低，且具有快速響應能力，使其在開發和執行復雜任務時更加高效。

Jamba 1.6 是 AI21 推出的最新語言模型，專為企業私有部署而設計。它在長文本處理方面表現出色，能夠處理長達 256K 的上下文窗口，採用混合 SSM-Transformer 架構，可高效準確地處理長文本問答任務。該模型在質量上超越了 Mistral、Meta 和 Cohere 等同類模型，同時支持靈活的部署方式，包括在本地或 VPC 中私有部署，確保數據安全。它為企業提供了一種無需在數據安全和模型質量之間妥協的解決方案，適用於需要處理大量數據和長文本的場景，如研發、法律和金融分析等。目前，Jamba 1.6 已在多個企業中得到應用，如 Fnac 使用其進行數據分類，Educa Edtech 利用其構建個性化聊天機器人等。

AI21-Jamba-Large-1.6 是由 AI21 Labs 開發的混合 SSM-Transformer 架構基礎模型，專為長文本處理和高效推理而設計。該模型在長文本處理、推理速度和質量方面表現出色，支持多種語言，並具備強大的指令跟隨能力。它適用於需要處理大量文本數據的企業級應用，如金融分析、內容生成等。該模型採用 Jamba Open Model License 授權，允許在許可條款下進行研究和商業使用。

QwQ-32B 是 Qwen 系列的推理模型，專注於複雜問題的思考和推理能力。它在下游任務中表現出色，尤其是在解決難題方面。該模型基於 Qwen2.5 架構，經過預訓練和強化學習優化，具有 325 億參數，支持 131072 個完整上下文長度的處理能力。其主要優點包括強大的推理能力、高效的長文本處理能力和靈活的部署選項。該模型適用於需要深度思考和複雜推理的場景，如學術研究、編程輔助和創意寫作等。

Gemini 2.0 Flash-Lite 是 Google 推出的高效語言模型，專為長文本處理和複雜任務優化。它在推理、多模態、數學和事實性基準測試中表現出色，具備簡化的價格策略，使得百萬級上下文窗口更加經濟實惠。Gemini 2.0 Flash-Lite 已在 Google AI Studio 和 Vertex AI 中全面開放，適合企業級生產使用。

MoBA（Mixture of Block Attention）是一種創新的注意力機制，專為長文本上下文的大語言模型設計。它通過將上下文劃分為塊，並讓每個查詢令牌學習關注最相關的塊，從而實現高效的長序列處理。MoBA 的主要優點是能夠在全注意力和稀疏注意力之間無縫切換，既保證了性能，又提高了計算效率。該技術適用於需要處理長文本的任務，如文檔分析、代碼生成等，能夠顯著降低計算成本，同時保持模型的高性能表現。MoBA 的開源實現為研究人員和開發者提供了強大的工具，推動了大語言模型在長文本處理領域的應用。

ModernBERT-base是一個現代化的雙向編碼器Transformer模型，預訓練於2萬億英文和代碼數據，原生支持長達8192個token的上下文。該模型採用了Rotary Positional Embeddings (RoPE)、Local-Global Alternating Attention和Unpadding等最新架構改進，使其在長文本處理任務中表現出色。ModernBERT-base適用於需要處理長文檔的任務，如檢索、分類和大型語料庫中的語義搜索。模型訓練數據主要為英文和代碼，因此可能在其他語言上的表現會有所降低。

EXAONE 3.5是LG AI Research發佈的一系列人工智能模型，這些模型以其卓越的性能和成本效益而著稱。它們在模型訓練效率、去汙染處理、長文本理解和指令遵循能力方面表現出色。EXAONE 3.5模型的開發遵循了LG的AI倫理原則，進行了AI倫理影響評估，以確保模型的負責任使用。這些模型的發佈旨在推動AI研究和生態系統的發展，併為AI創新奠定基礎。

Aria-Base-64K是Aria系列的基礎模型之一，專為研究目的和繼續訓練而設計。該模型在長文本預訓練階段後形成，經過33B個token（21B多模態，12B語言，69%為長文本）的訓練。它適合於長視頻問答數據集或長文檔問答數據集的繼續預訓練或微調，即使在資源有限的情況下，也可以通過短指令調優數據集進行後訓練，並轉移到長文本問答場景。該模型能夠理解多達250張高分辨率圖像或多達500張中等分辨率圖像，並在語言和多模態場景中保持強大的基礎性能。

Qwen2.5-Coder是Qwen大型語言模型的最新系列，專注於代碼生成、代碼推理和代碼修復。基於強大的Qwen2.5，Qwen2.5-Coder-32B已成為當前最先進的開源代碼語言模型，其編碼能力與GPT-4o相匹配。該模型在實際應用中，如代碼代理等，提供了更全面的基礎，不僅增強了編碼能力，還保持了在數學和通用能力方面的優勢。

Qwen2.5-Turbo是阿里巴巴開發團隊推出的一款能夠處理超長文本的語言模型，它在Qwen2.5的基礎上進行了優化，支持長達1M個token的上下文，相當於約100萬英文單詞或150萬中文字符。該模型在1M-token Passkey Retrieval任務中實現了100%的準確率，並在RULER長文本評估基準測試中得分93.1，超越了GPT-4和GLM4-9B-1M。Qwen2.5-Turbo不僅在長文本處理上表現出色，還保持了短文本處理的高性能，且成本效益高，每1M個token的處理成本僅為0.3元。

Qwen2.5-Coder是Qwen大型語言模型的最新系列，專為代碼生成、推理和修復而設計。該模型基於Qwen2.5，擴展了訓練令牌至5.5萬億，包括源代碼、文本代碼基礎、合成數據等。Qwen2.5-Coder-32B是目前開源代碼LLM中的佼佼者，其編碼能力與GPT-4o相匹配。此模型為GPTQ-量化的4位指令調優3B參數Qwen2.5-Coder模型，具有因果語言模型、預訓練和後訓練階段、transformers架構等特點。

Qwen2.5-Coder-32B-Instruct-GPTQ-Int8是Qwen系列中針對代碼生成優化的大型語言模型，擁有32億參數，支持長文本處理，是當前開源代碼生成領域最先進的模型之一。該模型基於Qwen2.5進行了進一步的訓練和優化，不僅在代碼生成、推理和修復方面有顯著提升，而且在數學和通用能力上也保持了優勢。模型採用GPTQ 8-bit量化技術，以減少模型大小並提高運行效率。

Qwen2.5-Coder-32B-Instruct-GPTQ-Int4是基於Qwen2.5的代碼生成大型語言模型，具有32.5億參數量，支持長文本處理，最大支持128K tokens。該模型在代碼生成、代碼推理和代碼修復方面有顯著提升，是當前開源代碼語言模型中的佼佼者。它不僅增強了編碼能力，還保持了在數學和通用能力方面的優勢。

Qwen2.5-Coder是一系列針對代碼生成優化的大型語言模型，覆蓋了0.5、1.5、3、7、14、32億參數的六種主流模型尺寸，以滿足不同開發者的需求。Qwen2.5-Coder在代碼生成、代碼推理和代碼修復方面有顯著提升，基於強大的Qwen2.5，訓練令牌擴展到5.5萬億，包括源代碼、文本代碼接地、合成數據等，成為當前最先進的開源代碼LLM，其編碼能力與GPT-4o相匹配。此外，Qwen2.5-Coder還提供了更全面的基礎，適用於現實世界中的代碼代理等應用場景。

Qwen2.5-Coder-32B是基於Qwen2.5的代碼生成模型，擁有32億參數，是目前開源代碼語言模型中參數最多的模型之一。它在代碼生成、代碼推理和代碼修復方面有顯著提升，能夠處理長達128K tokens的長文本，適用於代碼代理等實際應用場景。該模型在數學和通用能力上也保持了優勢，支持長文本處理，是開發者在進行代碼開發時的強大助手。

Mistral-Small-Instruct-2409是由Mistral AI Team開發的一個具有22B參數的指令式微調AI模型，支持多種語言，並能夠支持高達128k的序列長度。該模型特別適用於需要長文本處理和複雜指令理解的場景，如自然語言處理、機器學習等領域。

Reader-LM是Jina AI開發的小型語言模型，旨在將網絡中的原始、雜亂的HTML內容轉換為清潔的Markdown格式。這些模型特別針對長文本處理進行了優化，支持多語言，並能夠處理高達256K令牌的上下文長度。Reader-LM模型通過直接從HTML到Markdown的轉換，減少了對正則表達式和啟發式規則的依賴，提高了轉換的準確性和效率。

AI21-Jamba-1.5-Mini是AI21實驗室開發的最新一代混合SSM-Transformer指令跟隨基礎模型。這款模型以其卓越的長文本處理能力、速度和質量在市場上脫穎而出，相較於同類大小的領先模型，推理速度提升高達2.5倍。Jamba 1.5 Mini和Jamba 1.5 Large專為商業用例和功能進行了優化，如函數調用、結構化輸出（JSON）和基礎生成。

Jamba 1.5 Open Model Family是AI21公司推出的最新AI模型系列，基於SSM-Transformer架構，具有超長文本處理能力、高速度和高質量，是市場上同類產品中表現最優的。這些模型專為企業級應用設計，考慮了資源效率、質量、速度和解決關鍵任務的能力。

InternLM-XComposer2.5是一款專注於文本圖像理解與合成應用的大型語言模型，具有7B參數的後端支持，能夠處理長達96K的長文本上下文，適合需要廣泛輸入輸出的複雜任務。

InternLM2.5-7B-Chat-1M 是一個開源的70億參數的對話模型，具有卓越的推理能力，在數學推理方面超越了同量級模型。該模型支持1M超長上下文窗口，能夠處理長文本任務，如LongBench等。此外，它還具備強大的工具調用能力，能夠從上百個網頁蒐集信息進行分析推理。

InternLM2.5-7B-Chat是一個開源的7億參數的中文對話模型，專為實用場景設計，具有卓越的推理能力，在數學推理方面超越了Llama3和Gemma2-9B等模型。支持從上百個網頁蒐集信息進行分析推理，具有強大的工具調用能力，支持1M超長上下文窗口，適合進行長文本處理和複雜任務的智能體構建。

Qwen2是一系列經過預訓練和指令調整的模型，支持多達27種語言，包括英語和中文。這些模型在多個基準測試中表現出色，特別是在編碼和數學方面有顯著提升。Qwen2模型的上下文長度支持高達128K個token，適用於處理長文本任務。此外，Qwen2-72B-Instruct模型在安全性方面與GPT-4相當，顯著優於Mistral-8x22B模型。

GLM-4-9B-Chat-1M 是智譜 AI 推出的新一代預訓練模型，屬於 GLM-4 系列的開源版本。它在語義、數學、推理、代碼和知識等多方面的數據集測評中展現出較高的性能。該模型不僅支持多輪對話，還具備網頁瀏覽、代碼執行、自定義工具調用和長文本推理等高級功能。支持包括日語、韓語、德語在內的26種語言，並特別推出了支持1M上下文長度的模型版本，適合需要處理大量數據和多語言環境的開發者和研究人員使用。

GLM-4-9B-Chat是智譜AI推出的新一代預訓練模型GLM-4系列中的開源版本，具備多輪對話、網頁瀏覽、代碼執行、自定義工具調用和長文本推理等高級功能。支持包括日語、韓語、德語在內的26種語言，並且推出了支持1M上下文長度的模型。

Llama-3 70B Gradient 524K Adapter是一個基於Llama-3 70B模型的適配器，由Gradient AI Team開發，旨在通過LoRA技術擴展模型的上下文長度至524K，從而提升模型在處理長文本數據時的性能。該模型使用了先進的訓練技術，包括NTK-aware插值和RingAttention庫，以高效地在高性能計算集群上進行訓練。

Llama-3 70B Instruct Gradient 1048k是一款由Gradient AI團隊開發的先進語言模型，它通過擴展上下文長度至超過1048K，展示了SOTA（State of the Art）語言模型在經過適當調整後能夠學習處理長文本的能力。該模型使用了NTK-aware插值和RingAttention技術，以及EasyContext Blockwise RingAttention庫，以高效地在高性能計算集群上進行訓練。它在商業和研究用途中具有廣泛的應用潛力，尤其是在需要長文本處理和生成的場景中。

Unichat-llama3-Chinese是中國聯通AI創新中心發佈的業界首個基於Meta Llama 3模型的中文指令微調模型。該模型通過增加中文數據進行訓練，實現了高質量的中文問答功能，支持長達28K的上下文輸入，並計劃發佈支持長度64K的版本。模型的微調指令數據經過人工篩查，確保了數據的高質量。此外，該模型還計劃陸續發佈700億參數的中文微調版本，包括長文本版本和加入中文二次預訓練的版本。

Llama-3 8B Instruct 262k是一款由Gradient AI團隊開發的文本生成模型，它擴展了LLama-3 8B的上下文長度至超過160K，展示了SOTA（State of the Art）大型語言模型在學習長文本操作時的潛力。該模型通過適當的調整RoPE theta參數，並結合NTK-aware插值和數據驅動的優化技術，實現了在長文本上的高效學習。此外，它還基於EasyContext Blockwise RingAttention庫構建，以支持在高性能硬件上的可擴展和高效訓練。