# 长上下文

ModernBERT-large是一个现代化的双向编码器Transformer模型（BERT风格），在2万亿个英文和代码数据上预训练，具有长达8192个token的原生上下文长度。该模型采用了最新的架构改进，如旋转位置嵌入（RoPE）以支持长上下文，局部-全局交替注意力以提高长输入的效率，以及无填充和Flash Attention以提高推理效率。ModernBERT-long适合处理需要处理长文档的任务，如检索、分类和大型语料库中的语义搜索。模型训练数据主要是英文和代码，因此可能在其他语言上的表现会较低。

Qwen2.5-Coder是Qwen大型语言模型的最新系列，专注于代码生成、代码推理和代码修复。基于强大的Qwen2.5，该模型在训练中使用了5.5万亿的源代码、文本代码关联、合成数据等，使其成为当前开源代码语言模型中的佼佼者。该模型不仅在编程能力上有所增强，还保持了在数学和通用能力方面的优势。

Qwen2.5-Coder-3B-Instruct-GPTQ-Int8是Qwen2.5-Coder系列中的一种大型语言模型，专门针对代码生成、代码推理和代码修复进行了优化。该模型基于Qwen2.5，训练数据包括源代码、文本代码关联、合成数据等，达到5.5万亿个训练令牌。Qwen2.5-Coder-32B已成为当前最先进的开源代码大型语言模型，其编码能力与GPT-4o相匹配。该模型还为现实世界中的应用提供了更全面的基础，如代码代理，不仅增强了编码能力，还保持了在数学和通用能力方面的优势。

AI21 Jamba 1.5系列模型是市场上最强大的长上下文模型之一，提供比同类领先模型快2.5倍的推理速度。这些模型展示了卓越的长上下文处理能力、速度和质量，是首次成功将非Transformer模型扩展到市场领先模型的质量和强度。

Gemini Pro是DeepMind推出的一款高性能多模态AI模型，专为广泛的任务设计，具有高达两百万token的长上下文窗口，能够处理大规模文档、代码、音频和视频等。它在多个基准测试中表现出色，包括代码生成、数学问题解决和多语言翻译等。

LongVA是一个能够处理超过2000帧或超过200K视觉标记的长上下文转换模型。它在Video-MME中的表现在7B模型中处于领先地位。该模型基于CUDA 11.8和A100-SXM-80G进行了测试，并且可以通过Hugging Face平台进行快速启动和使用。

Samba是一个简单而强大的混合模型，具有无限的上下文长度。它的架构非常简单：Samba = Mamba + MLP + 滑动窗口注意力 + 层级MLP堆叠。Samba-3.8B模型在Phi3数据集上训练了3.2万亿个token，主要基准测试（例如MMLU、GSM8K和HumanEval）上的表现大大超过了Phi3-mini。Samba还可以通过最少的指令调整实现完美的长上下文检索能力，同时保持与序列长度的线性复杂度。这使得Samba-3.8B-instruct在下游任务（如长上下文摘要）上表现出色。

Qwen1.5是Qwen系列的下一个版本，提供了基础和聊天模型的开源版本，覆盖了0.5B到72B的多个规模。支持多语言，长上下文，对齐人类偏好，并在基本能力、聊天性能、多语言理解等方面取得显著进展。

Flash-Decoding是一种针对长上下文推理的技术，可以显著加速推理中的注意力机制，从而使生成速度提高8倍。该技术通过并行加载键和值，然后分别重新缩放和组合结果来维护正确的注意力输出，从而实现了更快的推理速度。Flash-Decoding适用于大型语言模型，可以处理长文档、长对话或整个代码库等长上下文。Flash-Decoding已经在FlashAttention包和xFormers中提供，可以自动选择Flash-Decoding或FlashAttention方法，也可以使用高效的Triton内核。