# 长上下文处理

MiniMax-Text-01是一个由MiniMaxAI开发的大型语言模型，拥有4560亿总参数，其中每个token激活459亿参数。它采用了混合架构，结合了闪电注意力、softmax注意力和专家混合（MoE）技术，通过先进的并行策略和创新的计算-通信重叠方法，如线性注意力序列并行主义加（LASP+）、变长环形注意力、专家张量并行（ETP）等，将训练上下文长度扩展到100万token，并能在推理时处理长达400万token的上下文。在多个学术基准测试中，MiniMax-Text-01展现出了顶级模型的性能。

MiniMax-01是一个具有4560亿总参数的强大语言模型，其中每个token激活459亿参数。它采用混合架构，结合了闪电注意力、softmax注意力和专家混合（MoE），通过先进的并行策略和创新的计算-通信重叠方法，如线性注意力序列并行主义加（LASP+）、varlen环形注意力、专家张量并行（ETP）等，将训练上下文长度扩展到100万tokens，在推理时可处理长达400万tokens的上下文。在多个学术基准测试中，MiniMax-01展现了顶级模型的性能。

EXAONE-3.5-2.4B-Instruct-AWQ是由LG AI Research开发的一系列双语（英语和韩语）指令调优生成模型，参数范围从2.4B到32B。这些模型支持长达32K令牌的长上下文处理，并且在真实世界用例和长上下文理解方面展现出最先进的性能，同时在与近期发布的类似大小模型相比，在通用领域保持竞争力。该模型在部署到小型或资源受限设备上进行了优化，并且采用了AWQ量化技术，实现了4位群组权重量化（W4A16g128）。

EXAONE-3.5-7.8B-Instruct是由LG AI Research开发的一系列指令调优的双语（英语和韩语）生成模型，参数范围从2.4B到32B。这些模型支持长达32K令牌的长上下文处理，并在真实世界用例和长上下文理解方面展现出最先进的性能，同时在与近期发布的类似大小模型相比，在通用领域保持竞争力。

EXAONE-3.5-2.4B-Instruct-GGUF是由LG AI Research开发的一系列双语（英语和韩语）指令调优的生成型模型，参数范围从2.4B到32B。这些模型支持长达32K令牌的长上下文处理，并在真实世界用例和长上下文理解方面展现出最先进的性能，同时在与近期发布的类似大小模型相比，在通用领域保持竞争力。该模型的重要性在于其优化了在小型或资源受限设备上的部署，同时提供了强大的性能。

EXAONE-3.5-32B-Instruct-GGUF是LG AI Research开发的一系列指令调优的双语（英语和韩语）生成模型，包含2.4B至32B参数的不同版本。这些模型支持长达32K令牌的长上下文处理，展现了在真实世界用例和长上下文理解中的最前沿性能，同时在与近期发布的类似规模模型相比，在通用领域保持竞争力。该模型系列通过技术报告、博客和GitHub提供了详细信息，并且包含了多种精度的指令调优32B语言模型，具有以下特点：参数数量（不含嵌入）为30.95B，层数为64，注意力头数为GQA，包含40个Q头和8个KV头，词汇量为102,400，上下文长度为32,768令牌，量化包括Q8_0、Q6_0、Q5_K_M、Q4_K_M、IQ4_XS等GGUF格式（也包括BF16权重）。

InternLM-XComposer-2.5是一款支持长上下文输入和输出的多功能大型视觉语言模型。它在各种文本图像理解和创作应用中表现出色，实现了与GPT-4V相当的水平，但仅使用了7B的LLM后端。该模型通过24K交错图像文本上下文进行训练，能够无缝扩展到96K长上下文，通过RoPE外推。这种长上下文能力使其在需要广泛输入和输出上下文的任务中表现突出。此外，它还支持超高分辨率理解、细粒度视频理解、多轮多图像对话、网页制作以及撰写高质量图文文章等功能。