# ロングコンテキスト処理

MiniMax-Text-01は、MiniMaxAIが開発した大規模言語モデルで、総パラメータ数は4,560億です。各トークンは459億のパラメータを活性化します。本モデルは、閃光型アテンション、Softmaxアテンション、MoE（Mixture of Experts）技術を組み合わせたハイブリッドアーキテクチャを採用しています。LASP+（Linear Attention Sequence Parallelism Plus）、可変長環状アテンション、ETP（Expert Tensor Parallelism）などの高度な並列化戦略と計算?通信オーバーラップ手法により、トレーニング時のコンテキスト長を100万トークンに拡張し、推論時には最大400万トークンのコンテキストを処理できます。複数の学術ベンチマークテストにおいて、MiniMax-Text-01は最先端モデルと同等の性能を示しています。

EXAONE-3.5-2.4B-Instruct-AWQは、LG AI Researchが開発した一連のバイリンガル（英語と韓国語）指示微調整済み生成モデルであり、パラメーター数は2.4Bから32Bです。これらのモデルは最大32Kトークンのロングコンテキスト処理に対応し、現実世界のユースケースとロングコンテキスト理解において最先端の性能を示すと同時に、最近公開された同規模のモデルと比較して、汎用領域において競争力を維持しています。このモデルは小型またはリソースの限られたデバイスへの配置向けに最適化されており、AWQ量子化技術を採用することで、4ビットグループ重み量子化（W4A16g128）を実現しています。

EXAONE-3.5-7.8B-Instructは、LG AI Researchが開発した、2.4Bから32Bのパラメータを持つ一連の指示微調整済みバイリンガル（英語と韓国語）生成モデルです。これらのモデルは最大32Kトークンのロングコンテキスト処理をサポートし、現実世界のユースケースやロングコンテキスト理解において最先端の性能を示すとともに、最近リリースされた同規模のモデルと比較して、汎用領域において競争力を維持しています。

EXAONE-3.5-2.4B-Instruct-GGUFは、LG AI Researchが開発した一連のバイリンガル（英語と韓国語）インストラクションチューニング済み生成モデルで、パラメーター数は2.4Bから32Bまで様々です。これらのモデルは最大32Kトークンのロングコンテキスト処理をサポートし、現実世界のユースケースやロングコンテキスト理解において最先端の性能を示すと同時に、最近発表された同規模のモデルと比較して、汎用領域においても競争力を維持しています。このモデルの重要性は、強力な性能を提供しながら、小型またはリソースの限られたデバイスへの展開を最適化している点にあります。