# 長文コンテキスト処理

MiniMax-01は、4,560億パラメーターを持つ強力な言語モデルです。各トークンは459億パラメーターを活性化します。このモデルは、閃光注意力、softmax注意力、専門家混合（MoE）を組み合わせたハイブリッドアーキテクチャを採用しています。高度な並列化戦略と革新的な計算通信オーバーラップ手法（LASP+、Varlen環状注意力、専門家テンソル並列化（ETP）など）により、トレーニングコンテキスト長を100万トークンに拡張し、推論時には最大400万トークンのコンテキストを処理できます。複数の学術ベンチマークテストにおいて、MiniMax-01はトップレベルのパフォーマンスを示しています。

EXAONE-3.5-32B-Instruct-GGUFは、LG AI Researchが開発した、指示調整済みの英語と韓国語に対応する双言語生成モデルシリーズです。2.4Bから32Bパラメータの様々なバージョンがあり、最大32Kトークンの長文コンテキスト処理に対応しています。実世界のユースケースや長文コンテキスト理解において最先端の性能を示し、近頃発表された同規模のモデルと比較しても、汎用領域において競争力を維持しています。このモデルシリーズに関する詳細は、技術レポート、ブログ、GitHubで公開されており、様々な精度レベルの指示調整済み32B言語モデルが含まれています。主な特徴は以下の通りです。パラメータ数（埋め込みを除く）30.95B、層数64、アテンションヘッド数GQA（Qヘッド40個、KVヘッド8個）、語彙数102,400、コンテキスト長32,768トークン、量子化はQ8_0、Q6_0、Q5_K_M、Q4_K_M、IQ4_XSなどのGGUFフォーマット（BF16ウェイトも含まれる）。

InternLM-XComposer-2.5は、長文コンテキストの入出力に対応した多機能大型視覚言語モデルです。様々なテキスト?画像の理解と創作アプリケーションにおいて優れた性能を発揮し、GPT-4Vと同等のレベルに達していますが、7BのLLMバックエンドのみを使用しています。24Kのインターリーブされた画像テキストコンテキストで学習されており、RoPE外挿により96Kの長文コンテキストにシームレスに拡張できます。この長文コンテキスト能力により、広範な入力と出力コンテキストを必要とするタスクで特に優れた性能を発揮します。さらに、超高解像度画像理解、細粒度ビデオ理解、複数回にわたる複数画像の対話、Webサイト作成、高品質な画像付き記事の作成などもサポートしています。