# ロングコンテキスト

Qwen2.5-Coderは、Qwen大規模言語モデルの最新シリーズであり、コード生成、コード推論、コード修正に特化しています。強力なQwen2.5をベースに、5.5兆個のソースコード、テキストコード関連付け、合成データなどを用いたトレーニングにより、現在のオープンソースコード言語モデルの中でもトップクラスの実力を誇ります。プログラミング能力の向上に加え、数学や汎用的な能力も維持しています。

Qwen2.5-Coder-3B-Instruct-GPTQ-Int8は、Qwen2.5-Coderシリーズの大規模言語モデルの一種であり、コード生成、コード推論、コード修正に特化して最適化されています。このモデルはQwen2.5をベースとしており、ソースコード、テキストコード関連付け、合成データなどを含む5.5兆個のトークンで学習されています。Qwen2.5-Coder-32Bは現在最先端のオープンソースコード大規模言語モデルであり、そのコーディング能力はGPT-4oに匹敵します。このモデルは、コードエージェントなどの現実世界のアプリケーションに、より包括的な基盤を提供し、コーディング能力を高めるだけでなく、数学および一般的な能力における優位性も維持しています。

AI21 Jamba 1.5シリーズモデルは、市場で最も強力なロングコンテキストモデルの1つであり、同等の最先端モデルと比べて2.5倍の推論速度を実現しています。これらのモデルは、卓越したロングコンテキスト処理能力、速度、精度を示しており、非Transformerモデルを市場をリードするモデルと同等の品質と性能にまで拡張することに初めて成功しました。

Gemini ProはDeepMindが開発した高性能な多モーダルAIモデルで、幅広いタスクに対応できるよう設計されています。最大200万トークンの長いコンテキストウィンドウを備え、大規模な文書、コード、音声、動画などを処理できます。コード生成、数学問題解決、多言語翻訳など、複数のベンチマークテストで優れた性能を示しています。

Sambaはシンプルながらも強力な混合モデルであり、無限のコンテキスト長を特徴としています。そのアーキテクチャは非常にシンプルです。Samba = Mamba + MLP + スライディングウィンドウアテンション + 階層型MLPスタック。Samba-3.8BモデルはPhi3データセットで3.2兆トークンを用いてトレーニングされ、MMLU、GSM8K、HumanEvalなどの主要なベンチマークテストにおいて、Phi3-miniを大きく上回る性能を示しました。Sambaは、最小限の指示調整で完璧なロングコンテキスト検索能力を実現し、シーケンス長に対して線形的な計算量を維持します。これにより、Samba-3.8B-instructは、ロングコンテキスト要約などの下流タスクで優れた性能を発揮します。

Qwen1.5はQwenシリーズの次期バージョンであり、0.5Bから72Bパラメーターまでの複数の規模を網羅した、基礎モデルとチャットモデルのオープンソース版を提供します。多言語対応、ロングコンテキスト対応、ヒューマン?イン?ザ?ループによる調整を行い、基本能力、チャット性能、多言語理解において顕著な進歩を遂げています。