# transformersアーキテクチャ

Qwen2.5-Coderは、0.5億から32億パラメータまでの様々なモデルサイズを備えた、コード特化型の巨大言語モデルシリーズです。異なる開発者のニーズに対応します。コード生成、コード推論、コード修正において顕著な性能向上を達成しており、強力なQwen2.5をベースに、ソースコード、テキストコードベース、合成データなどを含む5.5兆トークンで学習されています。Qwen2.5-Coder-32Bは、現在最先端のオープンソースコード生成巨大言語モデルであり、そのコーディング能力はGPT-4oに匹敵します。さらに、最大128Kトークンのロングコンテキストをサポートし、AWQ 4-bit量子化技術を採用することで、モデルの効率性と性能を向上させています。

Qwen2.5-Coderは、Qwen大規模言語モデルの最新シリーズであり、コード生成、コード推論、コード修正に特化しています。強力なQwen2.5をベースに、ソースコード、テキストコード接地、合成データなどを含む5.5兆トークンにトレーニングデータを増やすことで、コード生成、推論、修正能力を大幅に向上させました。Qwen2.5-Coder-3Bは、このシリーズの1つのモデルであり、30.9億パラメータ、36層、16個のAttentionヘッド（Q）と2個のAttentionヘッド（KV）、最大32,768トークンのコンテキスト長を備えています。このモデルは、現在オープンソースのコードLLMの中でもトップクラスであり、コーディング能力はGPT-4oに匹敵し、開発者にとって強力なコード支援ツールとなります。