

EXAONE 3.5 2.4B Instruct AWQ
紹介 :
EXAONE-3.5-2.4B-Instruct-AWQは、LG AI Researchが開発した一連のバイリンガル(英語と韓国語)指示微調整済み生成モデルであり、パラメーター数は2.4Bから32Bです。これらのモデルは最大32Kトークンのロングコンテキスト処理に対応し、現実世界のユースケースとロングコンテキスト理解において最先端の性能を示すと同時に、最近公開された同規模のモデルと比較して、汎用領域において競争力を維持しています。このモデルは小型またはリソースの限られたデバイスへの配置向けに最適化されており、AWQ量子化技術を採用することで、4ビットグループ重み量子化(W4A16g128)を実現しています。
ターゲットユーザー :
リソースの限られたデバイスに高性能言語モデルを配置する必要がある開発者や研究者、そして長文データや多言語サポートを必要とするNLPアプリケーション開発者を対象としています。EXAONE-3.5-2.4B-Instruct-AWQは、最適化された配置能力とロングコンテキスト処理能力により、モバイルデバイスやエッジコンピューティング環境への言語モデルの配置が必要なシナリオに特に適しています。
使用シナリオ
英語と韓国語の会話応答の生成
リソースの限られたモバイルデバイスでの言語モデルサービスの提供
長文処理と分析ツールとして、研究やビジネスインテリジェンスへの活用
製品特徴
最大32Kトークンのロングコンテキスト処理能力に対応
リソースの限られたデバイスへの配置に適した、最適化された2.4Bモデル
7.8Bモデルは、前世代と同じ規模ながら性能が向上
32Bモデルは強力な性能を提供
英語と韓国語の2言語に対応
AWQ量子化技術による4ビットグループ重み量子化を実現
TensorRT-LLM、vLLMなど、複数の配置フレームワークに対応
使用チュートリアル
1. transformersやautoawqなどの必要なライブラリをインストールします。
2. AutoModelForCausalLMとAutoTokenizerを使用して、モデルとトークナイザーを読み込みます。
3. 入力プロンプトを用意します。英語または韓国語を使用できます。
4. tokenizer.apply_chat_templateメソッドを使用して、メッセージをテンプレート化し、入力IDに変換します。
5. model.generateメソッドを呼び出してテキストを生成します。
6. tokenizer.decodeメソッドを使用して、生成されたIDをテキストにデコードします。
7. 必要に応じて、max_new_tokensやdo_sampleなどのモデルパラメーターを調整して、生成されるテキストの長さと多様性を制御します。
おすすめAI製品

Deepmind Gemini
Geminiは、Google DeepMindが開発した次世代人工知能システムです。テキスト、画像、ビデオ、音声、コード間のシームレスな相互作用をサポートし、マルチモーダル推論を実行できます。言語理解、推論、数学、プログラミングなど、複数の分野において従来のシステムを凌駕し、現在までに開発された最も強力なAIシステムの一つとなっています。エッジコンピューティングからクラウドコンピューティングまで、様々なニーズに対応できる3つの異なる規模のバージョンがあります。Geminiは、クリエイティブデザイン、ライティングアシスタント、質問応答、コード生成など、幅広い分野で活用できます。
AIモデル
11.4M
中国語精選

Liblibai
LiblibAIは、中国をリードするAI創作プラットフォームです。強力なAI創作能力を提供し、クリエイターの創造性を支援します。プラットフォームは膨大な数の無料AI創作モデルを提供しており、ユーザーは検索してモデルを使用し、画像、テキスト、音声などの創作を行うことができます。また、ユーザーによる独自のAIモデルのトレーニングもサポートしています。幅広いクリエイターユーザーを対象としたプラットフォームとして、創作の機会を平等に提供し、クリエイティブ産業に貢献することで、誰もが創作の喜びを享受できるようにすることを目指しています。
AIモデル
6.9M