

Yuan2.0 M32
紹介 :
Yuan2.0-M32は、32個の専門家を持つ混合専門家(MoE)言語モデルであり、そのうち2個がアクティブです。より効率的な専門家選択のために、新たなルーティングネットワークである注意ルーティングを提案し、精度を3.8%向上させました。このモデルはゼロから学習されており、2000Bトークンを使用し、その学習計算量は、同等の規模のパラメータを持つ密なモデルに必要な計算量のわずか9.25%です。コーディング、数学、そして様々な専門分野において競争力のある性能を示し、3.7B個のアクティブパラメータのみを使用し、トークンあたりの順方向計算量はわずか7.4 GFLOPSで、Llama3-70Bの1/19に過ぎません。MATHとARC-ChallengeのベンチマークテストではLlama3-70Bを上回り、精度はそれぞれ55.9%と95.8%に達しました。
ターゲットユーザー :
Yuan2.0-M32は、コーディング、数学、専門分野において効率的な計算と推論を必要とする開発者や研究者にとって最適です。その低い計算量と高い精度は、大規模言語モデルアプリケーションに理想的な選択肢となります。
使用シナリオ
自然言語理解アプリケーションの開発に使用
数学問題解決において正確な計算サポートを提供
専門分野の知識取得と推論の補助ツールとして使用
製品特徴
混合専門家(MoE)モデル。32個の専門家を持ち、うち2個がアクティブ
新しい注意ルーティングネットワークを採用し、モデルの専門家選択効率を向上
ゼロから学習。2000Bトークンを使用し、学習計算量が低い
コーディング、数学、専門分野で優れた競争力のある性能を発揮
MATHとARC-Challengeベンチマークテストで他のモデルを上回る
3.7B個のアクティブパラメータのみを使用し、計算効率が高い
使用チュートリアル
1. 環境設定。Yuan2.0-M32の最新のDockerイメージを使用することを推奨
2. 提供されているスクリプトに従ってデータ前処理を行う
3. サンプルスクリプトを使用してモデルを事前学習する
4. vllmの詳細なデプロイメントプランを参照して推論サービスをデプロイする
5. 詳細情報とドキュメントについてはGitHubリポジトリを参照する
おすすめAI製品

Deepmind Gemini
Geminiは、Google DeepMindが開発した次世代人工知能システムです。テキスト、画像、ビデオ、音声、コード間のシームレスな相互作用をサポートし、マルチモーダル推論を実行できます。言語理解、推論、数学、プログラミングなど、複数の分野において従来のシステムを凌駕し、現在までに開発された最も強力なAIシステムの一つとなっています。エッジコンピューティングからクラウドコンピューティングまで、様々なニーズに対応できる3つの異なる規模のバージョンがあります。Geminiは、クリエイティブデザイン、ライティングアシスタント、質問応答、コード生成など、幅広い分野で活用できます。
AIモデル
11.4M
中国語精選

Liblibai
LiblibAIは、中国をリードするAI創作プラットフォームです。強力なAI創作能力を提供し、クリエイターの創造性を支援します。プラットフォームは膨大な数の無料AI創作モデルを提供しており、ユーザーは検索してモデルを使用し、画像、テキスト、音声などの創作を行うことができます。また、ユーザーによる独自のAIモデルのトレーニングもサポートしています。幅広いクリエイターユーザーを対象としたプラットフォームとして、創作の機会を平等に提供し、クリエイティブ産業に貢献することで、誰もが創作の喜びを享受できるようにすることを目指しています。
AIモデル
6.9M