

Skywork MoE Base FP8
紹介 :
Skywork-MoEは、146億パラメーターを持つ高性能な混合専門家(MoE)モデルです。16のエキスパートと22億の活性化パラメーターを備えています。このモデルは、Skywork-13Bモデルの密集型チェックポイントから初期化されています。2つの革新的な技術、ゲート付きロジック正規化(専門家の多様性を強化)と適応型補助損失係数(層固有の補助損失係数の調整を可能にする)が導入されています。Skywork-MoEは、C-Eval、MMLU、CMMLU、GSM8K、MATH、HumanEvalなどの様々な一般的なベンチマークテストにおいて、パラメーター数が多いモデルや活性化パラメーター数が多いモデルと同等かそれ以上の性能を示しています。
ターゲットユーザー :
Skywork-MoEモデルは、大規模言語モデルのトレーニングと推論に取り組む研究者や開発者にとって最適です。効率的なパラメーター利用と強力な計算性能を提供し、特にリソースが制限されている場合や、迅速な推論が必要なシナリオで役立ちます。
使用シナリオ
研究者がSkywork-MoEを使用して自然言語処理タスクのモデルトレーニングとテストを行う。
企業がSkywork-MoEモデルを使用して製品ドキュメントの自動生成や質疑応答システムの開発を行う。
教育機関がSkywork-MoEモデルを使用して、教育コンテンツの自動生成や生徒の宿題の自動採点を支援する。
製品特徴
146億パラメーターの大規模MoEモデル
16のエキスパートと22億の活性化パラメーター
ゲート付きロジック正規化技術
適応型補助損失係数調整
複数のベンチマークテストで優れた性能を発揮
fp8精度で動作し、リソース利用を最適化
使用チュートリアル
PyTorchおよびvllmの対応するバージョンを含む、必要な依存関係をインストールします。
Skyworkが提供するvllmコードリポジトリをクローンし、コンパイルしてインストールします。
Docker環境を設定し、Skyworkが提供するDockerイメージを使用してvllmを直接実行します。
モデルパスと作業ディレクトリを設定し、Skywork MoEモデルを使用してテキスト生成などのタスクを開始します。
おすすめAI製品

Deepmind Gemini
Geminiは、Google DeepMindが開発した次世代人工知能システムです。テキスト、画像、ビデオ、音声、コード間のシームレスな相互作用をサポートし、マルチモーダル推論を実行できます。言語理解、推論、数学、プログラミングなど、複数の分野において従来のシステムを凌駕し、現在までに開発された最も強力なAIシステムの一つとなっています。エッジコンピューティングからクラウドコンピューティングまで、様々なニーズに対応できる3つの異なる規模のバージョンがあります。Geminiは、クリエイティブデザイン、ライティングアシスタント、質問応答、コード生成など、幅広い分野で活用できます。
AIモデル
11.4M
中国語精選

Liblibai
LiblibAIは、中国をリードするAI創作プラットフォームです。強力なAI創作能力を提供し、クリエイターの創造性を支援します。プラットフォームは膨大な数の無料AI創作モデルを提供しており、ユーザーは検索してモデルを使用し、画像、テキスト、音声などの創作を行うことができます。また、ユーザーによる独自のAIモデルのトレーニングもサポートしています。幅広いクリエイターユーザーを対象としたプラットフォームとして、創作の機会を平等に提供し、クリエイティブ産業に貢献することで、誰もが創作の喜びを享受できるようにすることを目指しています。
AIモデル
6.9M