

Mlperf Client
紹介 :
MLPerf Clientは、MLCommonsが共同開発した新しいベンチマークテストであり、ノートパソコン、デスクトップ、ワークステーションなど、パーソナルコンピュータ上での大規模言語モデル(LLM)およびその他のAIワークロードのパフォーマンスを評価することを目的としています。本ベンチマークテストは、現実世界のAIタスクをシミュレートすることにより、システムが生成AIワークロードをどのように処理するかを理解するための明確な指標を提供します。MLPerf Clientワーキンググループは、このベンチマークテストが、イノベーションと競争を促進し、パーソナルコンピュータがAI駆動の将来の課題に対応できるようにすることを期待しています。
ターゲットユーザー :
MLPerf Clientのターゲットユーザーは、ハードウェアメーカー、ソフトウェア開発者、AI研究者です。ハードウェアメーカーは、このベンチマークテストを通じて製品のAI性能を示すことができます。ソフトウェア開発者は、これを利用してソフトウェアを最適化し、AIアプリケーションのパフォーマンスを向上させることができます。AI研究者は、このベンチマークテストを使用して、さまざまなAIモデルのパフォーマンスを評価および比較することができます。
使用シナリオ
ハードウェアメーカーは、MLPerf Clientベンチマークテストを使用して、AIタスクにおけるさまざまなGPUのパフォーマンスを比較します。
ソフトウェア開発者は、MLPerf Clientを使用して、さまざまなハードウェア構成におけるAIアプリケーションのパフォーマンスをテストします。
AI研究者は、MLPerf Clientを使用して、さまざまな最適化技術がモデルのパフォーマンスに与える影響を評価します。
製品特徴
パーソナルコンピュータ上での大規模言語モデルおよびその他のAIワークロードのパフォーマンス評価
システムの生成AIワークロード処理能力を理解するための明確なパフォーマンス指標の提供
パーソナルコンピュータ分野におけるAIのイノベーションと競争の促進
ONNX Runtime GenAIやIntel OpenVINOなど、複数のハードウェアアクセラレーションパスをサポート
Llama 2 7B大規模言語モデルを使用したテストを実施し、コンテンツ生成、クリエイティブライティング、要約などの複数のタスクを網羅
AMD、Intel、NVIDIAの特定のハードウェア構成に対応する明確なシステム要件
ベンチマークテストの実行方法と結果の解釈方法をユーザーが理解できるように、詳細なQ&Aセクションを提供
使用チュートリアル
1. MLPerf ClientのGitHubリリースページにアクセスし、最新バージョンのベンチマークテストツールをダウンロードします。
2. Microsoft Visual C++ Redistributableのインストールを含む、ベンチマークテストのハードウェアおよびソフトウェア要件を満たしていることを確認します。
3. ダウンロードしたZipファイルをローカルドライブのフォルダに解凍します。
4. コマンドラインインターフェースを開き、解凍したフォルダに移動します。
5. -cフラグと構成ファイル名を使用してベンチマークテスト実行ファイルを実行します。例:mlperf-windows.exe -c Nvidia_ORT-GenAI-DML_GPU.json
6. ベンチマークテストに必要なファイルのダウンロードが完了するまで待ち、テストを開始します。
7. Time to first token (TTFT)やTokens per second (TPS)などのパフォーマンス指標を含むテスト結果を確認します。
8. 必要に応じて構成ファイルを調整し、異なるハードウェアアクセラレーションパスまたはモデル最適化をテストします。
おすすめAI製品

Pseudoeditor
PseudoEditorは無料で使用できるオンライン擬似コードエディタです。構文の強調表示や自動補完などの機能を備えており、擬似コードの作成を容易にします。さらに、内蔵の擬似コードコンパイラ機能でテストすることも可能です。ダウンロード不要ですぐにご利用いただけます。
開発とツール
3.8M

Coze
Cozeは、次世代AIチャットボット構築プラットフォームです。AIチャットボットアプリケーションの迅速な作成、デバッグ、最適化が可能です。コーディング不要で、チャットボットを簡単に作成し、様々なプラットフォームに公開できます。豊富なプラグインも提供しており、データとの連携、アイデアをボットスキルへの変換、長期記憶の装備、会話の開始など、ボットの機能を拡張できます。
開発とツール
3.7M