

Phi 3 Mini 4k Instruct Onnx
紹介 :
Phi-3 Miniは、Phi-2向けに合成されたデータとフィルタリングされたWebデータに基づいて構築された、軽量で最先端のオープンソース大規模言語モデルです。高品質で推論負荷の高いデータを提供することに重点を置いています。このモデルは、厳格な強化プロセスを経ており、教師あり微調整と直接的選好最適化を組み合わせることで、指示への正確な追従と強力なセキュリティ対策を確保しています。このリポジトリでは、CPUおよびGPUでのONNX Runtimeによる高速推論を可能にする、最適化されたPhi-3 MiniのONNXバージョンを提供しています。サーバー、Windows、Linux、Macなど、複数のプラットフォームをサポートし、各プラットフォームに最適な精度設定を提供しています。ONNX RuntimeのDirectMLサポートにより、開発者はAMD、Intel、NVIDIA GPU駆動のWindowsデバイスで大規模なハードウェアアクセラレーションを実現できます。
ターゲットユーザー :
["- 企業:Phi-3 Miniを様々なビジネスアプリケーションに統合し、自然言語処理機能を提供できます。","- 開発者:Phi-3 Miniの強力な生成能力を活用して、様々な言語関連のアプリケーションやサービスを開発できます。(例:対話システム、Q\u0026Aシステム、テキスト生成、データ分析など)","- 個人ユーザー:Phi-3 Miniを使用して高品質の自然言語コンテンツを作成し、ライティングや検索などのニーズを支援できます。"]
使用シナリオ
1. Phi-3 Miniを企業のインテリジェントアシスタントシステムに統合し、顧客に自然言語インタラクションと生成サービスを提供します。
2. Phi-3 Miniに基づいて、自動テキスト生成と創作支援ツールを開発し、作家やコンテンツクリエイターなどに創作支援を提供します。
3. Phi-3 Miniの推論能力を利用して、データ分析とレポート生成システムを構築し、分析レポートを自動的に生成します。
製品特徴
- 複数のハードウェアプラットフォームでの高速推論をサポート:
- DirectML:AMD、Intel、NVIDIA GPU搭載のWindowsデバイスに対応。AWQ量子化によりint4精度を実現
- FP16 CUDA:NVIDIA GPUに対応。FP16精度
- Int4 CUDA:NVIDIA GPUに対応。RTN量子化によりint4精度を実現
- Int4 CPUおよびモバイル:RTN量子化によりint4精度を実現。CPUとモバイル向けに遅延と精度を両立させた2つのバージョンを提供
- ONNX Runtimeの新しいGenerate() APIを提供。生成AIモデルをアプリケーションに統合するプロセスを大幅に簡素化
- PyTorchと比べて最大10倍、Llama.cppと比べて最大3倍の性能向上
- 大規模バッチ、長いプロンプト、長い出力推論をサポート
- 量子化済みでサイズが小さく、展開が容易
使用チュートリアル
1. Hugging Faceのページから必要なONNXモデルファイルをダウンロードします。
2. ONNX RuntimeとONNX Runtime Generate() API関連のソフトウェアパッケージをインストールします。
3. コードでONNXモデルファイルをロードします。
4. ONNX Runtime Generate() APIを使用して、バッチサイズやプロンプトの長さなどの推論パラメーターを設定します。
5. 生成関数を実行し、テキストプロンプトを入力します。
6. 出力結果を取得し、後処理を行います。
おすすめAI製品

Deepmind Gemini
Geminiは、Google DeepMindが開発した次世代人工知能システムです。テキスト、画像、ビデオ、音声、コード間のシームレスな相互作用をサポートし、マルチモーダル推論を実行できます。言語理解、推論、数学、プログラミングなど、複数の分野において従来のシステムを凌駕し、現在までに開発された最も強力なAIシステムの一つとなっています。エッジコンピューティングからクラウドコンピューティングまで、様々なニーズに対応できる3つの異なる規模のバージョンがあります。Geminiは、クリエイティブデザイン、ライティングアシスタント、質問応答、コード生成など、幅広い分野で活用できます。
AIモデル
11.4M
中国語精選

Liblibai
LiblibAIは、中国をリードするAI創作プラットフォームです。強力なAI創作能力を提供し、クリエイターの創造性を支援します。プラットフォームは膨大な数の無料AI創作モデルを提供しており、ユーザーは検索してモデルを使用し、画像、テキスト、音声などの創作を行うことができます。また、ユーザーによる独自のAIモデルのトレーニングもサポートしています。幅広いクリエイターユーザーを対象としたプラットフォームとして、創作の機会を平等に提供し、クリエイティブ産業に貢献することで、誰もが創作の喜びを享受できるようにすることを目指しています。
AIモデル
6.9M