Phi-3-mini-4k-instruct-onnx
P
Phi 3 Mini 4k Instruct Onnx
紹介 :
Phi-3 Miniは、Phi-2向けに合成されたデータとフィルタリングされたWebデータに基づいて構築された、軽量で最先端のオープンソース大規模言語モデルです。高品質で推論負荷の高いデータを提供することに重点を置いています。このモデルは、厳格な強化プロセスを経ており、教師あり微調整と直接的選好最適化を組み合わせることで、指示への正確な追従と強力なセキュリティ対策を確保しています。このリポジトリでは、CPUおよびGPUでのONNX Runtimeによる高速推論を可能にする、最適化されたPhi-3 MiniのONNXバージョンを提供しています。サーバー、Windows、Linux、Macなど、複数のプラットフォームをサポートし、各プラットフォームに最適な精度設定を提供しています。ONNX RuntimeのDirectMLサポートにより、開発者はAMD、Intel、NVIDIA GPU駆動のWindowsデバイスで大規模なハードウェアアクセラレーションを実現できます。
ターゲットユーザー :
["- 企業:Phi-3 Miniを様々なビジネスアプリケーションに統合し、自然言語処理機能を提供できます。","- 開発者:Phi-3 Miniの強力な生成能力を活用して、様々な言語関連のアプリケーションやサービスを開発できます。(例:対話システム、Q\u0026Aシステム、テキスト生成、データ分析など)","- 個人ユーザー:Phi-3 Miniを使用して高品質の自然言語コンテンツを作成し、ライティングや検索などのニーズを支援できます。"]
総訪問数: 26.1M
最も高い割合の地域: US(17.94%)
ウェブサイト閲覧数 : 61.5K
使用シナリオ
1. Phi-3 Miniを企業のインテリジェントアシスタントシステムに統合し、顧客に自然言語インタラクションと生成サービスを提供します。
2. Phi-3 Miniに基づいて、自動テキスト生成と創作支援ツールを開発し、作家やコンテンツクリエイターなどに創作支援を提供します。
3. Phi-3 Miniの推論能力を利用して、データ分析とレポート生成システムを構築し、分析レポートを自動的に生成します。
製品特徴
- 複数のハードウェアプラットフォームでの高速推論をサポート: - DirectML:AMD、Intel、NVIDIA GPU搭載のWindowsデバイスに対応。AWQ量子化によりint4精度を実現 - FP16 CUDA:NVIDIA GPUに対応。FP16精度 - Int4 CUDA:NVIDIA GPUに対応。RTN量子化によりint4精度を実現 - Int4 CPUおよびモバイル:RTN量子化によりint4精度を実現。CPUとモバイル向けに遅延と精度を両立させた2つのバージョンを提供 - ONNX Runtimeの新しいGenerate() APIを提供。生成AIモデルをアプリケーションに統合するプロセスを大幅に簡素化 - PyTorchと比べて最大10倍、Llama.cppと比べて最大3倍の性能向上 - 大規模バッチ、長いプロンプト、長い出力推論をサポート - 量子化済みでサイズが小さく、展開が容易
使用チュートリアル
1. Hugging Faceのページから必要なONNXモデルファイルをダウンロードします。
2. ONNX RuntimeとONNX Runtime Generate() API関連のソフトウェアパッケージをインストールします。
3. コードでONNXモデルファイルをロードします。
4. ONNX Runtime Generate() APIを使用して、バッチサイズやプロンプトの長さなどの推論パラメーターを設定します。
5. 生成関数を実行し、テキストプロンプトを入力します。
6. 出力結果を取得し、後処理を行います。
おすすめAI製品
DeepMind Gemini
Deepmind Gemini
Geminiは、Google DeepMindが開発した次世代人工知能システムです。テキスト、画像、ビデオ、音声、コード間のシームレスな相互作用をサポートし、マルチモーダル推論を実行できます。言語理解、推論、数学、プログラミングなど、複数の分野において従来のシステムを凌駕し、現在までに開発された最も強力なAIシステムの一つとなっています。エッジコンピューティングからクラウドコンピューティングまで、様々なニーズに対応できる3つの異なる規模のバージョンがあります。Geminiは、クリエイティブデザイン、ライティングアシスタント、質問応答、コード生成など、幅広い分野で活用できます。
AIモデル
11.4M
中国語精選
LiblibAI
Liblibai
LiblibAIは、中国をリードするAI創作プラットフォームです。強力なAI創作能力を提供し、クリエイターの創造性を支援します。プラットフォームは膨大な数の無料AI創作モデルを提供しており、ユーザーは検索してモデルを使用し、画像、テキスト、音声などの創作を行うことができます。また、ユーザーによる独自のAIモデルのトレーニングもサポートしています。幅広いクリエイターユーザーを対象としたプラットフォームとして、創作の機会を平等に提供し、クリエイティブ産業に貢献することで、誰もが創作の喜びを享受できるようにすることを目指しています。
AIモデル
6.9M
AIbase
未来を切り開く、あなたのAIソリューション知識ベース
© 2025AIbase