

Phi 3 Mini 128k Instruct Onnx
簡介 :
Phi-3 Mini是一個輕量級的頂尖開源模型,建立在Phi-2使用的合成數據和過濾網站之上,專注於高質量的推理密集型數據。這個模型屬於Phi-3系列,mini版本有兩個變體支持4K和128K上下文長度。該模型經過了嚴格的增強過程,包括監督式微調和直接偏好優化,以確保精準遵循指令和強大的安全措施。這些經過ONNX優化的Phi-3 Mini模型可在CPU、GPU和移動設備上高效運行。微軟還推出了ONNX Runtime Generate() API,簡化了Phi-3的使用。
需求人群 :
["• 機器學習研究人員和開發人員,可利用這個優化模型提高推理性能","• 需要在不同設備(服務器、Windows、Linux、Mac、移動設備)上部署大型語言模型的企業和組織","• 對話系統、問答系統、內容生成等任務的從業者,可使用該模型生成高質量輸出","• 任何需要進行自然語言處理的應用程序,都可受益於該模型強大的性能"]
使用場景
1. 一家技術公司可以使用Phi-3 Mini模型構建高性能的對話代理,為客戶提供自動化問答服務。
2. 一家新聞機構可以利用該模型自動生成高質量的新聞文章摘要和標題。
3. 研究人員可以使用該模型進行自然語言處理相關的實驗和研究,探索語言模型的新用途。
產品特色
• 支持ONNX格式,可加速在CPU、GPU和移動設備上的推理
• 提供多種優化配置,包括用於DirectML的int4量化、用於NVIDIA GPU的fp16和int4量化、用於CPU和移動設備的int4量化等
• 經過增強訓練,確保精準遵循指令和強大的安全性
• 輕量級設計,專注於高質量推理密集型數據
• 提供新的ONNX Runtime Generate() API,簡化Phi-3的使用
• 在多種硬件和平臺上進行了性能測試和優化
使用教程
1. 從GitHub倉庫下載適合您的硬件配置的ONNX模型文件。
2. 安裝必要的Python包,如ONNX Runtime、transformers等。
3. 使用ONNX Runtime Generate() API加載模型並進行推理。
4. 準備您的輸入文本或指令。
5. 調用模型進行預測或生成輸出。
6. 根據需要對輸出結果進行後處理。
7. 將生成的輸出集成到您的應用程序或工作流程中。
精選AI產品推薦

Deepmind Gemini
Gemini是谷歌DeepMind推出的新一代人工智能系統。它能夠進行多模態推理,支持文本、圖像、視頻、音頻和代碼之間的無縫交互。Gemini在語言理解、推理、數學、編程等多個領域都超越了之前的狀態,成為迄今為止最強大的AI系統之一。它有三個不同規模的版本,可滿足從邊緣計算到雲計算的各種需求。Gemini可以廣泛應用於創意設計、寫作輔助、問題解答、代碼生成等領域。
AI模型
11.4M
中文精選

Liblibai
LiblibAI是一箇中國領先的AI創作平臺,提供強大的AI創作能力,幫助創作者實現創意。平臺提供海量免費AI創作模型,用戶可以搜索使用模型進行圖像、文字、音頻等創作。平臺還支持用戶訓練自己的AI模型。平臺定位於廣大創作者用戶,致力於創造條件普惠,服務創意產業,讓每個人都享有創作的樂趣。
AI模型
8.0M