Nemotron-Mini-4B-Instruct
N
Nemotron Mini 4B Instruct
簡介 :
Nemotron-Mini-4B-Instruct 是 NVIDIA 開發的一款小型語言模型,通過蒸餾、剪枝和量化優化,以提高速度和便於在設備上部署。它是從 Nemotron-4 15B 通過 NVIDIA 的大型語言模型壓縮技術剪枝和蒸餾得到的 nvidia/Minitron-4B-Base 的微調版本。此指令模型針對角色扮演、檢索增強問答(RAG QA)和功能調用進行了優化,支持 4096 個令牌的上下文長度,已準備好用於商業用途。
需求人群 :
目標受眾為需要在設備上快速部署和運行語言模型的開發者和企業,特別是在需要角色扮演、檢索增強問答和功能調用的應用場景中。
總訪問量: 29.7M
佔比最多地區: US(17.94%)
本站瀏覽量 : 56.6K
使用場景
在視頻遊戲中集成模型,以提供角色扮演對話
用於商業用途,如客戶服務聊天機器人
在需要快速響應和設備部署的場景中使用
產品特色
角色扮演響應生成
檢索增強生成
功能調用
優化以提高速度和設備部署
支持 4096 個令牌的上下文長度
通過蒸餾、剪枝和量化技術優化
使用教程
1. 從 Hugging Face 導入 AutoTokenizer 和 AutoModelForCausalLM。
2. 使用 'nvidia/Nemotron-Mini-4B-Instruct' 預訓練模型加載 tokenizer 和 model。
3. 使用推薦的 prompt 模板進行消息格式化。
4. 調用 model.generate 函數生成響應。
5. 使用 tokenizer.decode 函數將生成的令牌轉換為文本。
6. (可選)使用 pipeline 進行文本生成,但需要手動分配 tokenizer 對象。
AIbase
智啟未來,您的人工智能解決方案智庫
© 2025AIbase