

Nemotron Mini 4B Instruct
簡介 :
Nemotron-Mini-4B-Instruct 是 NVIDIA 開發的一款小型語言模型,通過蒸餾、剪枝和量化優化,以提高速度和便於在設備上部署。它是從 Nemotron-4 15B 通過 NVIDIA 的大型語言模型壓縮技術剪枝和蒸餾得到的 nvidia/Minitron-4B-Base 的微調版本。此指令模型針對角色扮演、檢索增強問答(RAG QA)和功能調用進行了優化,支持 4096 個令牌的上下文長度,已準備好用於商業用途。
需求人群 :
目標受眾為需要在設備上快速部署和運行語言模型的開發者和企業,特別是在需要角色扮演、檢索增強問答和功能調用的應用場景中。
使用場景
在視頻遊戲中集成模型,以提供角色扮演對話
用於商業用途,如客戶服務聊天機器人
在需要快速響應和設備部署的場景中使用
產品特色
角色扮演響應生成
檢索增強生成
功能調用
優化以提高速度和設備部署
支持 4096 個令牌的上下文長度
通過蒸餾、剪枝和量化技術優化
使用教程
1. 從 Hugging Face 導入 AutoTokenizer 和 AutoModelForCausalLM。
2. 使用 'nvidia/Nemotron-Mini-4B-Instruct' 預訓練模型加載 tokenizer 和 model。
3. 使用推薦的 prompt 模板進行消息格式化。
4. 調用 model.generate 函數生成響應。
5. 使用 tokenizer.decode 函數將生成的令牌轉換為文本。
6. (可選)使用 pipeline 進行文本生成,但需要手動分配 tokenizer 對象。
精選AI產品推薦

Deepmind Gemini
Gemini是谷歌DeepMind推出的新一代人工智能系統。它能夠進行多模態推理,支持文本、圖像、視頻、音頻和代碼之間的無縫交互。Gemini在語言理解、推理、數學、編程等多個領域都超越了之前的狀態,成為迄今為止最強大的AI系統之一。它有三個不同規模的版本,可滿足從邊緣計算到雲計算的各種需求。Gemini可以廣泛應用於創意設計、寫作輔助、問題解答、代碼生成等領域。
AI模型
11.4M
中文精選

Liblibai
LiblibAI是一箇中國領先的AI創作平臺,提供強大的AI創作能力,幫助創作者實現創意。平臺提供海量免費AI創作模型,用戶可以搜索使用模型進行圖像、文字、音頻等創作。平臺還支持用戶訓練自己的AI模型。平臺定位於廣大創作者用戶,致力於創造條件普惠,服務創意產業,讓每個人都享有創作的樂趣。
AI模型
8.0M