EXAONE-3.5-7.8B-Instruct-GGUF
E
EXAONE 3.5 7.8B Instruct GGUF
簡介 :
EXAONE 3.5是LG AI Research開發的一系列雙語(英語和韓語)指令調優的生成模型,參數從2.4B到32B不等。這些模型支持長達32K令牌的長上下文處理,在真實世界用例和長上下文理解方面展現出了最先進的性能,同時在與近期發佈的類似大小模型相比,在通用領域保持競爭力。EXAONE 3.5模型包括:1) 2.4B模型,優化用於部署在小型或資源受限的設備上;2) 7.8B模型,與前代模型大小匹配但提供改進的性能;3) 32B模型,提供強大的性能。
需求人群 :
目標受眾為需要在資源受限設備上部署高性能語言模型的研究人員和開發者,以及需要處理長上下文信息和多語言文本生成的應用開發者。EXAONE 3.5模型因其強大的性能和長上下文處理能力,特別適合於需要處理大量數據和複雜語言任務的場景。
總訪問量: 29.7M
佔比最多地區: US(17.94%)
本站瀏覽量 : 45.5K
使用場景
研究人員使用EXAONE 3.5模型進行長文本的語義理解和分析。
開發者利用EXAONE 3.5模型開發多語言對話系統。
企業使用EXAONE 3.5模型優化其客戶服務自動化流程。
產品特色
支持長達32K令牌的長上下文處理能力。
在真實世界用例和長上下文理解方面展現出最先進的性能。
與近期發佈的類似大小模型相比,在通用領域保持競爭力。
提供多種精度的指令調優7.8B語言模型,包括Q8_0、Q6_0、Q5_K_M、Q4_K_M、IQ4_XS等量化類型。
支持多種部署框架,如TensorRT-LLM、vLLM、SGLang、llama.cpp和Ollama。
模型經過優化,適用於小或資源受限的設備。
提供預量化的EXAONE 3.5模型,使用AWQ和多種量化類型。
使用教程
1. 安裝llama.cpp,具體安裝指南請參考llama.cpp的GitHub倉庫。
2. 下載EXAONE 3.5模型的GGUF格式文件。
3. 使用huggingface-cli下載指定的EXAONE 3.5模型文件,例如:'huggingface-cli download LGAI-EXAONE/EXAONE-3.5-7.8B-Instruct-GGUF --include "EXAONE-3.5-7.8B-Instruct-BF16*.gguf" --local-dir .'
4. 使用llama-cli運行模型進行對話模式的推理,例如:'llama-cli -cnv -m ./EXAONE-3.5-7.8B-Instruct-BF16.gguf -p "You are EXAONE model from LG AI Research, a helpful assistant."'
AIbase
智啟未來,您的人工智能解決方案智庫
© 2025AIbase