

EXAONE 3.5 7.8B Instruct GGUF
簡介 :
EXAONE 3.5是LG AI Research開發的一系列雙語(英語和韓語)指令調優的生成模型,參數從2.4B到32B不等。這些模型支持長達32K令牌的長上下文處理,在真實世界用例和長上下文理解方面展現出了最先進的性能,同時在與近期發佈的類似大小模型相比,在通用領域保持競爭力。EXAONE 3.5模型包括:1) 2.4B模型,優化用於部署在小型或資源受限的設備上;2) 7.8B模型,與前代模型大小匹配但提供改進的性能;3) 32B模型,提供強大的性能。
需求人群 :
目標受眾為需要在資源受限設備上部署高性能語言模型的研究人員和開發者,以及需要處理長上下文信息和多語言文本生成的應用開發者。EXAONE 3.5模型因其強大的性能和長上下文處理能力,特別適合於需要處理大量數據和複雜語言任務的場景。
使用場景
研究人員使用EXAONE 3.5模型進行長文本的語義理解和分析。
開發者利用EXAONE 3.5模型開發多語言對話系統。
企業使用EXAONE 3.5模型優化其客戶服務自動化流程。
產品特色
支持長達32K令牌的長上下文處理能力。
在真實世界用例和長上下文理解方面展現出最先進的性能。
與近期發佈的類似大小模型相比,在通用領域保持競爭力。
提供多種精度的指令調優7.8B語言模型,包括Q8_0、Q6_0、Q5_K_M、Q4_K_M、IQ4_XS等量化類型。
支持多種部署框架,如TensorRT-LLM、vLLM、SGLang、llama.cpp和Ollama。
模型經過優化,適用於小或資源受限的設備。
提供預量化的EXAONE 3.5模型,使用AWQ和多種量化類型。
使用教程
1. 安裝llama.cpp,具體安裝指南請參考llama.cpp的GitHub倉庫。
2. 下載EXAONE 3.5模型的GGUF格式文件。
3. 使用huggingface-cli下載指定的EXAONE 3.5模型文件,例如:'huggingface-cli download LGAI-EXAONE/EXAONE-3.5-7.8B-Instruct-GGUF --include "EXAONE-3.5-7.8B-Instruct-BF16*.gguf" --local-dir .'
4. 使用llama-cli運行模型進行對話模式的推理,例如:'llama-cli -cnv -m ./EXAONE-3.5-7.8B-Instruct-BF16.gguf -p "You are EXAONE model from LG AI Research, a helpful assistant."'
精選AI產品推薦

Deepmind Gemini
Gemini是谷歌DeepMind推出的新一代人工智能系統。它能夠進行多模態推理,支持文本、圖像、視頻、音頻和代碼之間的無縫交互。Gemini在語言理解、推理、數學、編程等多個領域都超越了之前的狀態,成為迄今為止最強大的AI系統之一。它有三個不同規模的版本,可滿足從邊緣計算到雲計算的各種需求。Gemini可以廣泛應用於創意設計、寫作輔助、問題解答、代碼生成等領域。
AI模型
11.4M
中文精選

Liblibai
LiblibAI是一箇中國領先的AI創作平臺,提供強大的AI創作能力,幫助創作者實現創意。平臺提供海量免費AI創作模型,用戶可以搜索使用模型進行圖像、文字、音頻等創作。平臺還支持用戶訓練自己的AI模型。平臺定位於廣大創作者用戶,致力於創造條件普惠,服務創意產業,讓每個人都享有創作的樂趣。
AI模型
8.0M