EXAONE 3.5 7.8B Instruct GGUF : EXAONE 3.5系列的7.8B参数双语生成模型

EXAONE 3.5 7.8B Instruct GGUF

AI模型开发与工具 #文本生成 #Transformers #GGUF #英语 #韩语 #lg-ai #exaone #长上下文理解普通产品开源

简介 :

EXAONE 3.5是LG AI Research开发的一系列双语（英语和韩语）指令调优的生成模型，参数从2.4B到32B不等。这些模型支持长达32K令牌的长上下文处理，在真实世界用例和长上下文理解方面展现出了最先进的性能，同时在与近期发布的类似大小模型相比，在通用领域保持竞争力。EXAONE 3.5模型包括：1) 2.4B模型，优化用于部署在小型或资源受限的设备上；2) 7.8B模型，与前代模型大小匹配但提供改进的性能；3) 32B模型，提供强大的性能。

需求人群 :

目标受众为需要在资源受限设备上部署高性能语言模型的研究人员和开发者，以及需要处理长上下文信息和多语言文本生成的应用开发者。EXAONE 3.5模型因其强大的性能和长上下文处理能力，特别适合于需要处理大量数据和复杂语言任务的场景。

总访问量： 29.7M

占比最多地区： US(17.94%)

本站浏览量： 49.1K

使用场景

研究人员使用EXAONE 3.5模型进行长文本的语义理解和分析。

开发者利用EXAONE 3.5模型开发多语言对话系统。

企业使用EXAONE 3.5模型优化其客户服务自动化流程。

产品特色

支持长达32K令牌的长上下文处理能力。

在真实世界用例和长上下文理解方面展现出最先进的性能。

与近期发布的类似大小模型相比，在通用领域保持竞争力。

提供多种精度的指令调优7.8B语言模型，包括Q8_0、Q6_0、Q5_K_M、Q4_K_M、IQ4_XS等量化类型。

支持多种部署框架，如TensorRT-LLM、vLLM、SGLang、llama.cpp和Ollama。

模型经过优化，适用于小或资源受限的设备。

提供预量化的EXAONE 3.5模型，使用AWQ和多种量化类型。

使用教程

1. 安装llama.cpp，具体安装指南请参考llama.cpp的GitHub仓库。

2. 下载EXAONE 3.5模型的GGUF格式文件。

3. 使用huggingface-cli下载指定的EXAONE 3.5模型文件，例如：'huggingface-cli download LGAI-EXAONE/EXAONE-3.5-7.8B-Instruct-GGUF --include "EXAONE-3.5-7.8B-Instruct-BF16*.gguf" --local-dir .'

4. 使用llama-cli运行模型进行对话模式的推理，例如：'llama-cli -cnv -m ./EXAONE-3.5-7.8B-Instruct-BF16.gguf -p "You are EXAONE model from LG AI Research, a helpful assistant."'