EXAONE-3.5-7.8B-Instruct-AWQ
E
EXAONE 3.5 7.8B Instruct AWQ
简介 :
EXAONE 3.5是LG AI Research开发的一系列指令调优的双语(英语和韩语)生成模型,参数范围从2.4B到32B。这些模型支持长达32K令牌的长上下文处理,并在真实世界用例和长上下文理解方面展现出最先进的性能,同时在与最近发布的类似大小模型相比的一般领域中保持竞争力。EXAONE 3.5模型包括:1) 2.4B模型,优化用于小型或资源受限设备的部署;2) 7.8B模型,与前代模型大小相匹配,但提供改进的性能;3) 32B模型,提供强大的性能。
需求人群 :
目标受众为需要进行长上下文处理和双语文本生成的开发者和研究人员。EXAONE-3.5-7.8B-Instruct-AWQ模型因其先进的性能和长上下文理解能力,特别适合需要处理大量数据和多语言内容的复杂任务,如机器翻译、文本摘要、对话系统等。
总访问量: 29.7M
占比最多地区: US(17.94%)
本站浏览量 : 49.4K
使用场景
使用EXAONE-3.5-7.8B-Instruct-AWQ模型进行长文本的机器翻译。
利用模型进行多轮对话系统的开发,以提供更加自然和流畅的对话体验。
在处理大量文本数据时,使用模型进行文本摘要和关键信息提取。
产品特色
支持长上下文处理,最多32K令牌。
在真实世界用例和长上下文理解方面展现出最先进的性能。
与最近发布的类似大小模型相比,在一般领域中保持竞争力。
支持双语(英语和韩语)生成。
提供AWQ量化权重,实现4位组内权重量化(W4A16g128)。
支持多种部署框架,如TensorRT-LLM、vLLM、SGLang等。
提供预量化的EXAONE 3.5模型,以GGUF格式提供。
使用教程
1. 安装必要的库,如transformers和autoawq。
2. 从Hugging Face加载EXAONE-3.5-7.8B-Instruct-AWQ模型和分词器。
3. 准备输入文本,可以是英文或韩文。
4. 使用分词器对输入文本进行编码。
5. 将编码后的输入传递给模型进行生成。
6. 根据需要调整模型参数,如最大新令牌数、是否采样等。
7. 输出生成的文本,并使用分词器进行解码。
8. 分析和利用生成的文本进行进一步的应用开发。
AIbase
智启未来,您的人工智能解决方案智库
© 2025AIbase