EXAONE 3.5 32B Instruct GGUF : LG AI Research开发的多语言、高性能大型语言模型

EXAONE 3.5 32B Instruct GGUF

AI模型开发与工具 #大型语言模型 #多语言支持 #长上下文处理 #指令调优 #预量化模型普通产品开源

简介 :

EXAONE-3.5-32B-Instruct-GGUF是LG AI Research开发的一系列指令调优的双语（英语和韩语）生成模型，包含2.4B至32B参数的不同版本。这些模型支持长达32K令牌的长上下文处理，展现了在真实世界用例和长上下文理解中的最前沿性能，同时在与近期发布的类似规模模型相比，在通用领域保持竞争力。该模型系列通过技术报告、博客和GitHub提供了详细信息，并且包含了多种精度的指令调优32B语言模型，具有以下特点：参数数量（不含嵌入）为30.95B，层数为64，注意力头数为GQA，包含40个Q头和8个KV头，词汇量为102,400，上下文长度为32,768令牌，量化包括Q8_0、Q6_0、Q5_K_M、Q4_K_M、IQ4_XS等GGUF格式（也包括BF16权重）。

需求人群 :

目标受众为需要高性能语言模型的研究人员、开发者和企业，特别是在需要处理大量数据和长上下文信息的场景中。EXAONE-3.5-32B-Instruct-GGUF因其强大的性能和多语言支持，适合于进行自然语言处理、文本生成、机器翻译等任务，帮助用户提高工作效率和处理复杂问题的能力。

总访问量： 29.7M

占比最多地区： US(17.94%)

本站浏览量： 49.1K

使用场景

利用EXAONE-3.5-32B-Instruct-GGUF进行长篇文章的生成和内容理解。

在多语言环境下，使用该模型进行跨语言的文本翻译和信息检索。

在对话系统和聊天机器人中，应用该模型以提供更自然和准确的语言交互。

产品特色

支持长上下文处理，上下文长度可达32K令牌。

包含不同精度的模型，如Q8_0、Q6_0、Q5_K_M、Q4_K_M、IQ4_XS和BF16。