

EXAONE 3.5 32B Instruct AWQ
简介 :
EXAONE-3.5-32B-Instruct-AWQ是LG AI Research开发的一系列指令调优的双语(英语和韩语)生成模型,参数从2.4B到32B不等。这些模型支持长达32K令牌的长上下文处理,在真实世界用例和长上下文理解方面展现出最先进的性能,同时在与最近发布的类似大小模型相比,在通用领域保持竞争力。该模型通过AWQ量化技术,实现了4位组级别的权重量化,优化了模型的部署效率。
需求人群 :
目标受众为需要在多语言环境中进行文本生成和处理的研究人员、开发者和企业。由于模型支持长上下文处理和双语能力,特别适合需要处理大量文本数据和跨语言交流的应用场景。
使用场景
研究人员使用该模型进行跨语言的文本翻译和生成研究。
开发者利用模型的长上下文处理能力开发智能助手应用。
企业使用该模型优化客户服务中的自动回复系统。
产品特色
支持长达32K令牌的长上下文处理能力。
在英语和韩语的双语生成模型中展现出最先进的性能。
通过AWQ量化技术,实现了4位组级别的权重量化。
模型参数数量达到30.95B,拥有64层和40个查询头。
支持快速启动和部署,适用于多种框架,如TensorRT-LLM、vLLM等。
提供了预量化的EXAONE 3.5模型,方便在不同设备上部署。
模型生成的文本不反映LG AI Research的观点,确保内容的中立性。
使用教程
1. 安装必要的库,如transformers>=4.43和autoawq>=0.2.7.post3。
2. 使用AutoModelForCausalLM和AutoTokenizer从Hugging Face加载模型和分词器。
3. 准备输入提示,可以是英文或韩文。
4. 使用tokenizer.apply_chat_template方法将消息转换为模型输入格式。
5. 调用model.generate方法生成文本。
6. 使用tokenizer.decode方法将生成的令牌转换为可读文本。
7. 根据需要调整模型参数,如max_new_tokens和do_sample,以控制生成文本的长度和多样性。
精选AI产品推荐

Deepmind Gemini
Gemini是谷歌DeepMind推出的新一代人工智能系统。它能够进行多模态推理,支持文本、图像、视频、音频和代码之间的无缝交互。Gemini在语言理解、推理、数学、编程等多个领域都超越了之前的状态,成为迄今为止最强大的AI系统之一。它有三个不同规模的版本,可满足从边缘计算到云计算的各种需求。Gemini可以广泛应用于创意设计、写作辅助、问题解答、代码生成等领域。
AI模型
11.4M
中文精选

Liblibai
LiblibAI是一个中国领先的AI创作平台,提供强大的AI创作能力,帮助创作者实现创意。平台提供海量免费AI创作模型,用户可以搜索使用模型进行图像、文字、音频等创作。平台还支持用户训练自己的AI模型。平台定位于广大创作者用户,致力于创造条件普惠,服务创意产业,让每个人都享有创作的乐趣。
AI模型
8.0M