Mistral-Nemo-Base-2407
M
Mistral Nemo Base 2407
简介 :
Mistral-Nemo-Base-2407是由Mistral AI和NVIDIA联合训练的12B参数大型预训练生成文本模型。该模型在多语言和代码数据上进行了训练,显著优于相同或更小规模的现有模型。其主要特点包括:Apache 2.0许可证发布,支持预训练和指令版本,128k上下文窗口训练,支持多种语言和代码数据,是Mistral 7B的替代品。模型架构包括40层、5120维、128头维、14364隐藏维、32头数、8个kv头(GQA)、词汇量约128k、旋转嵌入(theta=1M)。该模型在多个基准测试中表现出色,如HellaSwag、Winogrande、OpenBookQA等。
需求人群 :
Mistral-Nemo-Base-2407模型适合需要进行高质量文本生成的开发者和研究人员。其多语言和代码数据训练能力使其在多语言文本生成、代码生成等领域具有优势。同时,其预训练和指令版本的特性也使其在自然语言处理任务中具有广泛的应用前景。
总访问量: 29.7M
占比最多地区: US(17.94%)
本站浏览量 : 56.3K
使用场景
用于生成高质量的多语言文本,如新闻文章、博客文章等
在编程领域,辅助生成代码或文档
在教育领域,辅助学生理解和生成自然语言文本
产品特色
支持多种语言和代码数据的文本生成
128k上下文窗口训练,提升文本理解和生成能力
预训练和指令版本,满足不同应用需求
Apache 2.0许可证发布,使用灵活
模型架构包括40层、5120维、128头维,优化模型性能
在多个基准测试中表现出色,如HellaSwag、Winogrande等
支持多种框架使用,如mistral_inference、transformers、NeMo
使用教程
1. 安装mistral_inference:推荐使用mistralai/Mistral-Nemo-Base-2407与mistral-inference。
2. 下载模型:使用Hugging Face Hub的snapshot_download函数下载模型文件。
3. 安装transformers:如果需要使用Hugging Face transformers生成文本,需要从源代码安装transformers。
4. 使用模型:通过AutoModelForCausalLM和AutoTokenizer加载模型和分词器,输入文本并生成输出。
5. 调整参数:与之前的Mistral模型不同,Mistral Nemo需要较小的温度,推荐使用0.3。
6. 运行演示:安装mistral_inference后,环境中应可用mistral-demo CLI命令。
AIbase
智启未来,您的人工智能解决方案智库
© 2025AIbase