Megatron-LM
M
Megatron LM
Overview :
Megatron-LM 是由 NVIDIA 应用深度学习研究团队开发的一种强大的大规模 Transformer 模型。该产品用于大规模训练 Transformer 语言模型的持续研究。我们使用混合精度,高效的模型并行和数据并行,以及多节点的 Transformer 模型(如 GPT、BERT 和 T5)的预训练。
Target Users :
适用于训练大规模语言模型的研究和实践场景
Total Visits: 474.6M
Top Region: US(18.64%)
Website Views : 55.5K
Features
高效训练大规模语言模型
模型并行和数据并行支持
支持 GPT、BERT 和 T5 等 Transformer 模型
AIbase
Empowering the Future, Your AI Solution Knowledge Base
© 2025AIbase