Llama-3.1-Nemotron-70B-Instruct是NVIDIA定製的大型語言模型，專注於提升大型語言模型（LLM）生成回答的幫助性。該模型在多個自動對齊基準測試中表現優異，例如Arena Hard、AlpacaEval 2 LC和GPT-4-Turbo MT-Bench。它通過使用RLHF（特別是REINFORCE算法）、Llama-3.1-Nemotron-70B-Reward和HelpSteer2-Preference提示在Llama-3.1-70B-Instruct模型上進行訓練。此模型不僅展示了NVIDIA在提升通用領域指令遵循幫助性方面的技術，還提供了與HuggingFace Transformers代碼庫兼容的模型轉換格式，並可通過NVIDIA的build平臺進行免費託管推理。