MLE-bench是由OpenAI推出的一個基準測試，旨在衡量AI代理在機器學習工程方面的表現。該基準測試彙集了75個來自Kaggle的機器學習工程相關競賽，形成了一套多樣化的挑戰性任務，測試了訓練模型、準備數據集和運行實驗等現實世界中的機器學習工程技能。通過Kaggle公開的排行榜數據，為每項競賽建立了人類基準。使用開源代理框架評估了多個前沿語言模型在該基準上的表現，發現表現最佳的設置——OpenAI的o1-preview配合AIDE框架——在16.9%的競賽中至少達到了Kaggle銅牌的水平。此外，還研究了AI代理的各種資源擴展形式以及預訓練汙染的影響。MLE-bench的基準代碼已經開源，以促進未來對AI代理機器學習工程能力的理解。