

Aimo Progress Prize
簡介 :
這個GitHub倉庫包含了訓練和推理代碼,用於複製我們在AI數學奧林匹克(AIMO)進展獎1中的獲勝解決方案。我們的解決方案由四個主要部分組成:一個用於微調DeepSeekMath-Base 7B以使用工具集成推理(TIR)解決數學問題的配方;兩個約100萬個數學問題和解決方案的高質量訓練數據集;一個自洽解碼算法,用於生成具有代碼執行反饋的解決方案候選項(SC-TIR);四個來自AMC、AIME和MATH的精心選擇的驗證集,以指導模型選擇並避免對公共排行榜的過擬合。
需求人群 :
該產品適用於數學和計算機科學領域的研究人員和學生,特別是那些對AI在解決複雜數學問題中的應用感興趣的人。它可以幫助他們理解如何使用深度學習模型來提高解決數學問題的能力。
使用場景
研究人員使用該模型來提高解決數學競賽問題的能力。
學生利用該模型來學習和理解複雜的數學概念。
教育工作者使用該模型作為教學輔助工具,幫助學生掌握數學問題解決技巧。
產品特色
微調DeepSeekMath-Base 7B模型以解決數學問題
使用兩個高質量的數學問題和解決方案數據集進行訓練
自洽解碼算法生成解決方案候選項
使用來自AMC、AIME和MATH的驗證集指導模型選擇
使用開源庫TRL、PyTorch、vLLM和DeepSpeed訓練模型
模型訓練分為兩個階段:CoT訓練和TIR訓練
使用教程
1. 創建Python虛擬環境並激活。
2. 安裝特定版本的PyTorch以確保可重複性。
3. 安裝其他必要的包依賴。
4. 安裝Flash Attention 2。
5. 登錄Hugging Face賬戶。
6. 安裝Git LFS以推送模型到Hugging Face Hub。
7. 根據MuMath-Code配方進行兩階段訓練:CoT訓練和TIR訓練。
8. 訓練完成後,使用AutoGPTQ進行模型的8位量化(可選)。
精選AI產品推薦

Screenshot To Code
截圖轉代碼是一個簡單的應用程序,它使用GPT-4 Vision生成代碼,並使用DALL-E 3生成類似的圖片。該應用程序具有React/Vite前端和FastAPI後端,您需要具有訪問GPT-4 Vision API的OpenAI API密鑰。
AI代碼生成
1.1M

Openui
構建UI組件通常是一項乏味的工作。OpenUI旨在使這一過程變得有趣、快捷和靈活。這也是我們在W&B用於測試和原型化下一代工具的工具,用於在LLM的基礎上構建強大的應用程序。您可以使用想象力描述UI,然後即時查看渲染效果。您可以要求進行更改,並將HTML轉換為React、Svelte、Web組件等。就像是V0的開源和不太精緻的版本。
AI開發助手
786.6K