XTuner
X
Xtuner
簡介 :
XTuner是一個為大型模型(如InternLM, Llama, Baichuan, Qwen, ChatGLM)設計的高效、靈活且功能齊全的微調工具包。它支持在幾乎所有GPU上進行LLM和VLM的預訓練和微調,能夠自動調度高性能操作,如FlashAttention和Triton內核,以提高訓練吞吐量。XTuner與DeepSpeed兼容,支持多種ZeRO優化技術。它還支持各種LLMs和VLM(如LLaVA),並設計了良好的數據管道,能夠適應任何格式的數據集。此外,XTuner支持多種訓練算法,包括QLoRA、LoRA和全參數微調,使用戶能夠選擇最適合其需求的解決方案。
需求人群 :
適用於需要對大型機器學習模型進行微調和優化的開發者和數據科學家。
總訪問量: 474.6M
佔比最多地區: US(19.34%)
本站瀏覽量 : 50.8K
使用場景
使用XTuner對InternLM2模型進行單GPU微調
在多節點環境中使用XTuner進行超過70B模型的微調
利用XTuner的QLoRA算法對ChatGLM3模型進行微調
產品特色
支持大型語言模型(LLM)和視覺語言模型(VLM)的預訓練和微調
自動調度高性能操作
與DeepSpeed兼容,支持ZeRO優化技術
支持多種數據集格式
支持多種訓練算法
AIbase
智啟未來,您的人工智能解決方案智庫
© 2025AIbase