

Roboticsdiffusiontransformer
簡介 :
RDT-1B是一個參數量達到1B(目前最大)的模仿學習擴散變換器,預訓練在超過1M(目前最大)的多機器人情節上。給定語言指令和多達三個視圖的RGB圖像,RDT可以預測接下來的64個機器人動作。RDT與幾乎所有現代移動操作器兼容,包括單臂到雙臂、關節到末端執行器、位置到速度,甚至包括輪式運動。該模型在6K+(最大的之一)自收集的雙手情節上進行了微調,並部署在ALOHA雙臂機器人上。它在靈巧性、零樣本泛化能力和少樣本學習方面達到了最先進的性能。
需求人群 :
目標受眾為機器人學、人工智能和機器學習領域的研究人員和開發者。由於RDT-1B模型在多機器人學習、模仿學習和雙手操作任務上的應用,它特別適合那些需要在複雜環境中進行精確操作和學習從語言指令執行任務的研究人員和開發者。
使用場景
研究人員使用RDT-1B模型在自定義的數據集上進行微調,以適應特定的操作任務。
開發者將微調後的模型部署到實際的機器人平臺上,實現自動化操作。
教育工作者利用該模型向學生展示如何通過深度學習技術實現複雜的機器人操作任務。
產品特色
模型實現:提供了RDT的模型實現代碼。
預訓練模型權重:提供了在多機器人數據上預訓練的1M步RDT-1B模型權重。
訓練和採樣腳本:提供了帶有DeepSpeed支持的訓練和採樣腳本。
實際機器人部署示例:提供了一個實際機器人部署的示例代碼。
使用教程
1. 克隆代碼庫並安裝先決條件。
2. 下載並鏈接多模態編碼器。
3. 根據需要修改配置文件。
4. 準備數據集並實現數據集加載器。
5. 計算數據集統計信息。
6. 開始微調模型。
7. 微調完成後,將模型部署到實際機器人上。
精選AI產品推薦

Deepmind Gemini
Gemini是谷歌DeepMind推出的新一代人工智能系統。它能夠進行多模態推理,支持文本、圖像、視頻、音頻和代碼之間的無縫交互。Gemini在語言理解、推理、數學、編程等多個領域都超越了之前的狀態,成為迄今為止最強大的AI系統之一。它有三個不同規模的版本,可滿足從邊緣計算到雲計算的各種需求。Gemini可以廣泛應用於創意設計、寫作輔助、問題解答、代碼生成等領域。
AI模型
11.4M
中文精選

Liblibai
LiblibAI是一箇中國領先的AI創作平臺,提供強大的AI創作能力,幫助創作者實現創意。平臺提供海量免費AI創作模型,用戶可以搜索使用模型進行圖像、文字、音頻等創作。平臺還支持用戶訓練自己的AI模型。平臺定位於廣大創作者用戶,致力於創造條件普惠,服務創意產業,讓每個人都享有創作的樂趣。
AI模型
8.0M