# 模仿學習

RDT-1B是一個參數量達到1B（目前最大）的模仿學習擴散變換器，預訓練在超過1M（目前最大）的多機器人情節上。給定語言指令和多達三個視圖的RGB圖像，RDT可以預測接下來的64個機器人動作。RDT與幾乎所有現代移動操作器兼容，包括單臂到雙臂、關節到末端執行器、位置到速度，甚至包括輪式運動。該模型在6K+（最大的之一）自收集的雙手情節上進行了微調，並部署在ALOHA雙臂機器人上。它在靈巧性、零樣本泛化能力和少樣本學習方面達到了最先進的性能。

Surgical Robot Transformer 是一種通過模仿學習在達芬奇機器人上執行手術操作任務的模型。該模型通過相對動作公式克服了達芬奇系統的前向運動學不準確的問題，使得機器人能夠成功地訓練和部署政策。這種方法的一個顯著優勢是可以直接利用包含近似運動學的大量臨床數據進行機器人學習，而無需進一步校正。該模型展示了在執行三個基本手術任務（包括組織操作、針頭處理和結紮）方面的成功。

HumanPlus是一個研究項目，旨在通過模仿人類動作來訓練人形機器人，從而實現自主技能學習。該項目通過模擬強化學習訓練低級策略，並將這些策略應用到真實世界中，實現即時跟蹤人類身體和手部動作。通過影子模仿技術，操作員可以遠程操作機器人收集全身數據，用於學習不同任務。此外，通過行為克隆技術，機器人能夠模仿人類技能，完成各種任務。

LeRobot 是一個旨在降低進入機器人領域的門檻，讓每個人都能貢獻並從共享數據集和預訓練模型中受益的開源項目。它包含了在真實世界中經過驗證的最先進的方法，特別關注模仿學習和強化學習。LeRobot 提供了一組預訓練模型、帶有人類收集演示的數據集和模擬環境，以便用戶無需組裝機器人即可開始。未來幾周內，計劃增加對最實惠和最有能力的真實世界機器人的支持。

DexCap是一種便攜手部動作捕捉系統，結合了全息測距和電磁場技術，提供準確、抗遮擋的手腕和手指運動跟蹤，並通過對環境的3D觀測進行數據採集。DexIL算法利用逆運動學和基於點雲的模仿學習，直接從人類手部動作數據中訓練靈巧的機器手技能。系統支持選項的人機協同校正機制，利用這一豐富數據集，機器手能夠複製人類動作，還能根據人類手動作進一步提高表現。