通用操作接口(UMI)是一個數據收集和策略學習框架,允許直接將現場人類演示中的技能轉移到可部署的機器人策略。UMI採用手持夾具與仔細的界面設計相結合,實現便攜、低成本和信息豐富的數據收集,用於挑戰性的雙手和動態操作演示。為促進可部署的策略學習,UMI結合了精心設計的策略界面,具有推理時延遲匹配和相對軌跡動作表示。從而產生的學習策略與硬件無關,並且可以在多個機器人平臺上部署。配備這些功能,UMI框架解鎖了新的機器人操作功能,僅通過為每個任務更改訓練數據,允許泛化的動態、雙手、精確和長時間的行為,從而實現零次調整。我們通過全面的真實環境實驗演示了UMI的通用性和有效性,其中僅通過使用各種人類演示進行訓練的UMI策略,在面對新環境和對象時實現了零次調整的泛化。