Helpful DoggyBot是一個四足機器人室內移動操作系統，它通過前端夾持裝置進行物體操作，使用在模擬環境中訓練的低級控制器實現敏捷技能，如攀爬和全身傾斜。此外，它還結合了預訓練的視覺-語言模型（VLMs）進行語義理解和命令生成。該系統在沒有實際數據收集或訓練的情況下，能在未見過的環境中零樣本泛化完成任務，如按照用戶的指令在攀爬過後的床邊取回隨機放置的玩具，成功率達到60%。

ManiWAV是一個研究項目，旨在通過野外的音頻和視覺數據學習機器人操控技能。它通過收集人類演示的同步音頻和視覺反饋，並通過相應的策略接口直接從演示中學習機器人操控策略。該模型展示了通過四個接觸豐富的操控任務來證明其系統的能力，這些任務需要機器人被動地感知接觸事件和模式，或主動地感知物體表面的材料和狀態。此外，該系統還能夠通過學習多樣化的野外人類演示來泛化到未見過的野外環境中。

DriveVLM是一個自動駕駛系統，它利用視覺語言模型(VLMs)來增強場景理解和規劃能力。該系統通過獨特的推理模塊組合，包括場景描述、場景分析和分層規劃，以提高對複雜和長尾場景的理解。此外，為了解決VLMs在空間推理和計算需求上的侷限性，提出了DriveVLM-Dual，這是一個混合系統，結合了DriveVLM的優勢和傳統自動駕駛流程。在nuScenes數據集和SUP-AD數據集上的實驗表明，DriveVLM和DriveVLM-Dual在處理複雜和不可預測的駕駛條件方面非常有效。最終，DriveVLM-Dual在生產車輛上進行了部署，驗證了其在現實世界自動駕駛環境中的有效性。

HumanPlus是一個研究項目，旨在通過模仿人類動作來訓練人形機器人，從而實現自主技能學習。該項目通過模擬強化學習訓練低級策略，並將這些策略應用到真實世界中，實現即時跟蹤人類身體和手部動作。通過影子模仿技術，操作員可以遠程操作機器人收集全身數據，用於學習不同任務。此外，通過行為克隆技術，機器人能夠模仿人類技能，完成各種任務。

CyberDemo是一個旨在通過模擬人類演示來增強現實世界中靈巧操作的項目。它可能涉及到機器人技術、機器學習和模擬環境的結合，以提高機器人在複雜環境中的操作能力。

通用操作接口(UMI)是一個數據收集和策略學習框架,允許直接將現場人類演示中的技能轉移到可部署的機器人策略。UMI採用手持夾具與仔細的界面設計相結合,實現便攜、低成本和信息豐富的數據收集,用於挑戰性的雙手和動態操作演示。為促進可部署的策略學習,UMI結合了精心設計的策略界面,具有推理時延遲匹配和相對軌跡動作表示。從而產生的學習策略與硬件無關,並且可以在多個機器人平臺上部署。配備這些功能,UMI框架解鎖了新的機器人操作功能,僅通過為每個任務更改訓練數據,允許泛化的動態、雙手、精確和長時間的行為,從而實現零次調整。我們通過全面的真實環境實驗演示了UMI的通用性和有效性,其中僅通過使用各種人類演示進行訓練的UMI策略,在面對新環境和對象時實現了零次調整的泛化。

Alter3是一個基於GPT-4的擬人機器人,能夠通過自然語言指令生成各種人類動作,實現零次學習。它具有43個關節自由度,可以自由運動,同時結合面部表情識別和生成,實現複雜的交互。用戶只需要提供語言指令,Alter3就可以自主調整代碼,生成相應運動,無需人工迭代調整。還可以通過語言反饋來優化動作,形成運動記憶。這種結合語言理解和身體運動的系統,大大提升了人機交互的潛力。

RT-Trajectory 是一種基於粗糙軌跡草圖的機器人控制策略，通過軌跡草圖實現對新任務的有效泛化能力。它既可以通過人工繪製、視頻演示等方式生成軌跡草圖，也可以通過圖像生成模型等方式生成軌跡草圖。RT-Trajectory 在各種真實世界機器人任務中得到了廣泛評估，相比於基於語言和目標的策略，具有更廣泛的任務執行能力。

Helpful DoggyBot是一個四足機器人室內移動操作系統，它通過前端夾持裝置進行物體操作，使用在模擬環境中訓練的低級控制器實現敏捷技能，如攀爬和全身傾斜。此外，它還結合了預訓練的視覺-語言模型（VLMs）進行語義理解和命令生成。該系統在沒有實際數據收集或訓練的情況下，能在未見過的環境中零樣本泛化完成任務，如按照用戶的指令在攀爬過後的床邊取回隨機放置的玩具，成功率達到60%。

NEO是1X Technologies公司開發的一款家用智能人形機器人，它通過模擬學習，能夠理解自然語言和物理空間，執行實際任務。NEO基於EVE機器人的現實世界經驗，通過1X Studio的遠程操作訓練，能夠智能地完成任務。NEO的主要優點包括安全性、智能性和可擴展性，旨在為家庭提供幫助，同時保持安全和高效。

ManiWAV是一個研究項目，旨在通過野外的音頻和視覺數據學習機器人操控技能。它通過收集人類演示的同步音頻和視覺反饋，並通過相應的策略接口直接從演示中學習機器人操控策略。該模型展示了通過四個接觸豐富的操控任務來證明其系統的能力，這些任務需要機器人被動地感知接觸事件和模式，或主動地感知物體表面的材料和狀態。此外，該系統還能夠通過學習多樣化的野外人類演示來泛化到未見過的野外環境中。

DriveVLM是一個自動駕駛系統，它利用視覺語言模型(VLMs)來增強場景理解和規劃能力。該系統通過獨特的推理模塊組合，包括場景描述、場景分析和分層規劃，以提高對複雜和長尾場景的理解。此外，為了解決VLMs在空間推理和計算需求上的侷限性，提出了DriveVLM-Dual，這是一個混合系統，結合了DriveVLM的優勢和傳統自動駕駛流程。在nuScenes數據集和SUP-AD數據集上的實驗表明，DriveVLM和DriveVLM-Dual在處理複雜和不可預測的駕駛條件方面非常有效。最終，DriveVLM-Dual在生產車輛上進行了部署，驗證了其在現實世界自動駕駛環境中的有效性。

HumanPlus是一個研究項目，旨在通過模仿人類動作來訓練人形機器人，從而實現自主技能學習。該項目通過模擬強化學習訓練低級策略，並將這些策略應用到真實世界中，實現即時跟蹤人類身體和手部動作。通過影子模仿技術，操作員可以遠程操作機器人收集全身數據，用於學習不同任務。此外，通過行為克隆技術，機器人能夠模仿人類技能，完成各種任務。

CyberDemo是一個旨在通過模擬人類演示來增強現實世界中靈巧操作的項目。它可能涉及到機器人技術、機器學習和模擬環境的結合，以提高機器人在複雜環境中的操作能力。

通用操作接口(UMI)是一個數據收集和策略學習框架,允許直接將現場人類演示中的技能轉移到可部署的機器人策略。UMI採用手持夾具與仔細的界面設計相結合,實現便攜、低成本和信息豐富的數據收集,用於挑戰性的雙手和動態操作演示。為促進可部署的策略學習,UMI結合了精心設計的策略界面,具有推理時延遲匹配和相對軌跡動作表示。從而產生的學習策略與硬件無關,並且可以在多個機器人平臺上部署。配備這些功能,UMI框架解鎖了新的機器人操作功能,僅通過為每個任務更改訓練數據,允許泛化的動態、雙手、精確和長時間的行為,從而實現零次調整。我們通過全面的真實環境實驗演示了UMI的通用性和有效性,其中僅通過使用各種人類演示進行訓練的UMI策略,在面對新環境和對象時實現了零次調整的泛化。

Alter3是一個基於GPT-4的擬人機器人,能夠通過自然語言指令生成各種人類動作,實現零次學習。它具有43個關節自由度,可以自由運動,同時結合面部表情識別和生成,實現複雜的交互。用戶只需要提供語言指令,Alter3就可以自主調整代碼,生成相應運動,無需人工迭代調整。還可以通過語言反饋來優化動作,形成運動記憶。這種結合語言理解和身體運動的系統,大大提升了人機交互的潛力。