Helpful DoggyBot是一个四足机器人室内移动操作系统，它通过前端夹持装置进行物体操作，使用在模拟环境中训练的低级控制器实现敏捷技能，如攀爬和全身倾斜。此外，它还结合了预训练的视觉-语言模型（VLMs）进行语义理解和命令生成。该系统在没有实际数据收集或训练的情况下，能在未见过的环境中零样本泛化完成任务，如按照用户的指令在攀爬过后的床边取回随机放置的玩具，成功率达到60%。

HumanPlus是一个研究项目，旨在通过模仿人类动作来训练人形机器人，从而实现自主技能学习。该项目通过模拟强化学习训练低级策略，并将这些策略应用到真实世界中，实现实时跟踪人类身体和手部动作。通过影子模仿技术，操作员可以远程操作机器人收集全身数据，用于学习不同任务。此外，通过行为克隆技术，机器人能够模仿人类技能，完成各种任务。

CyberDemo是一个旨在通过模拟人类演示来增强现实世界中灵巧操作的项目。它可能涉及到机器人技术、机器学习和模拟环境的结合，以提高机器人在复杂环境中的操作能力。

通用操作接口(UMI)是一个数据收集和策略学习框架,允许直接将现场人类演示中的技能转移到可部署的机器人策略。UMI采用手持夹具与仔细的界面设计相结合,实现便携、低成本和信息丰富的数据收集,用于挑战性的双手和动态操作演示。为促进可部署的策略学习,UMI结合了精心设计的策略界面,具有推理时延迟匹配和相对轨迹动作表示。从而产生的学习策略与硬件无关,并且可以在多个机器人平台上部署。配备这些功能,UMI框架解锁了新的机器人操作功能,仅通过为每个任务更改训练数据,允许泛化的动态、双手、精确和长时间的行为,从而实现零次调整。我们通过全面的真实环境实验演示了UMI的通用性和有效性,其中仅通过使用各种人类演示进行训练的UMI策略,在面对新环境和对象时实现了零次调整的泛化。

Alter3是一个基于GPT-4的拟人机器人,能够通过自然语言指令生成各种人类动作,实现零次学习。它具有43个关节自由度,可以自由运动,同时结合面部表情识别和生成,实现复杂的交互。用户只需要提供语言指令,Alter3就可以自主调整代码,生成相应运动,无需人工迭代调整。还可以通过语言反馈来优化动作,形成运动记忆。这种结合语言理解和身体运动的系统,大大提升了人机交互的潜力。

RT-Trajectory 是一种基于粗糙轨迹草图的机器人控制策略，通过轨迹草图实现对新任务的有效泛化能力。它既可以通过人工绘制、视频演示等方式生成轨迹草图，也可以通过图像生成模型等方式生成轨迹草图。RT-Trajectory 在各种真实世界机器人任务中得到了广泛评估，相比于基于语言和目标的策略，具有更广泛的任务执行能力。

Helpful DoggyBot是一个四足机器人室内移动操作系统，它通过前端夹持装置进行物体操作，使用在模拟环境中训练的低级控制器实现敏捷技能，如攀爬和全身倾斜。此外，它还结合了预训练的视觉-语言模型（VLMs）进行语义理解和命令生成。该系统在没有实际数据收集或训练的情况下，能在未见过的环境中零样本泛化完成任务，如按照用户的指令在攀爬过后的床边取回随机放置的玩具，成功率达到60%。

NEO是1X Technologies公司开发的一款家用智能人形机器人，它通过模拟学习，能够理解自然语言和物理空间，执行实际任务。NEO基于EVE机器人的现实世界经验，通过1X Studio的远程操作训练，能够智能地完成任务。NEO的主要优点包括安全性、智能性和可扩展性，旨在为家庭提供帮助，同时保持安全和高效。

HumanPlus是一个研究项目，旨在通过模仿人类动作来训练人形机器人，从而实现自主技能学习。该项目通过模拟强化学习训练低级策略，并将这些策略应用到真实世界中，实现实时跟踪人类身体和手部动作。通过影子模仿技术，操作员可以远程操作机器人收集全身数据，用于学习不同任务。此外，通过行为克隆技术，机器人能够模仿人类技能，完成各种任务。

CyberDemo是一个旨在通过模拟人类演示来增强现实世界中灵巧操作的项目。它可能涉及到机器人技术、机器学习和模拟环境的结合，以提高机器人在复杂环境中的操作能力。

通用操作接口(UMI)是一个数据收集和策略学习框架,允许直接将现场人类演示中的技能转移到可部署的机器人策略。UMI采用手持夹具与仔细的界面设计相结合,实现便携、低成本和信息丰富的数据收集,用于挑战性的双手和动态操作演示。为促进可部署的策略学习,UMI结合了精心设计的策略界面,具有推理时延迟匹配和相对轨迹动作表示。从而产生的学习策略与硬件无关,并且可以在多个机器人平台上部署。配备这些功能,UMI框架解锁了新的机器人操作功能,仅通过为每个任务更改训练数据,允许泛化的动态、双手、精确和长时间的行为,从而实现零次调整。我们通过全面的真实环境实验演示了UMI的通用性和有效性,其中仅通过使用各种人类演示进行训练的UMI策略,在面对新环境和对象时实现了零次调整的泛化。

Alter3是一个基于GPT-4的拟人机器人,能够通过自然语言指令生成各种人类动作,实现零次学习。它具有43个关节自由度,可以自由运动,同时结合面部表情识别和生成,实现复杂的交互。用户只需要提供语言指令,Alter3就可以自主调整代码,生成相应运动,无需人工迭代调整。还可以通过语言反馈来优化动作,形成运动记忆。这种结合语言理解和身体运动的系统,大大提升了人机交互的潜力。

RT-Trajectory 是一种基于粗糙轨迹草图的机器人控制策略，通过轨迹草图实现对新任务的有效泛化能力。它既可以通过人工绘制、视频演示等方式生成轨迹草图，也可以通过图像生成模型等方式生成轨迹草图。RT-Trajectory 在各种真实世界机器人任务中得到了广泛评估，相比于基于语言和目标的策略，具有更广泛的任务执行能力。