Helpful DoggyBot是一个四足机器人室内移动操作系统，它通过前端夹持装置进行物体操作，使用在模拟环境中训练的低级控制器实现敏捷技能，如攀爬和全身倾斜。此外，它还结合了预训练的视觉-语言模型（VLMs）进行语义理解和命令生成。该系统在没有实际数据收集或训练的情况下，能在未见过的环境中零样本泛化完成任务，如按照用户的指令在攀爬过后的床边取回随机放置的玩具，成功率达到60%。

ManiWAV是一个研究项目，旨在通过野外的音频和视觉数据学习机器人操控技能。它通过收集人类演示的同步音频和视觉反馈，并通过相应的策略接口直接从演示中学习机器人操控策略。该模型展示了通过四个接触丰富的操控任务来证明其系统的能力，这些任务需要机器人被动地感知接触事件和模式，或主动地感知物体表面的材料和状态。此外，该系统还能够通过学习多样化的野外人类演示来泛化到未见过的野外环境中。

DriveVLM是一个自动驾驶系统，它利用视觉语言模型(VLMs)来增强场景理解和规划能力。该系统通过独特的推理模块组合，包括场景描述、场景分析和分层规划，以提高对复杂和长尾场景的理解。此外，为了解决VLMs在空间推理和计算需求上的局限性，提出了DriveVLM-Dual，这是一个混合系统，结合了DriveVLM的优势和传统自动驾驶流程。在nuScenes数据集和SUP-AD数据集上的实验表明，DriveVLM和DriveVLM-Dual在处理复杂和不可预测的驾驶条件方面非常有效。最终，DriveVLM-Dual在生产车辆上进行了部署，验证了其在现实世界自动驾驶环境中的有效性。

HumanPlus是一个研究项目，旨在通过模仿人类动作来训练人形机器人，从而实现自主技能学习。该项目通过模拟强化学习训练低级策略，并将这些策略应用到真实世界中，实现实时跟踪人类身体和手部动作。通过影子模仿技术，操作员可以远程操作机器人收集全身数据，用于学习不同任务。此外，通过行为克隆技术，机器人能够模仿人类技能，完成各种任务。

CyberDemo是一个旨在通过模拟人类演示来增强现实世界中灵巧操作的项目。它可能涉及到机器人技术、机器学习和模拟环境的结合，以提高机器人在复杂环境中的操作能力。

通用操作接口(UMI)是一个数据收集和策略学习框架,允许直接将现场人类演示中的技能转移到可部署的机器人策略。UMI采用手持夹具与仔细的界面设计相结合,实现便携、低成本和信息丰富的数据收集,用于挑战性的双手和动态操作演示。为促进可部署的策略学习,UMI结合了精心设计的策略界面,具有推理时延迟匹配和相对轨迹动作表示。从而产生的学习策略与硬件无关,并且可以在多个机器人平台上部署。配备这些功能,UMI框架解锁了新的机器人操作功能,仅通过为每个任务更改训练数据,允许泛化的动态、双手、精确和长时间的行为,从而实现零次调整。我们通过全面的真实环境实验演示了UMI的通用性和有效性,其中仅通过使用各种人类演示进行训练的UMI策略,在面对新环境和对象时实现了零次调整的泛化。

Alter3是一个基于GPT-4的拟人机器人,能够通过自然语言指令生成各种人类动作,实现零次学习。它具有43个关节自由度,可以自由运动,同时结合面部表情识别和生成,实现复杂的交互。用户只需要提供语言指令,Alter3就可以自主调整代码,生成相应运动,无需人工迭代调整。还可以通过语言反馈来优化动作,形成运动记忆。这种结合语言理解和身体运动的系统,大大提升了人机交互的潜力。

RT-Trajectory 是一种基于粗糙轨迹草图的机器人控制策略，通过轨迹草图实现对新任务的有效泛化能力。它既可以通过人工绘制、视频演示等方式生成轨迹草图，也可以通过图像生成模型等方式生成轨迹草图。RT-Trajectory 在各种真实世界机器人任务中得到了广泛评估，相比于基于语言和目标的策略，具有更广泛的任务执行能力。

Helpful DoggyBot是一个四足机器人室内移动操作系统，它通过前端夹持装置进行物体操作，使用在模拟环境中训练的低级控制器实现敏捷技能，如攀爬和全身倾斜。此外，它还结合了预训练的视觉-语言模型（VLMs）进行语义理解和命令生成。该系统在没有实际数据收集或训练的情况下，能在未见过的环境中零样本泛化完成任务，如按照用户的指令在攀爬过后的床边取回随机放置的玩具，成功率达到60%。

NEO是1X Technologies公司开发的一款家用智能人形机器人，它通过模拟学习，能够理解自然语言和物理空间，执行实际任务。NEO基于EVE机器人的现实世界经验，通过1X Studio的远程操作训练，能够智能地完成任务。NEO的主要优点包括安全性、智能性和可扩展性，旨在为家庭提供帮助，同时保持安全和高效。

ManiWAV是一个研究项目，旨在通过野外的音频和视觉数据学习机器人操控技能。它通过收集人类演示的同步音频和视觉反馈，并通过相应的策略接口直接从演示中学习机器人操控策略。该模型展示了通过四个接触丰富的操控任务来证明其系统的能力，这些任务需要机器人被动地感知接触事件和模式，或主动地感知物体表面的材料和状态。此外，该系统还能够通过学习多样化的野外人类演示来泛化到未见过的野外环境中。

DriveVLM是一个自动驾驶系统，它利用视觉语言模型(VLMs)来增强场景理解和规划能力。该系统通过独特的推理模块组合，包括场景描述、场景分析和分层规划，以提高对复杂和长尾场景的理解。此外，为了解决VLMs在空间推理和计算需求上的局限性，提出了DriveVLM-Dual，这是一个混合系统，结合了DriveVLM的优势和传统自动驾驶流程。在nuScenes数据集和SUP-AD数据集上的实验表明，DriveVLM和DriveVLM-Dual在处理复杂和不可预测的驾驶条件方面非常有效。最终，DriveVLM-Dual在生产车辆上进行了部署，验证了其在现实世界自动驾驶环境中的有效性。

HumanPlus是一个研究项目，旨在通过模仿人类动作来训练人形机器人，从而实现自主技能学习。该项目通过模拟强化学习训练低级策略，并将这些策略应用到真实世界中，实现实时跟踪人类身体和手部动作。通过影子模仿技术，操作员可以远程操作机器人收集全身数据，用于学习不同任务。此外，通过行为克隆技术，机器人能够模仿人类技能，完成各种任务。

CyberDemo是一个旨在通过模拟人类演示来增强现实世界中灵巧操作的项目。它可能涉及到机器人技术、机器学习和模拟环境的结合，以提高机器人在复杂环境中的操作能力。

通用操作接口(UMI)是一个数据收集和策略学习框架,允许直接将现场人类演示中的技能转移到可部署的机器人策略。UMI采用手持夹具与仔细的界面设计相结合,实现便携、低成本和信息丰富的数据收集,用于挑战性的双手和动态操作演示。为促进可部署的策略学习,UMI结合了精心设计的策略界面,具有推理时延迟匹配和相对轨迹动作表示。从而产生的学习策略与硬件无关,并且可以在多个机器人平台上部署。配备这些功能,UMI框架解锁了新的机器人操作功能,仅通过为每个任务更改训练数据,允许泛化的动态、双手、精确和长时间的行为,从而实现零次调整。我们通过全面的真实环境实验演示了UMI的通用性和有效性,其中仅通过使用各种人类演示进行训练的UMI策略,在面对新环境和对象时实现了零次调整的泛化。

Alter3是一个基于GPT-4的拟人机器人,能够通过自然语言指令生成各种人类动作,实现零次学习。它具有43个关节自由度,可以自由运动,同时结合面部表情识别和生成,实现复杂的交互。用户只需要提供语言指令,Alter3就可以自主调整代码,生成相应运动,无需人工迭代调整。还可以通过语言反馈来优化动作,形成运动记忆。这种结合语言理解和身体运动的系统,大大提升了人机交互的潜力。