# 模仿学习

RDT-1B是一个参数量达到1B（目前最大）的模仿学习扩散变换器，预训练在超过1M（目前最大）的多机器人情节上。给定语言指令和多达三个视图的RGB图像，RDT可以预测接下来的64个机器人动作。RDT与几乎所有现代移动操作器兼容，包括单臂到双臂、关节到末端执行器、位置到速度，甚至包括轮式运动。该模型在6K+（最大的之一）自收集的双手情节上进行了微调，并部署在ALOHA双臂机器人上。它在灵巧性、零样本泛化能力和少样本学习方面达到了最先进的性能。

Surgical Robot Transformer 是一种通过模仿学习在达芬奇机器人上执行手术操作任务的模型。该模型通过相对动作公式克服了达芬奇系统的前向运动学不准确的问题，使得机器人能够成功地训练和部署政策。这种方法的一个显著优势是可以直接利用包含近似运动学的大量临床数据进行机器人学习，而无需进一步校正。该模型展示了在执行三个基本手术任务（包括组织操作、针头处理和结扎）方面的成功。

HumanPlus是一个研究项目，旨在通过模仿人类动作来训练人形机器人，从而实现自主技能学习。该项目通过模拟强化学习训练低级策略，并将这些策略应用到真实世界中，实现实时跟踪人类身体和手部动作。通过影子模仿技术，操作员可以远程操作机器人收集全身数据，用于学习不同任务。此外，通过行为克隆技术，机器人能够模仿人类技能，完成各种任务。

LeRobot 是一个旨在降低进入机器人领域的门槛，让每个人都能贡献并从共享数据集和预训练模型中受益的开源项目。它包含了在真实世界中经过验证的最先进的方法，特别关注模仿学习和强化学习。LeRobot 提供了一组预训练模型、带有人类收集演示的数据集和模拟环境，以便用户无需组装机器人即可开始。未来几周内，计划增加对最实惠和最有能力的真实世界机器人的支持。

DexCap是一种便携手部动作捕捉系统，结合了全息测距和电磁场技术，提供准确、抗遮挡的手腕和手指运动跟踪，并通过对环境的3D观测进行数据采集。DexIL算法利用逆运动学和基于点云的模仿学习，直接从人类手部动作数据中训练灵巧的机器手技能。系统支持选项的人机协同校正机制，利用这一丰富数据集，机器手能够复制人类动作，还能根据人类手动作进一步提高表现。