Helpful DoggyBotは、四足歩行ロボットの室内移動OSです。前端の把持装置による物体操作を行い、シミュレーション環境で訓練された低レベルコントローラにより、登攀や全身傾斜などの敏捷な動作を実現します。さらに、事前学習済みの視覚言語モデル（VLMs）を統合することで、意味理解と命令生成を行います。本システムは、実際のデータ収集や訓練なしに、未見の環境においてゼロショット汎化でタスクを実行でき、例えば、ユーザーの指示に従って、登攀後のベッド脇にランダムに置かれたおもちゃを拾い上げるタスクを、60%の成功率で達成します。

CyberDemoは、人間のデモンストレーションを模倣することで、現実世界の器用な操作を向上させることを目的としたプロジェクトです。ロボット工学、機械学習、シミュレーション環境の組み合わせを駆使し、複雑な環境下でのロボットの操作能力向上を目指しています。

ユニバーサル操作インターフェース（UMI）は、現場における人間のデモンストレーションのスキルを直接展開可能なロボット戦略に移行できるデータ収集と戦略学習のフレームワークです。UMIは、持ち運び可能な夾具と慎重に設計されたインターフェースを組み合わせることで、持ち運びやすく、低コストで情報量の多いデータ収集を実現し、困難な両手操作や動的な操作デモにも対応します。展開可能な戦略学習を促進するために、UMIは、推論時の遅延マッチングと相対的な軌跡動作表現を特徴とする、綿密に設計された戦略インターフェースを組み込んでいます。これにより、生成される学習戦略はハードウェアに依存せず、複数のロボットプラットフォームに展開できます。これらの機能を備えたUMIフレームワークは、各タスクのトレーニングデータを変えるだけで、動的で、両手で行う、精密で、長時間動作する汎化された動作を可能にし、ゼロショット調整で新しいロボット操作機能を解き放ちます。私たちは、様々な人間のデモンストレーションのみを用いてトレーニングされたUMI戦略が、新しい環境やオブジェクトに直面した場合でも、ゼロショット調整による汎化を実現したことを、包括的な現実環境実験で実証しました。

Alter3はGPT-4ベースの擬人化ロボットです。自然言語による指示で様々な人間らしい動作を生成し、ゼロショット学習を実現します。43個の関節自由度を持ち、自由に動作可能です。さらに、表情認識と生成機能を組み合わせることで、複雑なインタラクションを実現します。ユーザーは自然言語による指示のみで、Alter3は自律的にコードを調整し、対応する動作を生成します。手動による反復調整は不要です。また、言語フィードバックにより動作を最適化し、運動記憶を形成することも可能です。言語理解と身体動作を組み合わせたこのシステムは、人機インタラクションの可能性を大幅に向上させます。

RT-Trajectoryは、粗い軌跡スケッチに基づくロボット制御戦略です。軌跡スケッチにより、新しいタスクへの効果的な汎化能力を実現します。軌跡スケッチは、手描き、ビデオデモなどによって生成することも、画像生成モデルなどによって生成することもできます。RT-Trajectoryは様々な現実世界のロボットタスクにおいて広く評価されており、言語や目標に基づく戦略と比較して、より幅広いタスク実行能力を備えています。

Helpful DoggyBotは、四足歩行ロボットの室内移動OSです。前端の把持装置による物体操作を行い、シミュレーション環境で訓練された低レベルコントローラにより、登攀や全身傾斜などの敏捷な動作を実現します。さらに、事前学習済みの視覚言語モデル（VLMs）を統合することで、意味理解と命令生成を行います。本システムは、実際のデータ収集や訓練なしに、未見の環境においてゼロショット汎化でタスクを実行でき、例えば、ユーザーの指示に従って、登攀後のベッド脇にランダムに置かれたおもちゃを拾い上げるタスクを、60%の成功率で達成します。

NEOは、1X Technologies社が開発した家庭用スマートヒューマノイドロボットです。模倣学習を通じて、自然言語と物理空間を理解し、現実世界のタスクを実行できます。EVEロボットの現実世界の経験を基盤とし、1X Studioによる遠隔操作トレーニングを通して、インテリジェントにタスクを完了します。NEOの主な利点は、安全性、知性、拡張性であり、家庭に役立つ一方で、安全かつ効率的な運用を目的としています。

CyberDemoは、人間のデモンストレーションを模倣することで、現実世界の器用な操作を向上させることを目的としたプロジェクトです。ロボット工学、機械学習、シミュレーション環境の組み合わせを駆使し、複雑な環境下でのロボットの操作能力向上を目指しています。

ユニバーサル操作インターフェース（UMI）は、現場における人間のデモンストレーションのスキルを直接展開可能なロボット戦略に移行できるデータ収集と戦略学習のフレームワークです。UMIは、持ち運び可能な夾具と慎重に設計されたインターフェースを組み合わせることで、持ち運びやすく、低コストで情報量の多いデータ収集を実現し、困難な両手操作や動的な操作デモにも対応します。展開可能な戦略学習を促進するために、UMIは、推論時の遅延マッチングと相対的な軌跡動作表現を特徴とする、綿密に設計された戦略インターフェースを組み込んでいます。これにより、生成される学習戦略はハードウェアに依存せず、複数のロボットプラットフォームに展開できます。これらの機能を備えたUMIフレームワークは、各タスクのトレーニングデータを変えるだけで、動的で、両手で行う、精密で、長時間動作する汎化された動作を可能にし、ゼロショット調整で新しいロボット操作機能を解き放ちます。私たちは、様々な人間のデモンストレーションのみを用いてトレーニングされたUMI戦略が、新しい環境やオブジェクトに直面した場合でも、ゼロショット調整による汎化を実現したことを、包括的な現実環境実験で実証しました。

Alter3はGPT-4ベースの擬人化ロボットです。自然言語による指示で様々な人間らしい動作を生成し、ゼロショット学習を実現します。43個の関節自由度を持ち、自由に動作可能です。さらに、表情認識と生成機能を組み合わせることで、複雑なインタラクションを実現します。ユーザーは自然言語による指示のみで、Alter3は自律的にコードを調整し、対応する動作を生成します。手動による反復調整は不要です。また、言語フィードバックにより動作を最適化し、運動記憶を形成することも可能です。言語理解と身体動作を組み合わせたこのシステムは、人機インタラクションの可能性を大幅に向上させます。

RT-Trajectoryは、粗い軌跡スケッチに基づくロボット制御戦略です。軌跡スケッチにより、新しいタスクへの効果的な汎化能力を実現します。軌跡スケッチは、手描き、ビデオデモなどによって生成することも、画像生成モデルなどによって生成することもできます。RT-Trajectoryは様々な現実世界のロボットタスクにおいて広く評価されており、言語や目標に基づく戦略と比較して、より幅広いタスク実行能力を備えています。