# ロボット操作

Magma-8Bは、マイクロソフトが開発したマルチモーダルAI基盤モデルであり、マルチモーダルAIエージェントの研究のために設計されています。テキストと画像の入力を組み合わせ、テキスト出力を生成し、ビジュアルプランニングとエージェント機能を備えています。このモデルは、言語モデルのバックボーンとしてMeta LLaMA-3を使用し、CLIP-ConvNeXt-XXLargeビジョンエンコーダーと組み合わせることで、ラベルなしビデオデータからの時空間関係の学習を可能にし、強力な汎化能力とマルチタスク適応性を備えています。Magma-8Bはマルチモーダルタスク、特に空間理解と推論において優れた性能を発揮します。これはマルチモーダルAI研究に強力なツールを提供し、仮想環境と現実環境における複雑なインタラクションの研究を推進します。

ReKepは、ロボット操作のための時空間関係キーポイント制約推論システムです。ロボットと環境を関連付ける制約としてロボット操作タスクを表すことで、期待されるロボットの動作を符号化します。ReKepは大規模視覚モデルと視覚言語モデルを活用し、特定のタスクの訓練や環境モデルを必要とせずに、キーポイントに基づいた制約を生成します。これらの制約は、多段階、屋外、両手、反応性の動作を実現するために最適化できます。ReKepの主な利点としては、汎用性、手動によるラベル付けが不要であること、そして既存のソルバーによってリアルタイムで最適化され、ロボットの動作を生成できることが挙げられます。