

Rekep
紹介 :
ReKepは、ロボット操作のための時空間関係キーポイント制約推論システムです。ロボットと環境を関連付ける制約としてロボット操作タスクを表すことで、期待されるロボットの動作を符号化します。ReKepは大規模視覚モデルと視覚言語モデルを活用し、特定のタスクの訓練や環境モデルを必要とせずに、キーポイントに基づいた制約を生成します。これらの制約は、多段階、屋外、両手、反応性の動作を実現するために最適化できます。ReKepの主な利点としては、汎用性、手動によるラベル付けが不要であること、そして既存のソルバーによってリアルタイムで最適化され、ロボットの動作を生成できることが挙げられます。
ターゲットユーザー :
ReKepのターゲットユーザーは、ロボット工学、自動化、人工知能分野の研究者やエンジニアです。複雑な操作タスクを理解し実行できるロボットシステムを開発する必要がある専門家に適しています。
使用シナリオ
多段階タスクにおいて、ReKepは異なる種類の衣類を折り畳むためにロボットの動作を最適化できます。
屋外環境において、ReKepは操作中に物体の位置がランダムに変化するなど、環境の変化にロボットが適応することを可能にします。
ReKepは、複雑な組立タスクを行うために2つのマニピュレータを同時に操作するなど、両手操作タスクをサポートします。
製品特徴
RGB-D観測と自由形式の言語指示を用いてキーポイント候補を生成する
DINOv2とGPT-4oを用いて、PythonプログラムとしてのReKep制約を生成する
階層的最適化プロセスを用いてロボットの動作を解決する
段階内および段階間の再計画を含む、リアルタイムの閉ループ再計画を行う
両手操作タスクに対応する
屋外環境での操作タスクを実行する
同じタスクに対して異なる戦略を生成する
使用チュートリアル
1. RGB-D観測と自由形式の言語指示を用意する。
2. DINOv2を使用してシーン内のキーポイントを識別する。
3. キーポイントと指示をGPT-4oに入力してReKep制約を生成する。
4. 階層的最適化プロセスを使用してロボットの動作を解く。
5. 環境の変化に適応するために、リアルタイムの閉ループ再計画を行う。
6. ロボットのアクションシーケンスを実行してタスクを完了する。
7. 必要に応じてReKep制約を調整および最適化する。
おすすめAI製品

Openui
UIコンポーネントの構築は、多くの場合退屈な作業です。OpenUIは、このプロセスを楽しく、迅速で、柔軟なものにすることを目指しています。これは、W&Bが次世代ツールのテストとプロトタイピングに使用しているツールであり、LLMを基盤とした強力なアプリケーションを構築するために使用されます。想像力でUIを記述し、リアルタイムでレンダリング結果を確認できます。変更を要求し、HTMLをReact、Svelte、Webコンポーネントなどに変換できます。V0のオープンソース版で、多少洗練されていないバージョンと考えてください。
AI開発助手
756.8K

Opendevin
OpenDevinは、複雑なエンジニアリングタスクを実行し、ソフトウェア開発プロジェクトにおいてユーザーと積極的に連携する自律型AIソフトウェアエンジニアであるDevinを複製、強化、そして革新することを目的としたオープンソースプロジェクトです。本プロジェクトはオープンソースコミュニティの力を活用し、Devinの能力を探求?拡張し、その強みと改善すべき点を特定することで、オープンソースコードモデルの進歩を導きます。
AI開発助手
599.2K