

Rekep
簡介 :
ReKep是一個用於機器人操控的時空關係關鍵點約束推理系統,它通過將機器人操控任務表示為關聯機器人和環境的約束來編碼期望的機器人行為。ReKep利用大型視覺模型和視覺-語言模型,無需特定任務訓練或環境模型,即可生成基於關鍵點的約束,這些約束可以被優化以實現多階段、野外、雙手和反應性行為。ReKep的主要優點包括其通用性、無需手動標記以及能夠被現成求解器即時優化以產生機器人動作。
需求人群 :
ReKep的目標受眾是機器人學、自動化和人工智能領域的研究人員和工程師。它適合那些需要開發能夠理解和執行復雜操控任務的機器人系統的專業人士。
使用場景
在多階段任務中,ReKep能夠優化機器人的動作以摺疊不同類型的衣物。
在野外環境中,ReKep使機器人能夠適應環境變化,如在操作過程中物體位置的隨機變化。
ReKep支持雙手操控任務,例如同時操作兩個機械臂進行復雜的組裝任務。
產品特色
使用RGB-D觀察和自由形式語言指令生成關鍵點候選
通過DINOv2和GPT-4o生成ReKep約束作為Python程序
採用層次優化過程解決機器人動作
即時閉環重規劃,包括階段內和階段間的重規劃
支持雙手操控任務
在野外環境中進行操控任務
能夠為同一任務生成不同的策略
使用教程
1. 準備RGB-D觀察和自由形式語言指令。
2. 使用DINOv2識別場景中的關鍵點。
3. 將關鍵點和指令輸入GPT-4o生成ReKep約束。
4. 利用層次優化過程求解機器人動作。
5. 進行即時閉環重規劃以適應環境變化。
6. 執行機器人動作序列以完成任務。
7. 根據需要調整和優化ReKep約束。
精選AI產品推薦

Openui
構建UI組件通常是一項乏味的工作。OpenUI旨在使這一過程變得有趣、快捷和靈活。這也是我們在W&B用於測試和原型化下一代工具的工具,用於在LLM的基礎上構建強大的應用程序。您可以使用想象力描述UI,然後即時查看渲染效果。您可以要求進行更改,並將HTML轉換為React、Svelte、Web組件等。就像是V0的開源和不太精緻的版本。
AI開發助手
784.7K

Opendevin
OpenDevin是一個開源項目,目標是複製、增強和創新Devin——一個能夠執行復雜工程任務並與用戶在軟件開發項目上積極協作的自主AI軟件工程師。該項目通過開源社區的力量,探索和擴展Devin的能力,識別其優勢和改進空間,以指導開源代碼模型的進展。
AI開發助手
613.0K