Octopusは、環境フィードバックに基づくビジュアル言語プログラミングツールです。エージェントの視覚的およびテキストによるタスク目標を効率的に解析し、複雑な動作シーケンスを作成して実行可能なコードを生成します。Octopusは、シミュレータ内の日常的な雑務から複雑なビデオゲームにおける複雑なインタラクションまで、幅広いタスクをエージェントが処理できるように設計されています。OctopusはGPT-4を活用して、探索エージェントがトレーニングデータ（動作設計図と対応する実行可能コード）を生成し、OctoVerseという実験環境でトレーニングを行います。また、強化学習と環境フィードバック（RLEF）による強化トレーニングスキームを可能にするフィードバックも収集します。一連の実験を通して、Octopusの機能を解明し、説得力のある結果を示しました。提案されたRLEFは、エージェントの意思決定の改善を実証しています。モデルアーキテクチャ、シミュレータ、およびデータセットをオープンソース化することにより、さらなるイノベーションを促進し、より広範な体験AIコミュニティにおける協調的な応用を促進したいと考えています。