# 動作生成

SCENICは、テキスト条件に基づくシーンインタラクションモデルです。様々な地形を持つ複雑なシーンにも対応し、自然言語を用いたユーザー指定の意味的制御をサポートします。ユーザーが指定した軌跡を副目標、テキストプロンプトを指示として用いて3Dシーン内をナビゲートします。SCENICは階層的推論によるシーン理解と、動きとテキスト間のフレームアライメントを組み合わせることで、様々な動作スタイル間のシームレスな遷移を実現します。この技術の重要性は、現実の物理法則とユーザー指示に沿ったキャラクターナビゲーション動作を生成できる点にあり、仮想現実、拡張現実、ゲーム開発などの分野で大きな意義を持ちます。

TANGOは、階層化された音声-動作埋め込みと拡散補間を用いた共話ジェスチャー動画再現技術です。高度な人工知能アルゴリズムを利用し、音声信号を対応するジェスチャー動作に変換することで、動画内の人物のジェスチャーを自然に再現します。この技術は、動画制作、仮想現実（VR）、拡張現実（AR）などの分野で幅広い応用が期待され、動画コンテンツのインタラクティブ性とリアリティを向上させます。TANGOは東京大学とCyberAgent AI Labが共同開発し、ジェスチャー認識と動作生成分野におけるAIの最先端技術を代表しています。

UniMuMoは、任意のテキスト、音楽、動作データを入力条件として、3種類のモダリティすべてを跨る出力を生成できるマルチモーダルモデルです。このモデルは、音楽、動作、テキストをトークンベースの表現に変換し、統一されたエンコーダー?デコーダー?トランスフォーマーアーキテクチャによってこれらのモダリティを橋渡しします。既存の単一モダリティ事前学習モデルをファインチューニングすることで、計算コストを大幅に削減しています。UniMuMoは、音楽、動作、テキストモダリティのすべての単方向生成ベンチマークテストで競争力のある結果を達成しています。