# テキスト駆動

DreamWaltz-Gは、テキストから3Dアバターと表現力豊かな全身アニメーションを生成するための革新的なフレームワークです。その核心は、スケルトンガイド付きスコア蒸留と混合3Dガウスアバター表現にあります。本フレームワークは、3D人体テンプレートのスケルトン制御を2D拡散モデルに統合することで、視点と人体姿勢の一貫性を向上させ、高品質のアバターを生成します。これにより、複数の顔、余分な手足、ぼやけなどの問題を解決します。さらに、混合3Dガウスアバター表現は、ニューラルインプリシットフィールドとパラメトリック3Dメッシュを組み合わせることで、リアルタイムレンダリング、安定したSDS最適化、そして表現力豊かなアニメーションを実現します。DreamWaltz-Gは、3Dアバターの生成とアニメーションにおいて非常に効果的で、視覚的品質とアニメーション表現力の両方において既存の手法を凌駕しています。さらに、本フレームワークは、ヒューマンビデオリエンアクティングやマルチテーマシーンの組み合わせなど、様々な用途に対応しています。

マーメイドホワイトボードは、受賞歴のあるオープンソースプロジェクトMermaid JSの開発チームによって開発された、テキストベースの図表作成ツールです。ユーザーはテキストを使用して、フローチャート、シーケンス図、ガントチャートなど、様々な種類の図表を作成できます。マーメイドチャートは、ドキュメント作成プロセスの簡素化、ワークフローの向上、チーム間のコミュニケーション効率の向上により、システム設計や新規チームメンバーのトレーニングに革命的な変化をもたらします。

TurboEditはAdobe Researchで開発された技術に基づいており、高精度な画像反転と解耦合画像編集の課題解決を目指しています。反復的な反転技術とテキストプロンプトベースの条件制御により、数ステップで画像の精密編集を実現します。この技術は高速であるだけでなく、既存の複数ステップ拡散モデル編集技術を凌駕する性能を誇ります。

HoloDreamerは、テキスト駆動型の3Dシーン生成フレームワークであり、没入感があり、視点の一貫性のある完全に閉じた3Dシーンを生成できます。2つの基本モジュールで構成されています。スタイル化された等矩形パノラマ生成と、強化された2段階パノラマ再構成です。このフレームワークはまず、高解像度の全景図を完全な3Dシーン全体の初期化として生成し、次に3Dガウス散乱（3D-GS）技術を用いて3Dシーンを高速に再構成することで、視点の一貫性があり完全に閉じた3Dシーンの生成を実現します。HoloDreamerの主な利点には、高い視覚的一貫性、調和性、再構成品質とレンダリングの堅牢性があります。

MoMaskは、テキスト駆動型の3D人体モーション生成モデルです。階層的量子化スキームを採用することで、高忠実度の詳細な人体モーションを多層の離散運動トークンとして表現します。MoMaskは、テキスト入力から運動トークンを予測するために、2つの異なる双方向Transformerネットワークを使用します。このモデルは、テキストからモーションへの生成タスクにおいて既存の方法を上回り、テキスト誘導型時間修復などの関連タスクにもシームレスに適用できます。

Story-to-Motionは、物語（上部の緑色領域）を入力として、テキストの説明と一致する動作と軌跡を生成する全く新しいタスクです。本システムは、テキスト駆動型のモーションスケジューラとして最新の巨大言語モデルを活用し、長文から一連の（テキスト、位置）ペアを抽出します。また、古典的なモーションマッチングとモーションセマンティクス、そして軌跡の制約を組み合わせた、テキスト駆動型のモーション検索スキームを開発しました。さらに、不自然なポーズや滑り歩行といった、トランジションモーションでよくある問題に対処するために、漸進的マスキングトランスフォーマーを設計しました。本システムは、軌跡追従、時間的動作の組み合わせ、動作の混合という3つの異なるサブタスクの評価において優れた性能を示し、従来のモーション合成手法を凌駕しています。