生成レンダリング:2Dメッシュ
生
生成レンダリング:2Dメッシュ
紹介 :
従来の3Dコンテンツ制作ツールでは、ユーザーはシーンの形状、外観、動き、カメラパスを直接制御することで、想像力を現実のものにすることができます。しかし、コンピューターで生成されたビデオの作成は煩雑な手動プロセスであり、新たなテキストからビデオへの拡散モデルによって自動化することができます。将来性のある一方で、ビデオ拡散モデルは制御が難しく、ユーザー自身の創造性を活用するのではなく、制限してしまうという課題がありました。この課題を解決するため、私たちは動的な3Dメッシュの制御可能性と、新たな拡散モデルの表現力と編集可能性を組み合わせる革新的な手法を提案します。この手法では、アニメーション化された低解像度のレンダリングメッシュを入力として使用し、動的メッシュから得られた地上真値対応情報を、事前に学習されたテキストから画像への生成モデルの各段階に注入することで、高品質で時間的に整合性のあるフレームを出力します。バインドされたアセットをアニメーション化するか、カメラパスを変更することで動きを得ることができる様々な例で、手法を実証しています。
ターゲットユーザー :
アニメーション制作、特效制作など、ビデオの制御が必要なシーンに適しています。
総訪問数: 1.3K
最も高い割合の地域: ES(69.29%)
ウェブサイト閲覧数 : 54.4K
使用シナリオ
アニメーション制作:リアルなアニメーションシーンを作成
特效制作:特效ビデオクリップを生成
映画?テレビ番組のポストプロダクション:映画やテレビ番組のポストプロダクションにおける特效制作
製品特徴
アニメーション化された3DシーンからのUVと深度マップを入力として受け付ける
深度条件付きControlNetを用いて対応するフレームを生成し、同時にUV対応関係の一貫性を維持する
各オブジェクトのUV空間でノイズを初期化し、各画像にレンダリングする
拡散ステップごとに、まずキーフレームのセットに対して拡張アテンションを用い、それらの前処理および後処理アテンション特徴量を抽出する
後処理アテンション特徴量をUV空間に投影し、統合する
最後に、拡張アテンションの出力と、キーフレームの前処理特徴量、およびキーフレームのUV併合後処理特徴量の加重組合せを用いて、すべてのフレームを生成する
おすすめAI製品
Sora
Sora
Soraは、大規模データで学習されたテキスト制御型ビデオ生成拡散モデルです。1分間の高解像度ビデオ生成が可能で、幅広い視覚データの種類と解像度に対応します。ビデオと画像の圧縮潜在空間で学習することで、時空間的位置パッチに分解し、スケーラブルなビデオ生成を実現しています。また、三次元の一貫性やインタラクションなど、物理世界とデジタル世界の挙動をある程度シミュレートできる能力を示しており、高性能シミュレータの開発に向けて、ビデオ生成モデルの大規模化が有望であることを示唆しています。
AI動画生成
17.0M
Animate Anyone
Animate Anyone
Animate Anyoneは、駆動信号から静止画像を基にキャラクタビデオを生成することを目指しています。拡散モデルの力を活用し、キャラクタアニメーション用に特化した新しいフレームワークを提案します。参照画像における複雑な外観特徴の一貫性を維持するため、空間的注意機構を用いて詳細な特徴を統合するReferenceNetを設計しました。制御可能性と連続性を確保するため、キャラクタの動作をガイドする効率的なポーズガイド機構を導入し、ビデオフレーム間の滑らかなクロスフェードを実現する効果的な時間モデリング手法を採用しています。トレーニングデータの拡張により、任意のキャラクタのアニメーション作成が可能になり、他の画像からビデオへの変換手法と比較して、キャラクタアニメーションにおいて優れた結果を得ています。さらに、ファッションビデオと人間のダンス合成のベンチマークにおいて最先端の結果を達成しました。
AI動画生成
11.4M
AIbase
未来を切り開く、あなたのAIソリューション知識ベース
© 2025AIbase