

Make Your Anchor
紹介 :
Make-Your-Anchorは、拡散モデルに基づく2Dバーチャルアバター生成フレームワークです。約1分の動画素材があれば、上半身と手の動きを正確に再現した、配信者風動画を自動生成できます。本システムは、構造ガイド付きの拡散モデルを用いて3Dメッシュの状態を人物の外見としてレンダリングします。二段階の学習戦略により、動きと特定の外見を効果的に結びつけます。任意の長さの時系列動画を生成するために、フレーム単位の拡散モデルの2D U-Netを3D形式に拡張し、シンプルかつ効果的なバッチオーバーラップ時系列ノイズ除去モジュールを提案することで、推論時の動画の長さに関する制限を突破しました。最後に、特定のアイデンティティに基づいた顔の強化モジュールを導入し、出力動画の顔領域の視覚品質を向上させています。実験により、本システムは視覚品質、時系列の一貫性、アイデンティティの忠実度において、既存技術を上回ることが示されました。
ターゲットユーザー :
全身の動きのある2Dバーチャル動画アバターを生成します。ビデオライブ配信、バーチャルYouTuber、アニメーションキャラクターなどに活用できます。
製品特徴
1分間の動画素材だけで配信者風動画を生成
上半身と手の動きを正確に再現
構造ガイド付き拡散モデルにより3Dメッシュを人物の外見としてレンダリング
二段階学習戦略により動きと外見を関連付ける
3D U-Netとバッチオーバーラップ時系列ノイズ除去により任意の長さの動画生成を実現
特定のアイデンティティに基づいた顔の強化モジュールにより顔領域の視覚品質を向上
おすすめAI製品

Sora
Soraは、大規模データで学習されたテキスト制御型ビデオ生成拡散モデルです。1分間の高解像度ビデオ生成が可能で、幅広い視覚データの種類と解像度に対応します。ビデオと画像の圧縮潜在空間で学習することで、時空間的位置パッチに分解し、スケーラブルなビデオ生成を実現しています。また、三次元の一貫性やインタラクションなど、物理世界とデジタル世界の挙動をある程度シミュレートできる能力を示しており、高性能シミュレータの開発に向けて、ビデオ生成モデルの大規模化が有望であることを示唆しています。
AI動画生成
17.0M

Animate Anyone
Animate Anyoneは、駆動信号から静止画像を基にキャラクタビデオを生成することを目指しています。拡散モデルの力を活用し、キャラクタアニメーション用に特化した新しいフレームワークを提案します。参照画像における複雑な外観特徴の一貫性を維持するため、空間的注意機構を用いて詳細な特徴を統合するReferenceNetを設計しました。制御可能性と連続性を確保するため、キャラクタの動作をガイドする効率的なポーズガイド機構を導入し、ビデオフレーム間の滑らかなクロスフェードを実現する効果的な時間モデリング手法を採用しています。トレーニングデータの拡張により、任意のキャラクタのアニメーション作成が可能になり、他の画像からビデオへの変換手法と比較して、キャラクタアニメーションにおいて優れた結果を得ています。さらに、ファッションビデオと人間のダンス合成のベンチマークにおいて最先端の結果を達成しました。
AI動画生成
11.4M