

Flowvid
紹介 :
FlowVidは、光流の空間的および時間的情報を活用して動画フレーム間の時間的一貫性を達成する、光流ガイドによる動画合成モデルです。既存の画像合成モデルとシームレスに連携し、スタイル変更、オブジェクト置換、部分編集など、様々な編集操作が可能です。FlowVidは合成速度が速く、4秒、30FPS、512×512解像度の動画をわずか1.5分で生成できます。これは、CoDeF、Rerender、TokenFlowと比較して、それぞれ3.1倍、7.2倍、10.5倍高速です。ユーザー評価では、FlowVidの画質スコアは45.7%と、CoDeF(3.5%)、Rerender(10.2%)、TokenFlow(40.4%)を大きく上回っています。
ターゲットユーザー :
FlowVidは動画合成分野で、時間的一貫性のある動画生成に利用できます。また、最初のフレーム画像を修正することで、スタイル変更、オブジェクト置換、部分編集などの機能を実現できます。
使用シナリオ
動画のスタイルをカートゥーンスタイルに変換する
動画内の人物を他の人物に置き換える
動画内の特定領域を部分的に編集する
製品特徴
光流ガイドによる動画合成
スタイル変更、オブジェクト置換、部分編集に対応
高速生成
おすすめAI製品

Sora
Soraは、大規模データで学習されたテキスト制御型ビデオ生成拡散モデルです。1分間の高解像度ビデオ生成が可能で、幅広い視覚データの種類と解像度に対応します。ビデオと画像の圧縮潜在空間で学習することで、時空間的位置パッチに分解し、スケーラブルなビデオ生成を実現しています。また、三次元の一貫性やインタラクションなど、物理世界とデジタル世界の挙動をある程度シミュレートできる能力を示しており、高性能シミュレータの開発に向けて、ビデオ生成モデルの大規模化が有望であることを示唆しています。
AI動画生成
17.0M

Animate Anyone
Animate Anyoneは、駆動信号から静止画像を基にキャラクタビデオを生成することを目指しています。拡散モデルの力を活用し、キャラクタアニメーション用に特化した新しいフレームワークを提案します。参照画像における複雑な外観特徴の一貫性を維持するため、空間的注意機構を用いて詳細な特徴を統合するReferenceNetを設計しました。制御可能性と連続性を確保するため、キャラクタの動作をガイドする効率的なポーズガイド機構を導入し、ビデオフレーム間の滑らかなクロスフェードを実現する効果的な時間モデリング手法を採用しています。トレーニングデータの拡張により、任意のキャラクタのアニメーション作成が可能になり、他の画像からビデオへの変換手法と比較して、キャラクタアニメーションにおいて優れた結果を得ています。さらに、ファッションビデオと人間のダンス合成のベンチマークにおいて最先端の結果を達成しました。
AI動画生成
11.4M