# ビデオ合成

ViewCrafterは、ビデオ拡散モデルの生成能力と、点ベース表現による粗い3D手がかりを利用して、単一または疎な画像から汎用シーンの高精細な新視点合成を行う革新的な手法です。本手法は、反復的なビュー合成戦略とカメラ軌跡計画アルゴリズムによって、3D手がかりと新視点のカバー範囲を段階的に拡大し、新視点生成範囲の拡大を実現します。ViewCrafterは、3D-GS表現の最適化による没入型体験とリアルタイムレンダリング、シーンレベルのテキストから3Dへの生成によるより想像力豊かなコンテンツ制作など、様々な用途を促進します。

SF-Vは、拡散モデルに基づくビデオ生成モデルです。事前学習済みモデルを敵対的訓練によって最適化することで、シングルステップでの高品質なビデオ生成を実現しています。本モデルは、ビデオデータの時間的?空間的依存性を維持しつつ、ノイズ除去プロセスの計算コストを大幅に削減し、リアルタイムビデオ合成と編集への道を拓きます。

Align Your Stepsは、拡散モデル（Diffusion Models, DMs）の標本化スケジュールを最適化するための手法です。この手法は確率微積分を用いて、様々なソルバー、訓練済みのDM、データセットに対して最適な標本化スケジュールを特定します。KLUB項を最小化することで時間離散化（つまり、標本化スケジュール）を最適化し、同じ計算予算で出力品質を向上させます。この手法は、画像、ビデオ、および2D玩具データ合成のベンチマークテストで優れた性能を示し、最適化された標本化スケジュールは、ほぼ全てのテストにおいて従来の手動設定スケジュールを上回りました。

Snap Videoは、ビデオを重視したモデルであり、EDMフレームワークを拡張することで、ビデオ生成分野におけるモーションの忠実度、視覚品質、拡張性といった課題を体系的に解決します。このモデルはフレーム間の冗長情報を活用し、スケーラブルなTransformerアーキテクチャを提案しています。空間と時間次元の両方を高度に圧縮された1次元潜在ベクトルとして表現することで、時空間の同時モデリングを効率的に行い、時間的な整合性が高く、複雑な動きを含むビデオを合成します。このアーキテクチャにより、モデルを効率的にトレーニングし、数十億パラメータ規模に到達することが可能になり、複数のベンチマークテストで最良の結果を得ています。

Lumiereは、リアルで多様性があり、連続した動きを示すビデオを合成することを目的とした、テキストからビデオへの拡散モデルです。ビデオ合成における主要な課題の解決を目指しています。本モデルでは、ビデオ全体の時間的持続を一度に生成できる時空間U-Netアーキテクチャを導入しました。これは、遠距離のキーフレームを合成し、その後時間的超解像度処理を行う既存のビデオモデルとは対照的であり、この手法ではグローバルな時間的一貫性を達成することが本質的に困難です。空間と（重要なことですが）時間のダウンサンプリングとアップサンプリングを導入し、事前学習済みのテキストから画像への拡散モデルを活用することで、当モデルは全フレームレートの低解像度ビデオを複数の時空間スケールで直接生成することを学習します。最先端のテキストからビデオへの生成結果を示し、当モデルの設計が、画像からビデオ、ビデオ修復、スタイル変換生成など、様々なコンテンツ制作タスクやビデオ編集アプリケーションを容易に促進することを示します。

VividTalkは、3D混合事前学習に基づく、ワンショット音声駆動のアバター生成技術です。表情豊かで自然な頭部姿勢、リップシンクを備えたリアルなラップビデオを生成できます。この技術は2段階の汎用フレームワークを採用し、上記すべての特性を備えた高画質のラップビデオの生成をサポートしています。具体的には、第1段階では、2種類の動き（非剛体的な表情運動と剛体的な頭部運動）を学習することで、音声をメッシュにマッピングします。表情運動については、混合形状と頂点を中間表現として採用し、モデルの表現能力を最大化します。自然な頭部運動については、新規の学習可能な頭部姿勢コードブックを提案し、2段階の訓練メカニズムを採用しています。第2段階では、双方向運動VAEとジェネレーターを提案し、メッシュを密集した動きに変換し、フレームごとに高画質ビデオを合成します。広範な実験により、VividTalkはリップシンクとリアルなエンハンスメントを備えた高画質のラップビデオを生成でき、客観的および主観的な比較において、従来最先端の作品を上回ることが実証されました。この技術のコードは、発表後に公開されます。