# ビデオ拡散モデル

AniDocは、アニメーション制作のワークフローを簡素化し、人件費を削減することを目的とした、線画自動着色モデルです。ビデオ拡散モデルの事前知識を活用し、明示的な対応メカニズムと注入モジュールを通じて、参照画像の色情報を入力スケッチに合わせ、色の正確性を向上させます。二段階トレーニング戦略を採用することで、中間フレームの描画ニーズを削減します。二値化スケッチとデータ拡張技術により、トレーニングの安定性を向上させます。AniDocは定量的および定性的な結果において優れた性能を示し、自動線画ビデオ着色のための効果的なソリューションを提供し、アニメーション制作の効率を向上させます。

FastVideoは、大規模ビデオ拡散モデルの高速化を目的としたオープンソースフレームワークです。一貫性蒸留ビデオ拡散モデルとしてFastHunyuanとFastMochiの2種類を提供し、推論速度を8倍に向上させます。FastVideoはPCM（Phased-Consistency-Model）に基づき、オープンなビデオDiT蒸留レシピを初めて提供し、MochiやHunyuanなど、最先端のオープンなビデオDiTモデルの蒸留、微調整、推論をサポートします。さらに、FSDP、シーケンシャル並列処理、選択的活性化チェックポイントによる拡張可能なトレーニング、LoRA、事前計算潜在変数、事前計算テキスト埋め込みによるメモリ効率の高い微調整をサポートします。FastVideoの開発は現在進行中で、技術的には高度に実験的な段階であり、今後の計画としては、蒸留方法の追加、より多くのモデルのサポート、コードの更新などが含まれます。

VFusion3Dは、事前学習済みのビデオ拡散モデルを基盤とした、拡張性の高い3D生成モデルです。3Dデータの取得困難性とデータ量の少なさという課題を解決するため、ビデオ拡散モデルを微調整して大規模な合成多視点データセットを生成し、単一画像から迅速に3Dアセットを生成できるフィードフォワード型3D生成モデルを学習させました。ユーザー調査では優れた結果を示しており、90％以上のユーザーがVFusion3Dで生成された結果を好む傾向にあります。

Animate3Dは、任意の静止3Dモデルにアニメーションを生成するための革新的なフレームワークです。その中核となる概念は2つの主要な部分から構成されます。1) 静止3Dオブジェクトの多視点レンダリングに基づき、大規模な多視点ビデオデータセット（MV-Video）を用いてトレーニングされた、新しい多視点ビデオ拡散モデル（MV-VDM）を提案します。2) MV-VDMに基づき、再構成と4Dスコア蒸留サンプリング（4D-SDS）を組み合わせたフレームワークを導入し、多視点ビデオ拡散事前情報を利用して3Dオブジェクトのアニメーションを生成します。Animate3Dは、新しい時空間注意機構モジュールを設計することで空間的および時間的一貫性を強化し、多視点レンダリングによって静止3Dモデルのアイデンティティを維持します。さらに、Animate3Dは、3Dモデルにアニメーションを生成するための効率的な2段階のプロセスを提案します。まず、生成された多視点ビデオから直接モーションを再構成し、次に導入された4D-SDSを用いて外観とモーションを洗練します。