# 動画補間

ToonCrafterは、事前学習済みの画像から動画への拡散事前モデルを用いて2枚の漫画画像を補間することに特化した、オープンソースの研究プロジェクトです。本プロジェクトは、AI駆動による動画生成分野へ積極的に貢献し、ユーザーに動画作成の自由を提供することを目指しています。ただし、ユーザーは現地の法律を遵守し、責任ある利用を心がける必要があります。

本製品は、特に会話動画におけるジャンプカットを滑らかにする革新的なフレームワークを提供します。DensePoseキーポイントと顔面ランドマークを駆使した中間表現を用いて、他のソースフレームの情報を取り込みます。モーションを実現するため、カット周辺の端フレーム間でキーポイントとランドマークを補間します。その後、画像変換ネットワークを用いて、キーポイントとソースフレームからピクセルを合成します。キーポイントに誤りがある可能性があるため、各キーポイントに最適なソースを選択するためのクロスモーダルアテンション機構を提案しています。この中間表現を活用することで、強力な動画補間ベンチマークよりも優れた結果を得ることができます。私たちは、言い淀みやポーズ、さらにはランダムなカットなど、会話動画における様々なジャンプカットで本手法を実証しました。実験の結果、会話者の頭部の回転や激しい動きといった困難な状況下でも、シームレスな遷移を実現できることが示されました。

MCVDは、動画生成、予測、補間を行う汎用モデルです。分数ベースの拡散損失関数を用いて新規フレームを生成します。現在のフレームにガウスノイズを注入し、過去および／または未来のフレームを条件付きでノイズ除去することで訓練されます。過去および／または未来のフレームをランダムにマスキングすることで、無条件生成、未来予測、過去再構成、補間の4つの処理を実現します。このモデルは2D畳み込みU-Netを使用し、過去および未来のフレームを連結または時空間適応正規化により条件処理することで、高品質かつ多様な動画サンプルを生成します。1～4個のGPUを使用して訓練でき、より多くのチャネルにも拡張可能です。MCVDはシンプルで再帰的でない2D畳み込みアーキテクチャであり、任意の長さの動画サンプルを生成でき、最先端の結果（SOTA）を実現します。