# 人物アニメーション

StableAnimatorは、初のエンドツーエンドのアイデンティティ保持型ビデオ拡散フレームワークであり、後処理なしで高品質のビデオ合成が可能です。本技術は、参照画像と一連のポーズを条件として合成することにより、アイデンティティの一貫性を確保します。主な利点は、サードパーティ製のツールに依存する必要がなく、高品質の人物アニメーションを必要とするユーザーに最適であることです。

FLOATは、流マッチング生成モデルに基づくオーディオ駆動型の人物ビデオ生成手法です。生成モデリングをピクセルベースの潜在空間から学習済みモーション潜在空間に移行することで、時間的に一貫性のあるモーションデザインを実現しています。本手法は、トランスフォーマーベースのベクトル場予測器を導入し、シンプルかつ効果的なフレーム単位の条件付けメカニズムを備えています。さらに、FLOATは音声駆動型感情増強に対応しており、表現力豊かなモーションを自然に統合できます。広範な実験により、FLOATは視覚品質、モーション忠実度、効率性において、既存のオーディオ駆動型話者像手法を上回ることが示されています。

JoyVASAは、拡散モデルに基づく音声駆動型の人物アニメーション技術です。動的な顔の表情と静的な3D顔表現を分離することで、顔の動きと頭の動きを生成します。この技術は、ビデオ品質と唇の同期精度を向上させるだけでなく、動物の顔のアニメーションにも拡張でき、多言語に対応し、訓練と推論の効率も向上しています。JoyVASAの主な利点には、より長いビデオ生成能力、キャラクターのアイデンティティに依存しないモーションシーケンスの生成、および高品質なアニメーションレンダリングが含まれます。

AdvancedLivePortrait-WebUIは、Gradioフレームワークに基づいて開発された、リアルタイム人物アニメーション編集用のWebインターフェースです。この技術により、ユーザーは画像をアップロードして人物の表情を編集し、効率的な肖像画アニメーション制作を実現できます。LivePortraitアルゴリズムに基づき、深層学習技術を用いて顔の特徴を捉え、アニメーションを作成します。操作が簡単で、リアルな効果が得られるという利点があります。開発元はjhj0517によるオープンソースプロジェクトであり、人物アニメーション制作を必要とする専門家や愛好家に適しています。現在、このプロジェクトは無料でオープンソースであるため、ユーザーは自由に使用および修正できます。

Hallo2は、潜在拡散生成モデルに基づく人物画像アニメーション技術です。音声駆動により、高解像度で長時間のビデオを生成します。複数の設計改良を取り入れることで、Halloの機能を拡張し、長時間のビデオ生成、4K解像度のビデオ生成、テキストプロンプトによる表情制御の強化などを実現しました。Hallo2の主な利点としては、高解像度出力、長時間における安定性、テキストプロンプトによる制御性の向上といった点が挙げられ、多様で豊かな肖像アニメーションコンテンツの生成において顕著な優位性を持ちます。

TCANは、時間整合性を維持し、未知の領域にも良好に一般化する、拡散モデルに基づく新型の人物アニメーションフレームワークです。外観-ポーズ適応層（APPA層）、時間制御ネットワーク、ポーズ駆動温度マップといった独自のモジュールにより、生成される動画がソース画像の外観を維持しつつ、駆動動画のポーズに従い、同時に背景の一貫性を保ちます。

EchoMimicは、音声と選択した顔の特徴点、またはその組み合わせによって、リアルな肖像動画を生成できる先進的な人物画像アニメーションモデルです。斬新なトレーニング戦略により、従来の方法では音声駆動時の不安定性や、顔面キーポイント駆動による不自然な結果といった問題を解決しました。EchoMimicは複数の公開データセットと独自収集データセットで包括的な比較を行い、定量的および定性的評価において優れた性能を示しています。

LivePortraitは、静止画を生き生きとしたアニメーションに変換する高効率な人物アニメーションツールです。つなぎ合わせとリダイレクト制御技術により、静止画を動的なアニメーションに変換します。この技術は、画像処理とアニメーション制作の分野において重要な意味を持ち、アニメーション制作の効率と品質を大幅に向上させます。開発者はshadowcz007であり、ComfyUI MixLab Nodesと併用することで、より高度な人物アニメーション効果を実現できます。

LivePortraitは、陰的キーポイントフレームワークに基づいた人物アニメーション生成モデルです。単一のソース画像を外観参照として使用し、駆動ビデオ、オーディオ、テキスト、または生成から動作（顔の表情や頭の姿勢など）を取得して、リアルなビデオを合成します。このモデルは、計算効率と制御性のバランスを効果的に取るだけでなく、トレーニングデータの拡張、混合画像?ビデオトレーニング戦略の採用、ネットワークアーキテクチャのアップグレード、より良いモーション変換と最適化目標の設計により、生成品質と汎化能力を大幅に向上させました。

UniAnimateは、人物画像アニメーションのための統一的なビデオ拡散モデルフレームワークです。参照画像、ポーズガイド、ノイズビデオを共通の特徴空間にマッピングすることで、最適化の難易度を軽減し、時間的な一貫性を確保します。UniAnimateは長いシーケンスを処理でき、ランダムノイズ入力と最初のフレーム条件入力をサポートすることで、長期ビデオ生成能力を大幅に向上させます。さらに、計算負荷の高い時間Transformerに代わる、状態空間モデルベースの代替時間モデリングアーキテクチャも検討しています。UniAnimateは、定量的および定性的評価において、既存の最先端技術を上回る合成結果を達成し、最初のフレーム条件戦略を反復的に使用することで、高度に一貫性のある1分間のビデオを生成できます。

Follow-Your-Emojiは、拡散モデルに基づく人物アニメーションフレームワークです。目標とする表情のシーケンスを基準となる人物画像にアニメーション化し、人物の同一性、表情の伝達、時間の一貫性、忠実度を維持します。表情認識マーカーと顔の細粒度損失技術を採用することで、実写の人物、漫画、彫刻、さらには動物など、自由なスタイルの人物の表情制御におけるモデルの性能を大幅に向上させました。さらに、シンプルで効果的な段階的生成戦略により、安定した長期アニメーションにも対応し、潜在的な応用価値を高めています。

Rokoko Visionは、無料のAIモーションキャプチャツールです。ユーザーは、ビデオのアップロードまたはウェブカメラを使用してモーションキャプチャを行い、アニメーションエディターで編集?調整できます。高精度のモーションキャプチャ技術を提供し、リアルな人物アニメーションを迅速に作成できます。Rokoko Visionの価格は、ユーザーの地域によって異なります。