

テキスト動画生成評価ツール
紹介 :
本製品は、テキストから動画を生成する際の品質を評価するためのツールです。テキスト動画スコア(T2VScore)という新しい評価指標を導入しています。このスコアは、2つの重要な基準を統合しています。(1)テキストと動画の一致度:与えられたテキスト記述を動画がどの程度忠実に表現しているかを評価します。(2)動画品質:動画の全体的な制作レベルを評価します。さらに、提案された指標を評価し、将来の改善を促進するために、2,543本のテキスト動画生成動画について、これら2つの基準に基づいた人間の判断を集めたTVGEデータセットを提供しています。TVGEデータセットの実験により、提案されたT2VScoreは、テキスト動画生成のより優れた評価指標を提供する上で優れていることが示されています。
ターゲットユーザー :
テキスト動画生成の品質評価に使用します。研究者や開発者は、このツールを使用してテキスト動画生成の品質を向上させ、評価と改善を行うことができます。
使用シナリオ
研究者はテキスト動画評価ツールを使用して、生成モデルを評価します。
開発者はテキスト動画評価ツールを使用して、テキスト動画生成アルゴリズムを改善します。
データサイエンティストはテキスト動画評価ツールを使用して、生成された動画の品質を評価します。
製品特徴
テキスト動画生成の品質評価
新しい評価指標T2VScoreの導入
指標の評価と改善のためのTVGEデータセットの提供
おすすめAI製品

Sora
Soraは、大規模データで学習されたテキスト制御型ビデオ生成拡散モデルです。1分間の高解像度ビデオ生成が可能で、幅広い視覚データの種類と解像度に対応します。ビデオと画像の圧縮潜在空間で学習することで、時空間的位置パッチに分解し、スケーラブルなビデオ生成を実現しています。また、三次元の一貫性やインタラクションなど、物理世界とデジタル世界の挙動をある程度シミュレートできる能力を示しており、高性能シミュレータの開発に向けて、ビデオ生成モデルの大規模化が有望であることを示唆しています。
AI動画生成
17.0M

Animate Anyone
Animate Anyoneは、駆動信号から静止画像を基にキャラクタビデオを生成することを目指しています。拡散モデルの力を活用し、キャラクタアニメーション用に特化した新しいフレームワークを提案します。参照画像における複雑な外観特徴の一貫性を維持するため、空間的注意機構を用いて詳細な特徴を統合するReferenceNetを設計しました。制御可能性と連続性を確保するため、キャラクタの動作をガイドする効率的なポーズガイド機構を導入し、ビデオフレーム間の滑らかなクロスフェードを実現する効果的な時間モデリング手法を採用しています。トレーニングデータの拡張により、任意のキャラクタのアニメーション作成が可能になり、他の画像からビデオへの変換手法と比較して、キャラクタアニメーションにおいて優れた結果を得ています。さらに、ファッションビデオと人間のダンス合成のベンチマークにおいて最先端の結果を達成しました。
AI動画生成
11.4M