

Show 1
紹介 :
Show-1は、効率的なテキストから動画への生成モデルです。ピクセルレベルと潜在変数レベルの拡散モデルを組み合わせることで、テキストと高度に関連した動画を生成し、かつ低い計算資源で高品質な動画生成を実現します。まず、ピクセルレベルのモデルを用いて低解像度の動画を生成し、その後、潜在変数モデルを用いて高解像度へとアップサンプリングすることで、両モデルの長所を活かしています。純粋な潜在変数モデルと比較して、Show-1は生成される動画のテキストとの関連性がより正確で、純粋なピクセルモデルと比較して計算コストも低くなっています。
ターゲットユーザー :
["テキストから動画の生成","条件付き動画生成"]
使用シナリオ
入力:「滝のそばでパンダが『Show Lab』と書かれた看板を持っている」と入力すると、関連する動画が生成されます。
入力:「女の子が部屋で踊っている」と入力すると、女の子が踊っている動画が生成されます。
入力:「猫が毛糸で遊んでいる」と入力すると、猫が毛糸で遊んでいる動画が生成されます。
製品特徴
正確なテキストから動画への生成
高品質な動画出力
低い計算資源要求
おすすめAI製品

Sora
Soraは、大規模データで学習されたテキスト制御型ビデオ生成拡散モデルです。1分間の高解像度ビデオ生成が可能で、幅広い視覚データの種類と解像度に対応します。ビデオと画像の圧縮潜在空間で学習することで、時空間的位置パッチに分解し、スケーラブルなビデオ生成を実現しています。また、三次元の一貫性やインタラクションなど、物理世界とデジタル世界の挙動をある程度シミュレートできる能力を示しており、高性能シミュレータの開発に向けて、ビデオ生成モデルの大規模化が有望であることを示唆しています。
AI動画生成
17.0M

Animate Anyone
Animate Anyoneは、駆動信号から静止画像を基にキャラクタビデオを生成することを目指しています。拡散モデルの力を活用し、キャラクタアニメーション用に特化した新しいフレームワークを提案します。参照画像における複雑な外観特徴の一貫性を維持するため、空間的注意機構を用いて詳細な特徴を統合するReferenceNetを設計しました。制御可能性と連続性を確保するため、キャラクタの動作をガイドする効率的なポーズガイド機構を導入し、ビデオフレーム間の滑らかなクロスフェードを実現する効果的な時間モデリング手法を採用しています。トレーニングデータの拡張により、任意のキャラクタのアニメーション作成が可能になり、他の画像からビデオへの変換手法と比較して、キャラクタアニメーションにおいて優れた結果を得ています。さらに、ファッションビデオと人間のダンス合成のベンチマークにおいて最先端の結果を達成しました。
AI動画生成
11.4M