Upscale-A-Video
U
Upscale A Video
紹介 :
Upscale-A-Videoは、拡散モデルに基づいたモデルであり、低解像度ビデオとテキストプロンプトを入力として、ビデオの解像度を向上させます。このモデルは、2つの主要なメカニズムによって時間的な一貫性を確保します。局所的には、時間層をU-NetとVAE-Decoderに統合し、短いシーケンスの一貫性を維持します。大局的には、流れを誘導する循環潜在伝播モジュールを導入することにより、シーケンス全体にわたって潜在情報を伝播および融合し、ビデオ全体の安定性を向上させます。拡散パラダイムにより、テキストプロンプトによるテクスチャ生成と調整可能なノイズレベルを可能にすることで、復元と生成のバランスを取り、忠実度と画質のトレードオフを実現します。数多くの実験により、Upscale-A-Videoは、合成および現実世界のベンチマーク、ならびにAI生成ビデオにおいて、既存の方法を凌駕し、印象的な視覚的なリアリズムと時間的一貫性を示すことが実証されています。
ターゲットユーザー :
動画の解像度を向上させ、時間的一貫性を維持する必要がある場合に適しています。
総訪問数: 44.1K
最も高い割合の地域: CN(44.48%)
ウェブサイト閲覧数 : 69.8K
使用シナリオ
古い映画の映像の画質向上
現実世界のビデオの解像度向上
アニメーションビデオの視覚的品質向上
製品特徴
局所的および大局的な戦略を用いて長尺ビデオを処理し、時間的一貫性を維持する
U-Netと時間層を用いてビデオセグメントを処理し、セグメント内の一貫性を達成する
循環潜在伝播モジュールを使用してセグメント間の一貫性を強化する
微調整されたVAE-Decoderを使用して残りのちらつきアーティファクトを削減し、低レベルの一貫性を維持する
おすすめAI製品
Sora
Sora
Soraは、大規模データで学習されたテキスト制御型ビデオ生成拡散モデルです。1分間の高解像度ビデオ生成が可能で、幅広い視覚データの種類と解像度に対応します。ビデオと画像の圧縮潜在空間で学習することで、時空間的位置パッチに分解し、スケーラブルなビデオ生成を実現しています。また、三次元の一貫性やインタラクションなど、物理世界とデジタル世界の挙動をある程度シミュレートできる能力を示しており、高性能シミュレータの開発に向けて、ビデオ生成モデルの大規模化が有望であることを示唆しています。
AI動画生成
17.0M
Animate Anyone
Animate Anyone
Animate Anyoneは、駆動信号から静止画像を基にキャラクタビデオを生成することを目指しています。拡散モデルの力を活用し、キャラクタアニメーション用に特化した新しいフレームワークを提案します。参照画像における複雑な外観特徴の一貫性を維持するため、空間的注意機構を用いて詳細な特徴を統合するReferenceNetを設計しました。制御可能性と連続性を確保するため、キャラクタの動作をガイドする効率的なポーズガイド機構を導入し、ビデオフレーム間の滑らかなクロスフェードを実現する効果的な時間モデリング手法を採用しています。トレーニングデータの拡張により、任意のキャラクタのアニメーション作成が可能になり、他の画像からビデオへの変換手法と比較して、キャラクタアニメーションにおいて優れた結果を得ています。さらに、ファッションビデオと人間のダンス合成のベンチマークにおいて最先端の結果を達成しました。
AI動画生成
11.4M
AIbase
未来を切り開く、あなたのAIソリューション知識ベース
© 2025AIbase