

Videoprism
紹介 :
VideoPrismは汎用的な動画エンコーディングモデルであり、分類、物体検出、検索、字幕生成、質疑応答など、様々な動画理解タスクにおいて最先端の性能を実現します。その革新的な点は、3600万本の高品質な動画?テキストペアと、5億8200万本のノイズを含むテキスト付き動画クリップを含む、非常に大規模かつ多様なデータセットを用いて事前学習されている点にあります。事前学習には二段階戦略を採用しており、まずコントラスト学習を用いて動画とテキストをマッチングさせ、次にマスクされた動画ブロックを予測することで、異なる教師信号を最大限に活用しています。単一のVideoPrismモデルを直接下流タスクに適用でき、30個の動画理解ベンチマークにおいて最先端の性能を達成しています。
ターゲットユーザー :
- 動画分類、物体検出\n- 動画検索\n- 動画字幕生成\n- 動画質疑応答\n- 科学動画分析
製品特徴
- 事前学習データは、3600万本の高品質な動画?テキストペアと、5820万本のノイズを含むテキスト付き動画クリップで構成されており、データ規模と品質において最高レベルです。
- 二段階事前学習戦略を採用し、コントラスト学習による動画とテキストのマッチングと、マスクされた動画ブロックの予測を行います。
- 単一の固定モデルで下流タスクに直接適用でき、パラメータ調整や微調整は不要です。
- 30個の動画理解ベンチマークにおいて最先端記録を更新しました。
おすすめAI製品

Sora
Soraは、大規模データで学習されたテキスト制御型ビデオ生成拡散モデルです。1分間の高解像度ビデオ生成が可能で、幅広い視覚データの種類と解像度に対応します。ビデオと画像の圧縮潜在空間で学習することで、時空間的位置パッチに分解し、スケーラブルなビデオ生成を実現しています。また、三次元の一貫性やインタラクションなど、物理世界とデジタル世界の挙動をある程度シミュレートできる能力を示しており、高性能シミュレータの開発に向けて、ビデオ生成モデルの大規模化が有望であることを示唆しています。
AI動画生成
17.0M

Animate Anyone
Animate Anyoneは、駆動信号から静止画像を基にキャラクタビデオを生成することを目指しています。拡散モデルの力を活用し、キャラクタアニメーション用に特化した新しいフレームワークを提案します。参照画像における複雑な外観特徴の一貫性を維持するため、空間的注意機構を用いて詳細な特徴を統合するReferenceNetを設計しました。制御可能性と連続性を確保するため、キャラクタの動作をガイドする効率的なポーズガイド機構を導入し、ビデオフレーム間の滑らかなクロスフェードを実現する効果的な時間モデリング手法を採用しています。トレーニングデータの拡張により、任意のキャラクタのアニメーション作成が可能になり、他の画像からビデオへの変換手法と比較して、キャラクタアニメーションにおいて優れた結果を得ています。さらに、ファッションビデオと人間のダンス合成のベンチマークにおいて最先端の結果を達成しました。
AI動画生成
11.4M