

Videoprism
簡介 :
VideoPrism是一個通用的視頻編碼模型,能夠在各種視頻理解任務上取得領先的性能,包括分類、定位、檢索、字幕生成和問答等。其創新點在於預訓練的數據集非常大且多樣,包含3600萬高質量的視頻-文本對,以及5.82億帶有嘈雜文本的視頻剪輯。預訓練採用兩階段策略,先利用對比學習匹配視頻和文本,然後預測遮蔽的視頻塊,充分利用不同的監督信號。一個固定的VideoPrism模型可以直接適配到下游任務,並在30個視頻理解基準上刷新狀態最優成績。
需求人群 :
- 視頻分類、定位\n- 視頻檢索\n- 視頻字幕生成\n- 視頻問答\n- 科學視頻分析
產品特色
- 預訓練數據包含3600萬高質量視頻-文本對,5820萬帶嘈雜文本的視頻剪輯,數據規模最大、質量最高
- 採用兩階段預訓練策略,對比學習匹配視頻和文本,預測遮蔽的視頻塊
- 一個固定模型直接適配下游任務,無需調參和微調
- 在30個視頻理解基準上刷新最優記錄
精選AI產品推薦

Sora
Sora是一個基於大規模訓練的文本控制視頻生成擴散模型。它能夠生成長達1分鐘的高清視頻,涵蓋廣泛的視覺數據類型和分辨率。Sora通過在視頻和圖像的壓縮潛在空間中訓練,將其分解為時空位置補丁,實現了可擴展的視頻生成。Sora還展現出一些模擬物理世界和數字世界的能力,如三維一致性和交互,揭示了繼續擴大視頻生成模型規模來發展高能力模擬器的前景。
AI視頻生成
17.2M

Animate Anyone
Animate Anyone旨在通過驅動信號從靜態圖像生成角色視頻。我們利用擴散模型的力量,提出了一個專為角色動畫量身定製的新框架。為了保持參考圖像中複雜外觀特徵的一致性,我們設計了ReferenceNet來通過空間注意力合併詳細特徵。為了確保可控性和連續性,我們引入了一個高效的姿勢指導器來指導角色的動作,並採用了一種有效的時間建模方法,以確保視頻幀之間的平滑跨幀過渡。通過擴展訓練數據,我們的方法可以為任意角色製作動畫,與其他圖像到視頻方法相比,在角色動畫方面取得了出色的結果。此外,我們在時尚視頻和人類舞蹈合成的基準上評估了我們的方法,取得了最先進的結果。
AI視頻生成
11.8M