

Text To Video Generation
簡介 :
該產品是一種用於評價文本到視頻生成質量的工具。它引入了一種新的評價指標,即文本到視頻評分(T2VScore)。該評分整合了兩個關鍵標準:(1)文本-視頻對齊,用於審查視頻在呈現給定文本描述方面的忠實度;(2)視頻質量,評估視頻的整體制作水平。此外,為了評估提出的指標並促進未來對其的改進,該產品提供了TVGE數據集,收集了對2,543個文本到視頻生成視頻在這兩個標準上的人類判斷。對TVGE數據集的實驗表明,提出的T2VScore在為文本到視頻生成提供更好的評價指標方面表現出優越性。
需求人群 :
用於評估文本到視頻生成的質量,研究人員和開發人員可以使用該工具來提高文本到視頻生成的質量,並進行評估和改進。
使用場景
研究人員使用文本到視頻評價工具來評估他們的生成模型。
開發人員使用文本到視頻評價工具來改進他們的文本到視頻生成算法。
數據科學家使用文本到視頻評價工具來評估生成視頻的質量。
產品特色
評估文本到視頻生成的質量
引入新的評價指標T2VScore
提供TVGE數據集,用於評估和改進指標
精選AI產品推薦

Sora
Sora是一個基於大規模訓練的文本控制視頻生成擴散模型。它能夠生成長達1分鐘的高清視頻,涵蓋廣泛的視覺數據類型和分辨率。Sora通過在視頻和圖像的壓縮潛在空間中訓練,將其分解為時空位置補丁,實現了可擴展的視頻生成。Sora還展現出一些模擬物理世界和數字世界的能力,如三維一致性和交互,揭示了繼續擴大視頻生成模型規模來發展高能力模擬器的前景。
AI視頻生成
17.2M

Animate Anyone
Animate Anyone旨在通過驅動信號從靜態圖像生成角色視頻。我們利用擴散模型的力量,提出了一個專為角色動畫量身定製的新框架。為了保持參考圖像中複雜外觀特徵的一致性,我們設計了ReferenceNet來通過空間注意力合併詳細特徵。為了確保可控性和連續性,我們引入了一個高效的姿勢指導器來指導角色的動作,並採用了一種有效的時間建模方法,以確保視頻幀之間的平滑跨幀過渡。通過擴展訓練數據,我們的方法可以為任意角色製作動畫,與其他圖像到視頻方法相比,在角色動畫方面取得了出色的結果。此外,我們在時尚視頻和人類舞蹈合成的基準上評估了我們的方法,取得了最先進的結果。
AI視頻生成
11.8M