

Vividtalk
簡介 :
VividTalk是一種一次性音頻驅動的頭像生成技術,基於3D混合先驗。它能夠生成具有表情豐富、自然頭部姿態和唇同步的逼真說唱視頻。該技術採用了兩階段通用框架,支持生成具有上述所有特性的高視覺質量的說唱視頻。具體來說,在第一階段,通過學習兩種運動(非剛性表情運動和剛性頭部運動),將音頻映射到網格。對於表情運動,採用混合形狀和頂點作為中間表示,以最大化模型的表徵能力。對於自然頭部運動,提出了一種新穎的可學習頭部姿勢碼本,並採用兩階段訓練機制。在第二階段,提出了一個雙分支運動VAE和一個生成器,將網格轉換為密集運動,並逐幀合成高質量視頻。大量實驗證明,VividTalk能夠生成具有唇同步和逼真增強的高視覺質量說唱視頻,且在客觀和主觀比較中優於以往的最先進作品。該技術的代碼將在發表後公開發布。
需求人群 :
VividTalk可用於創建逼真的說唱視頻,支持不同風格的面部圖像動畫,適用於多種語言的說唱視頻製作。
使用場景
1. 使用VividTalk生成逼真的說唱視頻,用於虛擬主持人的製作。
2. 利用VividTalk製作卡通風格的音頻驅動頭像生成視頻。
3. 使用VividTalk進行多語言音頻驅動的頭像生成視頻製作。
產品特色
生成逼真、唇同步的說唱視頻
支持不同風格的面部圖像動畫,如人類、寫實和卡通
根據不同的音頻信號創建說唱視頻
比較VividTalk與最先進的方法在唇同步、頭部姿態自然性、身份保留和視頻質量方面的差異
精選AI產品推薦

Sora
Sora是一個基於大規模訓練的文本控制視頻生成擴散模型。它能夠生成長達1分鐘的高清視頻,涵蓋廣泛的視覺數據類型和分辨率。Sora通過在視頻和圖像的壓縮潛在空間中訓練,將其分解為時空位置補丁,實現了可擴展的視頻生成。Sora還展現出一些模擬物理世界和數字世界的能力,如三維一致性和交互,揭示了繼續擴大視頻生成模型規模來發展高能力模擬器的前景。
AI視頻生成
17.2M

Animate Anyone
Animate Anyone旨在通過驅動信號從靜態圖像生成角色視頻。我們利用擴散模型的力量,提出了一個專為角色動畫量身定製的新框架。為了保持參考圖像中複雜外觀特徵的一致性,我們設計了ReferenceNet來通過空間注意力合併詳細特徵。為了確保可控性和連續性,我們引入了一個高效的姿勢指導器來指導角色的動作,並採用了一種有效的時間建模方法,以確保視頻幀之間的平滑跨幀過渡。通過擴展訓練數據,我們的方法可以為任意角色製作動畫,與其他圖像到視頻方法相比,在角色動畫方面取得了出色的結果。此外,我們在時尚視頻和人類舞蹈合成的基準上評估了我們的方法,取得了最先進的結果。
AI視頻生成
11.8M