

Make Your Anchor
簡介 :
Make-Your-Anchor是一個基於擴散模型的2D虛擬形象生成框架。它只需一段1分鐘左右的視頻素材就可以自動生成具有精確上身和手部動作的主播風格視頻。該系統採用了一種結構引導的擴散模型來將3D網格狀態渲染成人物外觀。通過兩階段訓練策略,有效地將運動與特定外觀相綁定。為了生成任意長度的時序視頻,將frame-wise擴散模型的2D U-Net擴展到3D形式,並提出簡單有效的批重疊時序去噪模塊,從而突破推理時的視頻長度限制。最後,引入了一種基於特定身份的面部增強模塊,提高輸出視頻中面部區域的視覺質量。實驗表明,該系統在視覺質量、時序一致性和身份保真度方面均優於現有技術。
需求人群 :
生成具有全身動作的2D虛擬視頻形象,可用於視頻直播、虛擬主播、動畫角色等場景
產品特色
只需1分鐘視頻素材即可生成主播風格視頻
精確重現上身和手部動作
結構引導的擴散模型將3D網格渲染為人物外觀
兩階段訓練策略將運動與外觀綁定
3D U-Net和批重疊時序去噪實現任意長度視頻生成
特定身份面部增強模塊提升面部區域視覺質量
精選AI產品推薦

Sora
Sora是一個基於大規模訓練的文本控制視頻生成擴散模型。它能夠生成長達1分鐘的高清視頻,涵蓋廣泛的視覺數據類型和分辨率。Sora通過在視頻和圖像的壓縮潛在空間中訓練,將其分解為時空位置補丁,實現了可擴展的視頻生成。Sora還展現出一些模擬物理世界和數字世界的能力,如三維一致性和交互,揭示了繼續擴大視頻生成模型規模來發展高能力模擬器的前景。
AI視頻生成
17.2M

Animate Anyone
Animate Anyone旨在通過驅動信號從靜態圖像生成角色視頻。我們利用擴散模型的力量,提出了一個專為角色動畫量身定製的新框架。為了保持參考圖像中複雜外觀特徵的一致性,我們設計了ReferenceNet來通過空間注意力合併詳細特徵。為了確保可控性和連續性,我們引入了一個高效的姿勢指導器來指導角色的動作,並採用了一種有效的時間建模方法,以確保視頻幀之間的平滑跨幀過渡。通過擴展訓練數據,我們的方法可以為任意角色製作動畫,與其他圖像到視頻方法相比,在角色動畫方面取得了出色的結果。此外,我們在時尚視頻和人類舞蹈合成的基準上評估了我們的方法,取得了最先進的結果。
AI視頻生成
11.8M