

Generative Rendering:2D Mesh
簡介 :
傳統的3D內容創作工具賦予用戶直接控制場景的幾何形狀、外觀、動作和攝像機路徑,從而將他們的想象變為現實。然而,創建計算機生成的視頻是一個繁瑣的手動過程,可以通過新興的文本到視頻擴散模型實現自動化。儘管前景廣闊,視頻擴散模型難以控制,限制了用戶應用自己的創造力,而不是放大它。為了解決這一挑戰,我們提出了一種新穎的方法,將動態3D網格的可控性與新興擴散模型的表現力和可編輯性相結合。為此,我們的方法以動畫化的低保真度渲染網格作為輸入,並將從動態網格獲得的地面真實對應信息注入預訓練的文本到圖像生成模型的各個階段,以輸出高質量和時間一致的幀。我們在各種示例上演示了我們的方法,其中動作可以通過對綁定資產進行動畫化或改變攝像機路徑來獲得。
需求人群 :
適用於需要生成控制視頻的場景,例如動畫製作、特效製作等
使用場景
動畫製作:利用生成渲染模型創建逼真的動畫場景
特效製作:使用該模型生成特效視頻片段
影視後期製作:應用於電影或電視節目的後期特效製作
產品特色
接受來自動畫3D場景的UV和深度貼圖作為輸入
使用深度條件的ControlNet生成對應幀,同時利用UV對應關係保持一致性
初始化每個對象UV空間中的噪聲,然後將其渲染到每個圖像中
對於每個擴散步驟,首先為一組關鍵幀使用擴展注意力並提取它們的預處理和後處理注意力特徵
將後處理注意力特徵投影到UV空間並統一
最後,使用擴展注意力的輸出與關鍵幀的預處理特徵以及關鍵幀的UV組合後處理特徵的加權組合生成所有幀
精選AI產品推薦

Sora
Sora是一個基於大規模訓練的文本控制視頻生成擴散模型。它能夠生成長達1分鐘的高清視頻,涵蓋廣泛的視覺數據類型和分辨率。Sora通過在視頻和圖像的壓縮潛在空間中訓練,將其分解為時空位置補丁,實現了可擴展的視頻生成。Sora還展現出一些模擬物理世界和數字世界的能力,如三維一致性和交互,揭示了繼續擴大視頻生成模型規模來發展高能力模擬器的前景。
AI視頻生成
17.2M

Animate Anyone
Animate Anyone旨在通過驅動信號從靜態圖像生成角色視頻。我們利用擴散模型的力量,提出了一個專為角色動畫量身定製的新框架。為了保持參考圖像中複雜外觀特徵的一致性,我們設計了ReferenceNet來通過空間注意力合併詳細特徵。為了確保可控性和連續性,我們引入了一個高效的姿勢指導器來指導角色的動作,並採用了一種有效的時間建模方法,以確保視頻幀之間的平滑跨幀過渡。通過擴展訓練數據,我們的方法可以為任意角色製作動畫,與其他圖像到視頻方法相比,在角色動畫方面取得了出色的結果。此外,我們在時尚視頻和人類舞蹈合成的基準上評估了我們的方法,取得了最先進的結果。
AI視頻生成
11.8M