Generative Rendering:2D mesh
G
Generative Rendering:2D Mesh
簡介 :
傳統的3D內容創作工具賦予用戶直接控制場景的幾何形狀、外觀、動作和攝像機路徑,從而將他們的想象變為現實。然而,創建計算機生成的視頻是一個繁瑣的手動過程,可以通過新興的文本到視頻擴散模型實現自動化。儘管前景廣闊,視頻擴散模型難以控制,限制了用戶應用自己的創造力,而不是放大它。為了解決這一挑戰,我們提出了一種新穎的方法,將動態3D網格的可控性與新興擴散模型的表現力和可編輯性相結合。為此,我們的方法以動畫化的低保真度渲染網格作為輸入,並將從動態網格獲得的地面真實對應信息注入預訓練的文本到圖像生成模型的各個階段,以輸出高質量和時間一致的幀。我們在各種示例上演示了我們的方法,其中動作可以通過對綁定資產進行動畫化或改變攝像機路徑來獲得。
需求人群 :
適用於需要生成控制視頻的場景,例如動畫製作、特效製作等
總訪問量: 101
佔比最多地區: ES(69.29%)
本站瀏覽量 : 59.1K
使用場景
動畫製作:利用生成渲染模型創建逼真的動畫場景
特效製作:使用該模型生成特效視頻片段
影視後期製作:應用於電影或電視節目的後期特效製作
產品特色
接受來自動畫3D場景的UV和深度貼圖作為輸入
使用深度條件的ControlNet生成對應幀,同時利用UV對應關係保持一致性
初始化每個對象UV空間中的噪聲,然後將其渲染到每個圖像中
對於每個擴散步驟,首先為一組關鍵幀使用擴展注意力並提取它們的預處理和後處理注意力特徵
將後處理注意力特徵投影到UV空間並統一
最後,使用擴展注意力的輸出與關鍵幀的預處理特徵以及關鍵幀的UV組合後處理特徵的加權組合生成所有幀
AIbase
智啟未來,您的人工智能解決方案智庫
© 2025AIbase