

SC GS
簡介 :
SC-GS是一種新型表示技術,將動態場景的運動和外觀分別用稀疏控制點和密集高斯函數表示。它使用少量控制點學習緊湊的6自由度變換基,這些基可通過插值權重在局部插值,得到3D高斯函數的運動場。它採用變形MLP預測每個控制點的時變6自由度變換,降低學習複雜度,增強學習能力,實現時空連貫的運動模式。同時聯合學習3D高斯函數、控制點的規範空間位置和變形MLP,重建3D場景的外觀、幾何和動態。在訓練過程中,控制點的位置和數量會自適應調整以適應不同區域的運動複雜度,並採用盡可能剛性的損失函數強制運動的空間連續性和局部剛性。由於運動表示的顯式稀疏性和外觀分離,該方法實現了用戶控制的運動編輯,同時保留高保真度外觀。大量實驗表明,該方法在新視圖合成和高速渲染方面優於現有方法,並支持新的保留外觀的運動編輯應用。
需求人群 :
新視圖合成、高保真動畫生成、特效製作、運動補全、虛擬現實等
使用場景
影視特效製作中的動態場景渲染
虛擬現實/增強現實應用中的真實場景建模和交互
通過編輯控制網格來修改3D動畫運動序列
產品特色
將動態場景分解為稀疏控制點(運動表示)和密集高斯函數(外觀表示)
使用變形MLP預測每個控制點的時變6自由度變換
根據控制點插值得到3D高斯函數的運動場
聯合學習高斯函數、控制點位置和變形MLP
自適應調整控制點位置和數量
使用盡可能剛性損失函數約束運動連續性和局部剛性
支持用戶交互式編輯控制點對應的運動
精選AI產品推薦

Sora
Sora是一個基於大規模訓練的文本控制視頻生成擴散模型。它能夠生成長達1分鐘的高清視頻,涵蓋廣泛的視覺數據類型和分辨率。Sora通過在視頻和圖像的壓縮潛在空間中訓練,將其分解為時空位置補丁,實現了可擴展的視頻生成。Sora還展現出一些模擬物理世界和數字世界的能力,如三維一致性和交互,揭示了繼續擴大視頻生成模型規模來發展高能力模擬器的前景。
AI視頻生成
17.2M

Animate Anyone
Animate Anyone旨在通過驅動信號從靜態圖像生成角色視頻。我們利用擴散模型的力量,提出了一個專為角色動畫量身定製的新框架。為了保持參考圖像中複雜外觀特徵的一致性,我們設計了ReferenceNet來通過空間注意力合併詳細特徵。為了確保可控性和連續性,我們引入了一個高效的姿勢指導器來指導角色的動作,並採用了一種有效的時間建模方法,以確保視頻幀之間的平滑跨幀過渡。通過擴展訓練數據,我們的方法可以為任意角色製作動畫,與其他圖像到視頻方法相比,在角色動畫方面取得了出色的結果。此外,我們在時尚視頻和人類舞蹈合成的基準上評估了我們的方法,取得了最先進的結果。
AI視頻生成
11.8M