# 稀疏控制

DreamMesh4D是一個結合了網格表示與稀疏控制變形技術的新型框架，能夠從單目視頻中生成高質量的4D對象。該技術通過結合隱式神經輻射場（NeRF）或顯式的高斯繪製作為底層表示，解決了傳統方法在空間-時間一致性和表面紋理質量方面的挑戰。DreamMesh4D利用現代3D動畫流程的靈感，將高斯繪製綁定到三角網格表面，實現了紋理和網格頂點的可微優化。該框架開始於由單圖像3D生成方法提供的粗糙網格，通過均勻採樣稀疏點來構建變形圖，以提高計算效率並提供額外的約束。通過兩階段學習，結合參考視圖光度損失、得分蒸餾損失以及其他正則化損失，實現了靜態表面高斯和網格頂點以及動態變形網絡的學習。DreamMesh4D在渲染質量和空間-時間一致性方面優於以往的視頻到4D生成方法，並且其基於網格的表示與現代幾何流程兼容，展示了其在3D遊戲和電影行業的潛力。

SparseCtrl是為了增強對文本到視頻生成的控制性而開發的，它能夠靈活地結合稀疏信號進行結構控制，只需一個或少量輸入。它包括一個額外的條件編碼器來處理這些稀疏信號，同時不影響預訓練的文本到視頻模型。該方法兼容各種形式，包括素描、深度和RGB圖像，為視頻生成提供更實用的控制，並推動故事板、深度渲染、關鍵幀動畫和插值等應用。大量實驗證明了SparseCtrl在原始和個性化文本到視頻生成器上的泛化能力。