# DensePose

該產品提供了一種新穎的框架，用於平滑跳切，特別是在對話視頻中。它利用視頻中主體的外觀，通過 DensePose 關鍵點和麵部標誌驅動的中級表示來融合其他源幀中的信息。為了實現運動，它在切割周圍的端幀之間插值關鍵點和標誌。然後使用圖像轉換網絡從關鍵點和源幀合成像素。由於關鍵點可能包含錯誤，因此提出了一種跨模態注意機制，以選擇和為每個關鍵點挑選最合適的源。通過利用這種中級表示，我們的方法可以比強視頻插值基準獲得更強的結果。我們在對話視頻的各種跳切上展示了我們的方法，例如切除填充詞、暫停，甚至隨機切割。我們的實驗表明，即使在對話頭部旋轉或劇烈移動的挑戰性情況下，我們也可以實現無縫過渡。

Vid2DensePose是一個強大的工具，旨在將DensePose模型應用於視頻，為每一幀生成詳細的“部位索引”可視化。該工具在增強動畫方面非常有用，特別是與MagicAnimate結合使用時，能夠實現時間上連貫的人體圖像動畫。