# 多視角視頻

Pippo 是由 Meta Reality Labs 和多所高校合作開發的生成模型，能夠從單張普通照片生成高分辨率的多人視角視頻。該技術的核心優勢在於無需額外輸入（如參數化模型或相機參數），即可生成高質量的 1K 分辨率視頻。它基於多視角擴散變換器架構，具有廣泛的應用前景，如虛擬現實、影視製作等。Pippo 的代碼已開源，但不包含預訓練權重，用戶需要自行訓練模型。

AvatarPose是一種用於從稀疏多視角視頻中估計多個緊密互動人的3D姿態和形狀的方法。該技術通過重建每個人的個性化隱式神經化身，並將其作為先驗，通過顏色和輪廓渲染損失來細化姿態，顯著提高了在緊密互動中估計3D姿態的魯棒性和精確度。

XHand是由浙江大學開發的一個即時生成高細節表達性手勢頭像的模型。它通過多視角視頻創建，並利用MANO姿勢參數生成高細節的網格和渲染圖，實現了在不同姿勢下的即時渲染。XHand在圖像真實感和渲染質量上具有顯著優勢，特別是在擴展現實和遊戲領域，能夠即時渲染出逼真的手部圖像。

Stable Video 4D (SV4D) 是基於 Stable Video Diffusion (SVD) 和 Stable Video 3D (SV3D) 的生成模型，它接受單一視角的視頻並生成該對象的多個新視角視頻（4D 圖像矩陣）。該模型訓練生成 40 幀（5 個視頻幀 x 8 個攝像機視角）在 576x576 分辨率下，給定 5 個相同大小的參考幀。通過運行 SV3D 生成軌道視頻，然後使用軌道視頻作為 SV4D 的參考視圖，並輸入視頻作為參考幀，進行 4D 採樣。該模型還通過使用生成的第一幀作為錨點，然後密集採樣（插值）剩餘幀來生成更長的新視角視頻。