# 3D一致性

CamCo是一個創新的圖像到視頻生成框架，它能夠生成具有3D一致性的高質量視頻。該框架通過Plücker座標引入相機信息，並提出了一種符合幾何一致性的雙線約束注意力模塊。此外，CamCo在通過運動結構算法估計相機姿態的真實世界視頻上進行了微調，以更好地合成物體運動。

DiffPortrait3D是一個條件化難度模型,即使只有野外單張人像照片,也能合成逼真的3D一致新視角。具體來說,給定單張RGB輸入圖像,我們目標是合成從新相機視角渲染的似是而非的面部細節,同時保留身份和麵部表達。我們的零試驗方法可以很好地推廣到任意麵部人像,具有非姿態相機視角,極端面部表情和多種藝術描繪。在其核心,我們利用在大規模圖像數據集上預訓練的2D難度模型的生成先驗作為我們的呈現主幹,同時通過解耦外觀和相機姿勢的定向注意控制來指導去噪。為此,我們首先從參考圖像將外觀上下文注入凍結的UNet的自我注意力層。然後通過一種新穎的條件控制模塊來操縱呈現視圖,該模塊通過觀看來自同一視圖的交叉主體的條件圖像來解釋相機姿勢。 此外,我們插入了一個可訓練的跨視圖注意力模塊來增強視圖一致性,後者通過在推理期間採用一種新的3D感知噪聲生成過程進一步加強。我們在具有挑戰性的野外和多視圖基準測試中定性和定量地證明了最先進的結果。