# 計算攝影

PRISMA是一個計算攝影管道,可以從任何圖像或視頻中執行多種推斷。就像光線通過稜鏡折射成不同的波長一樣,這個管道將圖像擴展成可用於3D重建或即時後期處理操作的數據。它結合了不同的算法和開源的預訓練模型,比如單目深度(MiDAS v3.1, ZoeDepth, Marigold, PatchFusion)、光流(RAFT)、分割掩模(mmdet)、相機姿態(colmap)等。結果帶存儲在與輸入文件同名的文件夾中,每個band以.png或.mp4文件的形式單獨存儲。對於視頻,在最後一步,它會嘗試執行稀疏重建,可用於NeRF(如NVidia的Instant-ngp)或高斯擴散訓練。推斷出的深度信息默認導出為可以使用LYGIA的heatmap GLSL/HLSL採樣即時解碼的熱度圖,而光流編碼為HUE(角度)和飽和度,也可以使用LYGIA的光流GLSL/HLSL採樣器即時解碼。

DiffusionLight是一項利用擴散模型在單張輸入圖像中估算照明效果的技術。它利用訓練好的Stable Diffusion XL模型繪製一個鏡面反射球,然後將球體展開得到全景照明圖。該技術解決了現有基於神經網絡的方法依賴有限HDR全景數據集導致在真實複雜場景下效果不佳的問題。關鍵創新在於發現了擴散噪聲圖和鏡面反射球生成質量之間的關係,迭代生成高質量鏡面球;以及通過LoRA 進行多曝光訓練,使LDR模型也可以輸出HDR格式。該技術可產生逼真的照明估計,特別適用於野外場景。