

PRISMA
簡介 :
PRISMA是一個計算攝影管道,可以從任何圖像或視頻中執行多種推斷。就像光線通過稜鏡折射成不同的波長一樣,這個管道將圖像擴展成可用於3D重建或即時後期處理操作的數據。它結合了不同的算法和開源的預訓練模型,比如單目深度(MiDAS v3.1, ZoeDepth, Marigold, PatchFusion)、光流(RAFT)、分割掩模(mmdet)、相機姿態(colmap)等。結果帶存儲在與輸入文件同名的文件夾中,每個band以.png或.mp4文件的形式單獨存儲。對於視頻,在最後一步,它會嘗試執行稀疏重建,可用於NeRF(如NVidia的Instant-ngp)或高斯擴散訓練。推斷出的深度信息默認導出為可以使用LYGIA的heatmap GLSL/HLSL採樣即時解碼的熱度圖,而光流編碼為HUE(角度)和飽和度,也可以使用LYGIA的光流GLSL/HLSL採樣器即時解碼。
需求人群 :
["3D重建","圖像/視頻後期處理","生成NeRFs訓練數據"]
使用場景
從圖像中提取多種band信息進行分析
從視頻中獲取深度/光流信息製作3D效果
作為NeRF網絡的數據源進行訓練
產品特色
單目深度推斷
光流估計
圖像分割
相機姿態估計
稀疏3D重建