# 深度估計

Video Depth Anything 是一個基於深度學習的視頻深度估計模型，能夠為超長視頻提供高質量、時間一致的深度估計。該技術基於 Depth Anything V2 開發，具有強大的泛化能力和穩定性。其主要優點包括對任意長度視頻的深度估計能力、時間一致性以及對開放世界視頻的良好適應性。該模型由字節跳動的研究團隊開發，旨在解決長視頻深度估計中的挑戰，如時間一致性問題和複雜場景的適應性問題。目前，該模型的代碼和演示已公開，供研究人員和開發者使用。

StereoCrafter是一個創新的框架，它利用基礎模型作為先驗，通過深度估計和立體視頻修復技術，將2D視頻轉換為沉浸式立體3D視頻。這項技術突破了傳統方法的侷限，提高了顯示設備所需的高保真度生成性能。StereoCrafter的主要優點包括能夠處理不同長度和分辨率的視頻輸入，以及通過自迴歸策略和分塊處理來優化視頻處理。此外，StereoCrafter還開發了複雜的數據處理流程，以重建大規模、高質量的數據集，支持訓練過程。這個框架為3D設備（如Apple Vision Pro和3D顯示器）創造沉浸式內容提供了實際的解決方案，可能改變我們體驗數字媒體的方式。

MegaSaM是一個系統，它允許從動態場景的單目視頻中準確、快速、穩健地估計相機參數和深度圖。該系統突破了傳統結構從運動和單目SLAM技術的侷限，這些技術通常假設輸入視頻主要包含靜態場景和大量視差。MegaSaM通過深度視覺SLAM框架的精心修改，能夠擴展到真實世界中複雜動態場景的視頻，包括具有未知視場和不受限制相機路徑的視頻。該技術在合成和真實視頻上的廣泛實驗表明，與先前和並行工作相比，MegaSaM在相機姿態和深度估計方面更為準確和穩健，運行時間更快或相當。

Prompt Depth Anything是一種用於高分辨率和高精度度量深度估計的方法。該方法通過使用提示（prompting）技術，激發深度基礎模型的潛力，利用iPhone LiDAR作為提示，引導模型產生高達4K分辨率的精確度量深度。此外，該方法還引入了可擴展的數據管道進行訓練，併發布了更詳細的ScanNet++數據集深度註釋。該技術的主要優點包括高分辨率、高精度的深度估計，以及對下游應用如3D重建和通用機器人抓取的益處。

Depth Pro是一個用於單目深度估計的研究項目，它能夠快速生成高精度的深度圖。該模型利用多尺度視覺變換器進行密集預測，並結合真實與合成數據集進行訓練，以實現高準確度和細節捕捉。它在標準GPU上生成2.25百萬像素深度圖僅需0.3秒，具有速度快、精度高的特點，對於機器視覺和增強現實等領域具有重要意義。

Depth Anything V2 是一個經過改進的單目深度估計模型，它通過使用合成圖像和大量未標記的真實圖像進行訓練，提供了比前一版本更精細、更魯棒的深度預測。該模型在效率和準確性方面都有顯著提升，速度比基於Stable Diffusion的最新模型快10倍以上。

Depth Anything是一個高度實用的解決方案，用於穩健的單目深度估計。我們旨在構建一個簡單而強大的基礎模型，處理任何情況下的任何圖像，而不追求新穎的技術模塊。為此，我們通過設計數據引擎來擴大數據集，收集並自動註釋大規模未標記數據（約62M），從而顯著擴大數據覆蓋範圍，從而能夠減少泛化誤差。我們研究了兩種簡單而有效的策略，使數據擴展變得有前途。首先，通過利用數據增強工具創建更具挑戰性的優化目標。它迫使模型積極尋求額外的視覺知識並獲得強大的表示。其次，開發了輔助監督，以強制模型從預訓練編碼器中繼承豐富的語義先驗。我們對其零-shot能力進行了廣泛評估，包括六個公共數據集和隨機拍攝的照片。它展現出令人印象深刻的泛化能力。此外，通過使用來自NYUv2和KITTI的度量深度信息對其進行微調，我們建立了新的SOTAs。我們更好的深度模型也導致更好的深度條件ControlNet。我們的模型發佈在https://github.com/LiheYoung/Depth-Anything。

Control-LoRA 是通過在 ControlNet 上添加低秩參數優化來實現的，為消費級 GPU 提供了更高效、更緊湊的模型控制方法。該產品包含多個 Control-LoRA 模型，包括 MiDaS 和 ClipDrop 深度估計、Canny 邊緣檢測、照片和素描上色、Revision 等功能。Control-LoRA 模型經過訓練，可以在不同的圖像概念和縱橫比上生成高質量的圖像。

Dpt Depth是一款基於 Dpt 深度估計和 3D 技術的圖像處理工具。它可以通過輸入的圖像快速估計出深度信息，並根據深度信息生成相應的三維模型。Dpt Depth Estimation + 3D 功能強大，易於使用，可廣泛應用於計算機視覺、圖像處理等領域。該產品提供免費試用版本和付費訂閱版本。