# 深度估计

Video Depth Anything 是一个基于深度学习的视频深度估计模型，能够为超长视频提供高质量、时间一致的深度估计。该技术基于 Depth Anything V2 开发，具有强大的泛化能力和稳定性。其主要优点包括对任意长度视频的深度估计能力、时间一致性以及对开放世界视频的良好适应性。该模型由字节跳动的研究团队开发，旨在解决长视频深度估计中的挑战，如时间一致性问题和复杂场景的适应性问题。目前，该模型的代码和演示已公开，供研究人员和开发者使用。

StereoCrafter是一个创新的框架，它利用基础模型作为先验，通过深度估计和立体视频修复技术，将2D视频转换为沉浸式立体3D视频。这项技术突破了传统方法的局限，提高了显示设备所需的高保真度生成性能。StereoCrafter的主要优点包括能够处理不同长度和分辨率的视频输入，以及通过自回归策略和分块处理来优化视频处理。此外，StereoCrafter还开发了复杂的数据处理流程，以重建大规模、高质量的数据集，支持训练过程。这个框架为3D设备（如Apple Vision Pro和3D显示器）创造沉浸式内容提供了实际的解决方案，可能改变我们体验数字媒体的方式。

MegaSaM是一个系统，它允许从动态场景的单目视频中准确、快速、稳健地估计相机参数和深度图。该系统突破了传统结构从运动和单目SLAM技术的局限，这些技术通常假设输入视频主要包含静态场景和大量视差。MegaSaM通过深度视觉SLAM框架的精心修改，能够扩展到真实世界中复杂动态场景的视频，包括具有未知视场和不受限制相机路径的视频。该技术在合成和真实视频上的广泛实验表明，与先前和并行工作相比，MegaSaM在相机姿态和深度估计方面更为准确和稳健，运行时间更快或相当。

Prompt Depth Anything是一种用于高分辨率和高精度度量深度估计的方法。该方法通过使用提示（prompting）技术，激发深度基础模型的潜力，利用iPhone LiDAR作为提示，引导模型产生高达4K分辨率的精确度量深度。此外，该方法还引入了可扩展的数据管道进行训练，并发布了更详细的ScanNet++数据集深度注释。该技术的主要优点包括高分辨率、高精度的深度估计，以及对下游应用如3D重建和通用机器人抓取的益处。

Depth Pro是一个用于单目深度估计的研究项目，它能够快速生成高精度的深度图。该模型利用多尺度视觉变换器进行密集预测，并结合真实与合成数据集进行训练，以实现高准确度和细节捕捉。它在标准GPU上生成2.25百万像素深度图仅需0.3秒，具有速度快、精度高的特点，对于机器视觉和增强现实等领域具有重要意义。

Depth Anything V2 是一个经过改进的单目深度估计模型，它通过使用合成图像和大量未标记的真实图像进行训练，提供了比前一版本更精细、更鲁棒的深度预测。该模型在效率和准确性方面都有显著提升，速度比基于Stable Diffusion的最新模型快10倍以上。

Depth Anything是一个高度实用的解决方案，用于稳健的单目深度估计。我们旨在构建一个简单而强大的基础模型，处理任何情况下的任何图像，而不追求新颖的技术模块。为此，我们通过设计数据引擎来扩大数据集，收集并自动注释大规模未标记数据（约62M），从而显着扩大数据覆盖范围，从而能够减少泛化误差。我们研究了两种简单而有效的策略，使数据扩展变得有前途。首先，通过利用数据增强工具创建更具挑战性的优化目标。它迫使模型积极寻求额外的视觉知识并获得强大的表示。其次，开发了辅助监督，以强制模型从预训练编码器中继承丰富的语义先验。我们对其零-shot能力进行了广泛评估，包括六个公共数据集和随机拍摄的照片。它展现出令人印象深刻的泛化能力。此外，通过使用来自NYUv2和KITTI的度量深度信息对其进行微调，我们建立了新的SOTAs。我们更好的深度模型也导致更好的深度条件ControlNet。我们的模型发布在https://github.com/LiheYoung/Depth-Anything。

Control-LoRA 是通过在 ControlNet 上添加低秩参数优化来实现的，为消费级 GPU 提供了更高效、更紧凑的模型控制方法。该产品包含多个 Control-LoRA 模型，包括 MiDaS 和 ClipDrop 深度估计、Canny 边缘检测、照片和素描上色、Revision 等功能。Control-LoRA 模型经过训练，可以在不同的图像概念和纵横比上生成高质量的图像。

Dpt Depth是一款基于 Dpt 深度估计和 3D 技术的图像处理工具。它可以通过输入的图像快速估计出深度信息，并根据深度信息生成相应的三维模型。Dpt Depth Estimation + 3D 功能强大，易于使用，可广泛应用于计算机视觉、图像处理等领域。该产品提供免费试用版本和付费订阅版本。