# 深度推定

Video Depth Anythingは、深層学習に基づく動画深度推定モデルであり、超長動画に対して高品質で時間的に一貫性のある深度推定を提供します。Depth Anything V2をベースに開発されており、強力な汎化能力と安定性を備えています。主な利点としては、任意の長さの動画への対応、時間的一貫性、そしてオープンワールド動画への優れた適応性などが挙げられます。本モデルは、バイトダンス（ByteDance）の研究チームによって開発され、時間的一貫性や複雑なシーンへの対応といった、長動画の深度推定における課題解決を目指しています。現在、コードとデモが公開されており、研究者や開発者が利用できます。

StereoCrafterは、基礎モデルを事前情報として利用し、深度推定と立体ビデオ修復技術によって2Dビデオを没入型立体3Dビデオに変換する革新的なフレームワークです。この技術は従来の方法の限界を突破し、表示デバイスに必要な高忠実度な生成性能を向上させます。StereoCrafterの主な利点には、様々な長さや解像度のビデオ入力に対応できること、自己回帰戦略とブロック処理によってビデオ処理を最適化できることなどが挙げられます。さらに、大規模で高品質なデータセットを再構築するための複雑なデータ処理プロセスを開発し、トレーニングプロセスをサポートしています。このフレームワークは、Apple Vision Proや3Dディスプレイなどの3Dデバイス向けに没入型コンテンツを作成するための現実的なソリューションを提供し、デジタルメディアの体験方法を変える可能性を秘めています。

MegaSaMは、動的シーンの単眼ビデオから、正確で、高速で、堅牢なカメラパラメータと深度マップの推定を可能にするシステムです。本システムは、入力ビデオが主に静的シーンと多くの視差を含むと仮定する従来のStructure from Motionや単眼SLAM技術の限界を突破します。MegaSaMは、深度ビジュアルSLAMフレームワークを綿密に改良することで、未知の視野角を持ち、カメラの移動経路に制限のないビデオを含む、現実世界の複雑な動的シーンのビデオにも対応できます。合成ビデオと実ビデオにおける広範な実験により、MegaSaMは、以前の研究や並行研究と比較して、カメラ姿勢と深度推定においてより正確で堅牢であり、実行時間も同等か、またはより高速であることが示されました。

Prompt Depth Anythingは、高解像度かつ高精度な距離測定深度推定を行う手法です。この手法は、プロンプト（指示）技術を用いて深度基礎モデルの潜在能力を引き出し、iPhone LiDARをプロンプトとして利用することで、最大4K解像度の高精度距離測定深度を生成します。さらに、拡張可能なデータパイプラインを導入してトレーニングを行い、より詳細なScanNet++データセットの深度アノテーションを公開しました。この技術の主な利点には、高解像度、高精度の深度推定、そして3D再構成や汎用ロボット把持などの下流アプリケーションへの利点があります。

Depth Proは、高精度な深度マップを高速に生成する単眼深度推定のための研究プロジェクトです。このモデルは、多尺度ビジョン変換器を用いて高密度予測を行い、実データと合成データの両方を用いたトレーニングによって、高精度と詳細な描写を実現しています。標準的なGPU上で225万ピクセルの深度マップをわずか0.3秒で生成でき、高速性と高精度を両立しています。機械視覚や拡張現実など、幅広い分野で重要な役割を果たします。

Depth Anything V2は、合成画像と大量の未ラベル付けの現実画像を用いた学習により、前バージョンよりも精細で堅牢な深度予測を提供する、改良された単眼深度推定モデルです。効率性と正確性の両面で大幅な向上を達成しており、Stable Diffusionベースの最新モデルと比較して10倍以上の高速化を実現しています。

Depth Anythingは、堅牢な単眼深度推定のための非常に実用的なソリューションです。私たちは、新規の技術モジュールを追求するのではなく、あらゆる状況におけるあらゆる画像を処理できる、シンプルで強力な基礎モデルの構築を目指しました。そのため、データエンジンを設計してデータセットを拡張し、大規模な未ラベルデータ（約6200万枚）を収集および自動アノテーションすることで、データカバレッジを大幅に拡大し、汎化誤差の低減を実現しました。データ拡張を有望なものにするために、2つのシンプルかつ効果的な戦略を研究しました。まず、データ拡張ツールを活用して、より挑戦的な最適化目標を作成します。これにより、モデルは積極的に追加の視覚情報を求め、強力な表現を獲得することを余儀なくされます。次に、事前学習済みエンコーダーから豊富な意味的事前情報を継承させるための補助的な監督を開発しました。6つの公開データセットとランダムに撮影された写真を含む、そのゼロショット能力について広範な評価を行いました。その汎化能力は非常に印象的です。さらに、NYUv2とKITTIからのメトリック深度情報を使用して微調整することにより、新たな最先端技術（SOTA）を確立しました。私たちの改良された深度モデルは、より優れた深度条件付きControlNetをもたらしました。私たちのモデルはhttps://github.com/LiheYoung/Depth-Anythingで公開されています。

Control-LoRAは、ControlNetに低ランクパラメータ最適化を追加することで実現され、消費電力レベルのGPUでもより効率的でコンパクトなモデル制御手法を提供します。この製品には、MiDaSやClipDropによる深度推定、Cannyエッジ検出、写真やスケッチの色付け、リビジョンなどの機能を含む複数のControl-LoRAモデルが含まれています。Control-LoRAモデルは、様々な画像概念とアスペクト比において高品質な画像生成を行うよう訓練されています。

Dpt深度推定は、Dpt深度推定と3D技術に基づいた画像処理ツールです。入力画像から深度情報を迅速に推定し、その深度情報に基づいて3次元モデルを生成できます。Dpt深度推定＋3Dは機能が豊富で使いやすく、コンピュータビジョン、画像処理などの分野で幅広く活用できます。無料トライアル版と有料サブスクリプション版を提供しています。