# 3D再構成

Prompt Depth Anythingは、高解像度かつ高精度な距離測定深度推定を行う手法です。この手法は、プロンプト（指示）技術を用いて深度基礎モデルの潜在能力を引き出し、iPhone LiDARをプロンプトとして利用することで、最大4K解像度の高精度距離測定深度を生成します。さらに、拡張可能なデータパイプラインを導入してトレーニングを行い、より詳細なScanNet++データセットの深度アノテーションを公開しました。この技術の主な利点には、高解像度、高精度の深度推定、そして3D再構成や汎用ロボット把持などの下流アプリケーションへの利点があります。

Ouroboros3Dは、拡散モデルに基づく多視点画像生成と3D再構成を再帰的拡散プロセスに統合した、統一的な3D生成フレームワークです。本フレームワークは、自己条件付け機構を用いてこれらの2つのモジュールを共同学習させることで、相互に適応し、堅牢な推論を実現します。多視点ノイズ除去プロセスにおいて、多視点拡散モデルは、前の時間ステップで再構成モジュールによってレンダリングされた3D感知マップを追加的な条件として使用します。再帰的拡散フレームワークと3D感知フィードバックの組み合わせにより、幾何学的整合性が向上します。実験結果から、Ouroboros3Dフレームワークは、これら2つの段階を個別に学習する方法や、推論段階でそれらを組み合わせる既存の方法よりも優れた性能を示すことが明らかになりました。

DiffHumanは、確率的な光学的リアリティの高い3D人体再構成手法です。一枚のRGB画像から、3D人体モデルの確率分布を予測し、反復的なノイズ除去サンプリングにより、ディテールが豊かで色彩鮮やかな複数の3D人体モデルを生成します。既存の決定論的方法と比較して、DiffHumanは未知または不確実な領域において、より詳細な再構成結果を生成できます。同時に、高速レンダリングのための生成ネットワークを導入することで、推論速度を大幅に向上させています。

DUSt3Rは、任意の画像集合に適用可能な、新規の高密度かつ制約のないステレオ3D再構成手法です。カメラキャリブレーション情報や視点姿勢情報を事前に知る必要がなく、ペアワイズ再構成問題を点群の回帰問題として捉えることで、従来の投影カメラモデルの厳密な制約を緩和します。DUSt3Rは、単眼および両眼再構成手法を統一的に提供し、多画像の場合にはシンプルかつ効果的なグローバルアライメント戦略を提案しています。強力な事前学習済みモデルを活用し、標準的なTransformerエンコーダとデコーダを用いてネットワークアーキテクチャを構築しています。DUSt3Rは、シーンの3Dモデルと深度情報を直接提供し、そこからピクセルマッチング、相対的および絶対的なカメラ情報を復元することができます。

ComfyUI 3Dパックは、ComfyUI向けの高機能な3D処理プラグイン集です。3Dモデル（メッシュ、テクスチャなど）の処理機能を提供し、3Dガウシアンサンプリング、NeRF微分可能レンダリングなど、最先端の3D再構成およびレンダリングアルゴリズムを統合しています。単一視点画像からの3Dガウシアンモデルの高速再構成、三角メッシュモデルへの変換、そしてインタラクティブな3Dビジュアライゼーションインターフェースを実現します。

Repaint123は、単一の画像から高品質で多視点の一貫性のある3Dコンテンツをわずか2分で生成します。2D散乱モデルによる強力な画像生成能力と、漸進的再描画戦略によるテクスチャアライメント能力を組み合わせることで、高品質で視点の一貫性のある多視点画像を生成し、視覚的知覚に基づいた適応的な再描画強度によって再描画過程の画像品質を向上させます。生成された高品質で多視点の一貫性のある画像は、単純な平均二乗誤差損失関数によって高速な3Dコンテンツ生成を実現します。

ReconFusionは、少量の写真のみを用いて現実世界のシーンを再構成する3D再構成手法です。ニューラル放射場（NeRF）と拡散事前情報を組み合わせることで、入力画像集合を超える新しいカメラ位置において、リアルな幾何形状とテクスチャを合成できます。少量のビューと多ビューのデータセットで拡散事前情報を学習させることで、制約のない領域でリアルな幾何形状とテクスチャを合成し、同時に観測領域の外観を維持できます。ReconFusionは、前方シーンと360度シーンを含む様々な現実世界のデータセットで幅広く評価されており、顕著な性能向上を示しています。

PanoHeadは、360°幾何認識3Dフルヘッド合成手法です。野外非構造化画像のみを用いた学習で、高品質かつビューの一貫性を保った360°フルヘッド画像合成を実現し、様々な外観と詳細な形状を備えています。

Chupaは、拡散モデルの生成能力とニューラルレンダリング技術を組み合わせた、多様でリアルな3D人体を生成するパイプラインです。様々なポーズの人体にも容易に適用でき、リアルな結果を得ることができます。ChupaはSMPL-Xメッシュから、潜在空間において多様で高品質な人体メッシュを生成します。