# 3Dシーン生成

Stable Virtual Cameraは、Stability AIが開発した13億パラメーターの汎用拡散モデルであり、Transformer画像からビデオへの変換モデルです。その重要性は、新しいビュー合成（NVS）に技術的なサポートを提供することであり、入力ビューとターゲットカメラに基づいて、3D整合性のある新しいシーンビューを生成できます。主な利点としては、ターゲットカメラの軌跡を自由に指定でき、大きな視点の変化と時間的に滑らかなサンプルを生成でき、追加のニューラル放射場（NeRF）蒸留なしで高い整合性を維持でき、さらに最長30秒の高品質でシームレスなループビデオを生成できることが挙げられます。このモデルは、研究および非商業目的でのみ無料で使用でき、研究者や非商業クリエイターに革新的な画像からビデオへの変換ソリューションを提供することを目的としています。

HoloDreamerは、テキスト駆動型の3Dシーン生成フレームワークであり、没入感があり、視点の一貫性のある完全に閉じた3Dシーンを生成できます。2つの基本モジュールで構成されています。スタイル化された等矩形パノラマ生成と、強化された2段階パノラマ再構成です。このフレームワークはまず、高解像度の全景図を完全な3Dシーン全体の初期化として生成し、次に3Dガウス散乱（3D-GS）技術を用いて3Dシーンを高速に再構成することで、視点の一貫性があり完全に閉じた3Dシーンの生成を実現します。HoloDreamerの主な利点には、高い視覚的一貫性、調和性、再構成品質とレンダリングの堅牢性があります。

WonderWorldは革新的な3Dシーン拡張フレームワークです。ユーザーは単一の入力画像とユーザー指定のテキストに基づいて、仮想環境を探求し、形成することができます。高速ガウシアンボクセルとガイド付き拡散による深度推定手法により、計算時間を大幅に削減し、幾何学的に整合性の取れた拡張を生成します。これにより、3Dシーンの生成時間を10秒未満に短縮し、リアルタイムでのユーザーインタラクションと探索を可能にします。これは、仮想現実、ゲーム、クリエイティブデザインなどの分野において、没入型仮想世界の迅速な生成とナビゲーションの可能性を提供します。

Text2Immersionは、テキストプロンプトから高品質な3D没入型シーンを生成する、洗練された手法です。提案するパイプラインは、まずプリトレーニング済みの2D拡散モデルと深度推定モデルを用いて、ガウシアンクラウドを段階的に生成します。次に、生成されたシーンの詳細を向上させるために、ガウシアンクラウドを洗練、補間、精密化します。単一のオブジェクトや室内シーンのみに焦点を当てたり、縮小軌跡を採用する主流の手法とは異なり、当手法は様々なオブジェクトを含む多様なシーンを生成でき、想像上のシーンの作成にも拡張可能です。そのため、Text2Immersionは、VR、ゲーム開発、自動コンテンツ作成など、様々な用途に幅広い影響を与える可能性があります。広範な評価により、当システムがレンダリング品質と多様性において他の手法を凌駕し、テキスト指向の3Dシーン生成をさらに進歩させることが実証されています。

LucidDreamerは、ドメインを限定しない3Dシーン生成技術です。既存の大規模拡散生成モデルの能力を最大限に活用することで、単一のテキストプロンプトまたは単一の画像から、ナビゲーション可能な3Dシーンを生成できます。この手法は、「夢想起動」と「整合」という2つの交互ステップを採用しています。まず、入力に基づいて多視点で整合性のある画像を生成し、次に、新しく生成された3Dシーンの部分を調和的に統合します。LucidDreamerは、きわめて詳細なガウシアンブロブを生成し、従来の3Dシーン生成手法と比べて対象となるシーンのドメインに制限がありません。