# 3Dシーン

SCENICは、テキスト条件に基づくシーンインタラクションモデルです。様々な地形を持つ複雑なシーンにも対応し、自然言語を用いたユーザー指定の意味的制御をサポートします。ユーザーが指定した軌跡を副目標、テキストプロンプトを指示として用いて3Dシーン内をナビゲートします。SCENICは階層的推論によるシーン理解と、動きとテキスト間のフレームアライメントを組み合わせることで、様々な動作スタイル間のシームレスな遷移を実現します。この技術の重要性は、現実の物理法則とユーザー指示に沿ったキャラクターナビゲーション動作を生成できる点にあり、仮想現実、拡張現実、ゲーム開発などの分野で大きな意義を持ちます。

Controllable Human-Object Interaction Synthesis（CHOIS）は、言語記述、初期物体と人間の状態、疎な物体の経路点に基づいて、物体と人間の動きを同時に生成する高度な技術です。この技術は、特に正確な手と物体の接触や地面からの適切な支持が必要な場面において、現実的な人間の行動のシミュレーションに不可欠です。CHOISは、追加の監督情報として物体の幾何学的損失を導入し、サンプリング過程で接触制約を強制するための誘導項を設計することで、生成された物体の動きと入力された経路点のマッチング精度を向上させ、インタラクションの自然さを確保しています。

DimensionXは、ビデオ拡散モデルに基づく3Dおよび4Dシーン生成技術です。一枚の写真から、制御可能な視点と動的な変化を伴う三次元および四次元のシーンを作成できます。この技術の主な利点には、高い柔軟性とリアルさが含まれ、ユーザーが提供するプロンプトに基づいて、様々なスタイルとテーマのシーンを生成できます。DimensionXの背景情報によると、研究者グループによって共同開発され、画像生成技術の発展を促進することを目的としています。現在、この技術は研究開発コミュニティに無料で提供されています。

VividDreamは、単一の入力画像またはテキストプロンプトから、環境ダイナミクスを備えた探索可能な4Dシーンを生成できる革新的な技術です。まず、入力画像を静的な3D点群に拡張し、次にビデオ拡散モデルを使用してアニメーションビデオの集合を生成し、4Dシーン表現を最適化することで、一貫性のある動きと没入感のあるシーン探索を実現します。この技術は、多様な現実的な画像とテキストプロンプトに基づいた魅力的な4D体験の生成を可能にします。

ガウシアンレベル（LoG）は、3Dシーンを効率的にレンダリングするための新しい技術です。ツリー構造でガウシアンプリミティブを格納し、漸進的トレーニング戦略によって画像からエンドツーエンドで再構築することで、局所的最小値を効果的に克服し、数百万平方キロメートルにおよぶ領域のリアルタイムレンダリングを実現します。これは、大規模シーンレンダリングにおける重要な進歩です。

Lixel CyberColor（LCC）は、XGRIDS社が開発した最先端技術製品であり、3Dシーン制作に革命的な変化をもたらします。LCCは、Multi-SLAMテクノロジーとガウス溅射技術を用いて、映画級の高品質な無限大3Dシーンを自動生成します。その最大の特長は、リアルなディテールを正確に捉え、再現することにあり、仮想現実（VR）、ゲーム開発、映画制作など、様々な分野でリアルな体験を提供します。 XGRIDSは、ソフトとハードウェアを統合したソリューションとして、ミクロンからキロメートルレベルの高精度3D再構築とインテリジェント空間計算において卓越した能力を発揮します。Multi-SLAMアルゴリズムと最適化された3DGS技術を採用することで、超リアルな大型3Dモデルを自動作成し、没入感のある体験を提供します。最適化されたアルゴリズムにより、よりリアルなレンダリングを実現し、データ圧縮技術によってモデルサイズを90%削減します。LiDAR統合技術によりセンチメートル単位の高精度モデルを実現し、AI駆動の動的物体除去アルゴリズムも提供します。Unity、Unreal Engine、Web、モバイルプラットフォーム向けプラグインとSDKを提供し、3Dコンテンツ制作を強力にサポートします。

ComfyUI-Dream-InterpreterはComfyUIプラグインで、ユーザーが自身の夢の記述を入力すると、その夢の潜在的な意味を解釈し、パノラマ的な夢の情景画像を生成します。生成されるのは静止画だけでなく、3Dインタラクティブなキャンバスであり、ユーザーはまるでその場にいるかのように自身の夢の世界を探求できます。このプラグインは夢の記述、解釈、生成を組み合わせ、ユーザーに独特な夢体験を提供します。

BlockFusionは、拡散モデルに基づいた3Dシーン生成モデルです。新しいブロックをシームレスにシーンに統合することができます。これは、完全な3Dシーンメッシュからランダムに切り取られた3Dブロックのデータセットをトレーニングすることで実現されています。ブロックごとのフィッティングにより、全てのトレーニングブロックは混合ニューラルフィールドに変換されます。このフィールドは、幾何学的特徴を持つ四面体と、符号付き距離値をデコードするための多層パーセプトロン（MLP）で構成されます。四面体を潜在的な四面体空間に圧縮し、ノイズ除去拡散処理を行うために、変分オートエンコーダが使用されます。潜在表現への拡散の適用により、高品質で多様な3Dシーンの生成が可能になります。シーン生成時にシーンを拡張する場合、既存のシーンと重なるように空のブロックを追加し、既存の潜在四面体を外挿して新しいブロックを埋めます。この外挿は、ノイズ除去の反復処理において、重なっている四面体の特徴サンプルを使用して生成プロセスを調整することで行われます。潜在四面体の外挿により、意味的および幾何学的に整合性のある遷移が生成され、既存のシーンと調和的に融合します。シーン要素の配置と配列を制御するために、2Dレイアウト調整メカニズムが使用されます。実験結果から、BlockFusionは多様で、幾何学的に整合性があり、高品質な屋内外の大規模な3Dシーンを生成できることが示されています。

3D Gaussian Splattingによるデブラーリングは、新しく提案されたラスタ化手法、3Dガウス、およびラスタ化に基づく、神経場を用いた新しいデブラーリングフレームワークです。小型の多層パーセプトロン（MLP）を使用することで、ぼやけた画像から詳細な画像をリアルタイムでレンダリングしながら再構築できます。本手法は、トレーニング中にK-最近傍（KNN）アルゴリズムを用いて追加の点を付加することで点群をより高密度にし、相対深度に基づいて3Dガウスを疎に間引きすることで、より多くの3Dガウスを保持します。複数の実験により、そのデブラーリングにおける有効性が確認されています。

WonderJourneyは、モジュール型のシーン生成フレームワークです。ユーザーが提供する位置情報に基づき、多様で相互に関連付けられた一連の3Dシーンを生成し、想像上の「奇妙な旅」を形成します。言語モデルを用いてシーンのテキスト説明を生成し、テキスト駆動型の点群生成プロセスによって連続した3Dシーンを作成し、大規模検証モデルで生成されたシーンを検証します。WonderJourneyは、様々なタイプとスタイルのシーンを含む、多様な視覚効果を表現します。

Avataarは、生成AI技術を用いて、没入感のある視覚コンテンツ制作機能を提供するプラットフォームです。コード不要で、3D空間シーン、仮想キャラクター、インタラクティブ動画を簡単に作成できます。Avataarはクリエイターのストーリーテリングを効率化し、消費者に優れた視覚体験を提供します。Webベースのノーコードソリューションを提供しており、Google、Apple、またはメールアドレスで簡単にログインできます。Avataarは強力なAI生成機能を備え、視覚的な創作を支援し、作業効率を大幅に向上させます。

Instruct-NeRF2NeRFは、NeRFシーンを指示に基づいて編集するためのエディタです。画像条件付き拡散モデル（InstructPix2Pix）を用いて入力画像を段階的に編集し、同時に基盤となるシーンを最適化することで、編集指示に沿った最適化された3Dシーンを作成します。本手法は、大規模な現実世界のシーンの編集にも対応し、従来手法と比較してよりリアルで、目的意識の高い編集を実現できることを示しました。