# ニューラルレンダリング

XHandは、浙江大学が開発した、高精細で表現力豊かな手部アバターをリアルタイムで生成するモデルです。多視点ビデオを用いて作成され、MANO姿勢パラメータを利用して高精細なメッシュとレンダリング画像を生成することで、様々なポーズでのリアルタイムレンダリングを実現しています。XHandは画像のリアルさおよびレンダリング品質において顕著な優位性を持ち、特に拡張現実やゲーム分野において、リアルな手部画像を即座にレンダリングすることができます。

この製品は、ニューラルボリュームレンダリングに基づいた手法を学習する3D GAN技術です。これにより、前例のない詳細さで、きめ細やかな3Dジオメトリを解析できます。学習型サンプラーを採用することで3D GANのトレーニングを高速化し、少ない深さサンプリングで、トレーニング時と推論時の両方において、フル解像度画像の各ピクセルを直接レンダリングします。同時に、高品質な表面ジオメトリを学習し、高解像度の3Dジオメトリと厳密な視点一致の画像を合成します。FFHQとAFHQにおいて最先端の3D幾何品質を示し、3D GANにおける教師なし学習の新たな基準を確立しました。

NeROICは、オンライン画像集合から物体の表現を取得する新たな手法です。異なるカメラ、照明、背景を持つ写真において、任意の物体の高品質な幾何学的および材質的特性を捉えることができます。これは、新たな視点合成、再照明、調和のとれた背景合成など、物体中心のレンダリングアプリケーションに利用できます。ニューラル放射場の多段階手法を拡張することで、まず表面幾何形状を推定し、粗い推定値の初期カメラパラメータを改善すると同時に、粗い前景オブジェクトマスクを利用してトレーニング効率と幾何学的品質を向上させます。また、幾何学的ノイズの影響を排除しつつ、重要なディテールを維持できる堅牢な法線推定技術も導入しています。最後に、球面調和関数で表現される表面材質特性と環境光を抽出し、鋭い影などの時間的要素も処理します。これらの要素を組み合わせることで、高度にモジュール化され効率的な物体取得フレームワークが形成されます。広範な評価と比較により、レンダリングアプリケーションに用いる高品質な幾何学的および外観特性の取得における本手法の優位性が示されています。

Luma AIは、AI技術に特化した企業です。革新的な技術により、ユーザーはスマートフォンを使って必要な3Dモデルを迅速に生成できます。豊富な3Dコンピュータビジョン経験を持つチームによって設立され、その技術はNeural Radiance Fieldsに基づいており、少数の2D画像から3Dシーンをモデリングできます。Dream Machineは、テキストと画像から直接、高品質でリアルなビデオを迅速に生成できるAIモデルです。ビデオ用に特化してトレーニングされた、高度に拡張可能で効率的なトランスフォーマーモデルであり、物理的に正確で一貫性があり、イベントに満ちた映像を生成できます。Dream Machineは、汎用的な想像力エンジンを構築する第一歩であり、現在誰でも利用できます。