# リアルなレンダリング

PhysGenは、革新的な画像から動画への生成手法です。単一の画像と入力条件（例えば、画像内の物体に作用する力やトルク）から、現実的で物理的に妥当性があり、時間的に一貫性のある動画を生成できます。この技術は、モデルベースの物理シミュレーションとデータ駆動型の動画生成プロセスを組み合わせることで、画像空間における動的シミュレーションを実現しています。PhysGenの主な利点としては、生成された動画が物理的にも視覚的にもリアルで、正確な制御が可能である点が挙げられます。定量的比較と包括的なユーザー調査を通じて、既存のデータ駆動型画像から動画への生成手法における優位性を示しています。

MaPaは、テキスト記述に基づいて3Dメッシュのマテリアルを生成する革新的な手法です。この技術は、セグメント化された手続き型マテリアルマップを作成することで外観を表現し、高品質なレンダリングと優れた編集性を両立しています。事前学習済みの2D拡散モデルを活用することで、膨大な対応データなしに、テキスト記述とマテリアルマップの橋渡しを実現します。形状を複数の部分に分割し、各セグメントを制御する拡散モデルを設計することで、メッシュ部分に合わせた2D画像を合成し、マテリアルマップのパラメータを初期化します。さらに、微分可能なレンダリングモジュールを用いて微調整を行い、テキスト記述に合致するマテリアルを生成します。広範な実験により、MaPaはリアルさ、解像度、編集可能性において既存技術を凌駕することが示されています。

URHandは、異なる視点、姿勢、照明、アイデンティティ間で汎化可能な、初の汎用光照ハンドモデルです。このモデルは、携帯電話で撮影した画像を用いて少量の撮影によるパーソナライズが可能であり、新しい照明条件下でリアルなレンダリングを実現できます。ニューラルネットワークによる多視点ハンド画像の照明に基づき、強力な汎用光照事前知識を構築しました。空間的に変化する線形照明モデルを採用し、物理学に基づいた陰影を入力特徴量として用いるニューラルレンダラーを提案します。非線形活性化関数とバイアスを除去することで、独自設計の照明モデルは光伝達の線形性を明確に維持しています。さらに、物理ベースのモデルとニューラル照明モデルの連携学習を取り入れることで、忠実度と汎化性能を向上させています。数多くの実験により、本手法は既存の手法を質と汎化能力の両方において凌駕することが示されました。また、これまで見たことのないアイデンティティに対して、携帯電話から迅速にパーソナライズする方法も示しています。