DiffPortrait3Dは、条件付き拡散モデルです。野外で撮影された一枚の人物写真のみを用いても、リアルで3D整合性のある新たな視点の画像を合成できます。具体的には、一枚のRGB入力画像を与えると、新たなカメラ視点からレンダリングされた、自然で本物らしい顔のディテールを合成することを目標としつつ、同時に、人物のアイデンティティと表情を維持します。本手法は、ポーズの異なるカメラ視点、極端な表情、様々な画風など、あらゆる人物写真に良好に適用できます。その核心においては、大規模画像データセットで事前学習された2D拡散モデルの生成能力を、レンダリングのバックボーンとして活用し、外観とカメラ姿勢を分離した、指向性のあるアテンション制御によってノイズ除去を導きます。そのため、まず、参照画像から、凍結したUNetのセルフアテンション層に外観コンテキストを注入します。次に、新たな条件制御モジュールによってレンダリングビューを操作します。このモジュールは、同一視点のクロスサブジェクト条件画像を見ることで、カメラ姿勢を解釈します。さらに、学習可能なクロスビューアテンションモジュールを挿入することでビューの一貫性を強化し、推論時に新たな3D感知ノイズ生成プロセスを用いることで、その一貫性をさらに高めます。我々は、困難な野外および多視点ベンチマークにおいて、最先端の結果を定性的、定量的に示しました。