# 条件付き拡散

UNIMO-Gは、複雑に交錯するテキストと視覚情報の入力を処理するための、シンプルで多様なモダリティに対応した条件付き拡散フレームワークです。2つの主要な構成要素から成り立っています。一つは、多様なモダリティの情報を統合する多様なモダリティ対応大規模言語モデル（MLLM）、もう一つは、エンコードされた多様なモダリティの入力に基づいて画像を生成する条件付きノイズ除去拡散ネットワークです。効率的なフレームワーク構築のため、2段階のトレーニング戦略を採用しています。まず、大規模なテキスト?画像ペアデータで事前学習を行い、条件付き画像生成能力を開発します。次に、多様なモダリティの情報を統合したプロンプトによるファインチューニングを行い、統一的な画像生成能力を実現しています。多様なモダリティのプロンプト構築には、言語接地と画像セグメンテーションを含む、綿密に設計されたデータ処理プロセスを採用しています。UNIMO-Gは、テキストから画像への生成やゼロショットテーマ主導合成において優れた性能を示し、複数の画像エンティティを含む複雑な多様なモダリティのプロンプトから高忠実度の画像を生成する点で非常に有効です。

DiffPortrait3Dは、条件付き拡散モデルです。野外で撮影された一枚の人物写真のみを用いても、リアルで3D整合性のある新たな視点の画像を合成できます。具体的には、一枚のRGB入力画像を与えると、新たなカメラ視点からレンダリングされた、自然で本物らしい顔のディテールを合成することを目標としつつ、同時に、人物のアイデンティティと表情を維持します。本手法は、ポーズの異なるカメラ視点、極端な表情、様々な画風など、あらゆる人物写真に良好に適用できます。その核心においては、大規模画像データセットで事前学習された2D拡散モデルの生成能力を、レンダリングのバックボーンとして活用し、外観とカメラ姿勢を分離した、指向性のあるアテンション制御によってノイズ除去を導きます。そのため、まず、参照画像から、凍結したUNetのセルフアテンション層に外観コンテキストを注入します。次に、新たな条件制御モジュールによってレンダリングビューを操作します。このモジュールは、同一視点のクロスサブジェクト条件画像を見ることで、カメラ姿勢を解釈します。さらに、学習可能なクロスビューアテンションモジュールを挿入することでビューの一貫性を強化し、推論時に新たな3D感知ノイズ生成プロセスを用いることで、その一貫性をさらに高めます。我々は、困難な野外および多視点ベンチマークにおいて、最先端の結果を定性的、定量的に示しました。