# 画像復元

InstantIRは、拡散モデルに基づいた盲画像復元手法です。テスト時に未知の劣化問題に対処し、モデルの汎化能力を向上させます。この技術は、推論過程で参照画像を生成することで生成条件を動的に調整し、堅牢な生成条件を提供します。InstantIRの主な利点には、極端に劣化している画像の詳細の復元、リアルなテクスチャの提供、そしてテキストによる記述で参照画像の調整を行い、創造的な画像復元を実現できることが挙げられます。この技術は、北京大学、InstantXチーム、香港中文大学の研究者によって共同開発され、Hugging Faceとfal.aiの支援を受けています。

PMRF（Posterior-Mean Rectified Flow、後方平均修正フロー）は、新しく提案された画像復元アルゴリズムであり、画像復元タスクにおける歪みと知覚品質のトレードオフ問題に対処することを目的としています。後方平均と修正フローを組み合わせることで、画像の歪みを低減しつつ、知覚品質を維持できる革新的な画像復元フレームワークを実現します。

Posterior-Mean Rectified Flow（PMRF）は、事後平均と修正流モデルを最適化することで平均二乗誤差（MSE）を最小化し、同時に画像のリアリティを確保する、革新的な画像復元アルゴリズムです。PMRFアルゴリズムはシンプルで効率的であり、その理論的基礎は、事後平均予測（最小二乗誤差推定）を真の画像分布に一致させるように最適化することにあります。このアルゴリズムは画像復元タスクにおいて優れた性能を示し、ノイズ、ぼけなど様々な劣化問題に対処でき、良好な知覚品質を実現します。

AI Image Extenderは、人工知能技術を利用して画像の境界線を拡張するツールです。生成された新しいコンテンツは既存の画像とシームレスに融合し、画像の視覚的な広がりを強化します。高度なAIアルゴリズムにより、画像の内容を正確に認識し、自然な遷移で拡張領域を生成します。画像の拡張や背景生成が必要な様々なシーンで活用できます。

本論文では、双枢軸調整と呼ばれるシンプルかつ効果的なパーソナライズド画像復元手法を提案します。この手法は2つのステップから構成されます。1) 条件付き生成モデルを微調整することで、エンコーダ内の条件情報を利用してパーソナライズを実現します。2) 生成モデルを固定し、エンコーダのパラメータを調整することで、強化されたパーソナライズ事前分布に適合させます。これにより、パーソナライズされた顔の特徴と画像劣化属性を維持した自然な画像を生成できます。実験により、非パーソナライズ手法と比較して、より高忠実度の顔画像を生成できることが示されました。

DiffBIRは、生成拡散事前確率に基づくブラインド画像復元モデルです。2段階のプロセスで画像の劣化を除去し、ディテールを細密化します。DiffBIRの強みは、高品質な画像復元結果を提供し、柔軟なパラメータ設定により、忠実度と画質のバランスを調整できる点です。このモデルは無料で使用できます。