X Adapter

X-Adapterは、プリトレーニング済みのプラグインモジュール（ControlNet、LoRAなど）を、アップグレードされたテキストツーイメージ拡散モデル（SD-XLなど）と直接使用できるようにする汎用アップグレードツールです。追加のトレーニングなしで利用可能です。凍結されたアップグレードモデルを制御するために追加のネットワークを学習させることで、X-Adapterは旧モデルのコネクタを維持し、異なるバージョンのモデルのデコーダを接続するための学習可能なマッピング層を追加して、特徴量を再マッピングします。再マッピングされた特徴量は、アップグレードされたモデルのガイドとして機能します。X-Adapterのガイド能力を強化するために、空テキストトレーニング戦略を採用しています。トレーニング後には、X-Adapterとアップグレードされたモデルの初期潜在変数を調整するために、二段階ノイズ除去戦略も導入しています。X-Adapterは様々なプラグインとの汎用互換性を示し、異なるバージョンのプラグインが連携して動作できるようになり、拡散コミュニティの機能を拡張します。数多くの実験により、X-Adapterはアップグレードされた基本拡散モデルで幅広い応用が期待できることが示されています。