X Adapter

X-Adapter是一個通用升級工具，可以使預訓練的插件模塊（例如ControlNet、LoRA）直接與升級的文本到圖像擴散模型（例如SD-XL）配合使用，無需進一步重新訓練。通過訓練額外的網絡來控制凍結的升級模型，X-Adapter保留舊模型的連接器，並添加可訓練的映射層以連接不同版本模型的解碼器進行特徵重映射。重映射的特徵將作為升級模型的引導。為了增強X-Adapter的引導能力，我們採用空文本訓練策略。在訓練後，我們還引入了兩階段去噪策略，以調整X-Adapter和升級模型的初始潛變量。X-Adapter展示了與各種插件的通用兼容性，並使不同版本的插件能夠共同工作，從而擴展了擴散社區的功能。我們進行了大量實驗證明，X-Adapter可能在升級的基礎擴散模型中有更廣泛的應用。