

Designedit
簡介 :
DesignEdit是一款集成了各種空間感知圖像編輯功能的統一框架。它通過將空間感知圖像編輯任務分解為多層潛在表徵的分解和融合兩個子任務來實現。首先將源圖像的潛在表徵分割為多個層,包括若干個目標層和一個需要可靠修復的不完整背景層。為了避免額外的調優,我們進一步探索了self-attention機制內部的修復能力,引入了一種key-masking self-attention方案,能夠在遮蔽區域傳播周圍的上下文信息,同時降低對遮蔽區域外的影響。其次,我們提出了一種基於指令的潛在融合方法,將多層潛在表徵貼在畫布潛在空間上。我們還引入了一種潛在空間的偽影抑制機制來增強修復質量。由於這種多層表徵固有的模塊化優勢,我們可以實現精確的圖像編輯,並且我們的方法在多個編輯任務上都取得了出色的表現,超越了最新的空間編輯方法。
需求人群 :
用於各種精確的圖像編輯場景,如對象移除、多目標編輯、攝像頭平移、裝飾移除、字體編輯等
使用場景
在源圖像上移除某個目標對象
在源圖像上交換、重新擺放、調整大小、添加或翻轉多個目標對象
在源圖像上進行攝像頭平移或縮放操作
產品特色
多層次潛在表徵分解
基於指令的潛在融合
自注意力機制的內部修復能力
潛在空間的偽影抑制
支持多種精確圖像編輯任務