StableIdentity是一個基於大型預訓練文本到圖像模型的最新進展，能夠實現高質量的以人為中心的生成。與現有方法不同的是，StableIdentity能夠確保穩定的身份保留和靈活的可編輯性，即使在訓練過程中只使用了每個主體的一張面部圖像。它利用面部編碼器和身份先驗對輸入的面部進行編碼，然後將面部表示投射到一個可編輯的先驗空間中。通過結合身份先驗和可編輯性先驗，學習到的身份可以在各種上下文中注入。此外，StableIdentity還設計了一個掩蔽的兩階段擴散損失，以提升對輸入面部的像素級感知，並保持生成的多樣性。大量實驗證明，StableIdentity的性能優於以往的定製方法。學習到的身份還可以靈活地與ControlNet等現成模塊結合使用。值得注意的是，我們是首個能夠直接將從單張圖像學習到的身份注入到視頻/3D生成中而無需微調的方法。我們相信，StableIdentity是統一圖像、視頻和3D定製生成模型的重要一步。