# 潛在擴散模型

DiffRhythm 是一種創新的音樂生成模型，利用潛在擴散技術實現了快速且高質量的全麴生成。該技術突破了傳統音樂生成方法的限制，無需複雜的多階段架構和繁瑣的數據準備，僅需歌詞和風格提示即可在短時間內生成長達 4 分 45 秒的完整歌曲。其非自迴歸結構確保了快速的推理速度，極大地提升了音樂創作的效率和可擴展性。該模型由西北工業大學音頻、語音和語言處理小組（ASLP@NPU）和香港中文大學（深圳）大數據研究院共同開發，旨在為音樂創作提供一種簡單、高效且富有創造力的解決方案。

StructLDM是一個結構化潛在擴散模型，用於從2D圖像學習3D人體生成。它能夠生成多樣化的視角一致的人體，並支持不同級別的可控生成和編輯，如組合生成和局部服裝編輯等。該模型在無需服裝類型或掩碼條件的情況下，實現了服裝無關的生成和編輯。項目由南洋理工大學S-Lab的Tao Hu、Fangzhou Hong和Ziwei Liu提出，相關論文發表於ECCV 2024。

SHMT是一種自監督的層次化化妝遷移技術，通過潛在擴散模型實現。該技術能夠在不需要顯式標註的情況下，將一種面部妝容自然地遷移到另一種面部上。其主要優點在於能夠處理複雜的面部特徵和表情變化，提供高質量的遷移效果。該技術在NeurIPS 2024上被接受，展示了其在圖像處理領域的創新性和實用性。

AnyDressing 是一種創新的虛擬試穿技術，通過潛在擴散模型實現多服裝的個性化定製。該技術能夠根據用戶提供的服裝組合和個性化文本提示生成逼真的虛擬試穿圖像。其主要優點包括高精度的服裝紋理細節處理、與多種插件的兼容性以及強大的場景適應能力。AnyDressing 的背景信息顯示，它是由字節跳動和清華大學的研究團隊共同開發的，旨在推動虛擬試穿技術的發展。該產品目前處於研究階段，尚未定價，主要面向學術研究和效果展示。

LatentSync 是由字節跳動開發的一款基於音頻條件的潛在擴散模型的唇部同步框架。它能夠直接利用 Stable Diffusion 的強大能力，無需任何中間運動表示，即可建模複雜的音視頻關聯。該框架通過提出的時間表示對齊（TREPA）技術，有效提升了生成視頻幀的時間一致性，同時保持了唇部同步的準確性。該技術在視頻製作、虛擬主播、動畫製作等領域具有重要應用價值，能夠顯著提高製作效率，降低人工成本，為用戶帶來更加逼真、自然的視聽體驗。LatentSync 的開源特性也使其能夠被廣泛應用於學術研究和工業實踐，推動相關技術的發展和創新。

VISION XL是一個利用潛在擴散模型解決高清視頻逆問題的框架。它通過偽批量一致性採樣策略和批量一致性反演方法，優化了視頻處理的效率和時間，支持多種比例和高分辨率重建。該技術的主要優點包括支持多比例和高分辨率重建、內存和採樣時間效率、使用開源潛在擴散模型SDXL。它通過集成SDXL，在各種時空逆問題上實現了最先進的視頻重建，包括複雜的幀平均和各種空間退化的組合，如去模糊、超分辨率和修復。

LayerDiffusion 是一種使大規模預訓練潛在擴散模型能夠生成透明圖像的方法。該方法允許生成單個透明圖像或多個透明圖層。它學習了一種 “潛在透明度”，將 Alpha 通道透明度編碼到預訓練潛在擴散模型的潛在空間中。通過將添加的透明度調節為潛在偏移，最小程度地改變預訓練模型的原始潛在分佈，以保留大型擴散模型的生產就緒質量。通過調整潛在空間對其進行微調，可以將任何潛在擴散模型轉換為透明圖像生成器。我們使用人機協作收集的 100 萬個透明圖像層對對模型進行訓練。我們展示了潛在透明度可以應用於不同的開源圖像生成器，或者適應於各種條件控制系統，實現前景 / 背景條件圖層生成，聯合圖層生成，圖層內容結構控制等應用。用戶研究發現，在大多數情況下（97%），用戶更喜歡我們本地生成的透明內容，而不是之前的臨時解決方案，比如生成然後摳圖。用戶還報告說，我們生成的透明圖像的質量與 Adobe Stock 等真實商業透明資產相媲美。

Stable Video Diffusion (SVD) 1.1 Image-to-Video 是一個擴散模型，通過將靜止圖像作為條件幀，生成相應的視頻。該模型是一個潛在擴散模型，經過訓練，能夠從圖像生成短視頻片段。在分辨率為 1024x576 的情況下，該模型訓練生成 25 幀視頻，其訓練基於相同大小的上下文幀，並從 SVD Image-to-Video [25 frames] 進行了微調。微調時，固定了6FPS和Motion Bucket Id 127的條件，以提高輸出的一致性，而無需調整超參數。

Stable Signature是一種將水印嵌入圖像中的方法，它使用潛在擴散模型（LDM）來提取和嵌入水印。該方法具有高度的穩定性和魯棒性，可以在多種攻擊下保持水印的可讀性。Stable Signature提供了預訓練模型和代碼實現，用戶可以使用它來嵌入和提取水印。