# 文本引導

VideoPainter 是一款基於深度學習的視頻修復和編輯工具，採用預訓練的擴散變換器模型，結合輕量級背景上下文編碼器和 ID 重採樣技術，能夠實現高質量的視頻修復和編輯。該技術的重要性在於它突破了傳統視頻修復方法在長度和複雜度上的限制，為視頻創作者提供了一種高效、靈活的工具。產品目前處於研究階段，暫未明確價格，主要面向視頻編輯領域的專業用戶和研究人員。

MelodyFlow是一個基於文本控制的高保真音樂生成和編輯模型，它使用連續潛在表示序列，避免了離散表示的信息丟失問題。該模型基於擴散變換器架構，經過流匹配目標訓練，能夠生成和編輯多樣化的高質量立體聲樣本，且具有文本描述的簡單性。MelodyFlow還探索了一種新的正則化潛在反轉方法，用於零樣本測試時的文本引導編輯，並展示了其在多種音樂編輯提示中的優越性能。該模型在客觀和主觀指標上進行了評估，證明了其在標準文本到音樂基準測試中的質量與效率上與評估基線相當，並且在音樂編輯方面超越了以往的最先進技術。

Diffree是一個基於文本引導的圖像修復模型，它能夠通過文本描述來添加新對象到圖像中，同時保持背景的一致性、空間適宜性和對象的相關性和質量。該模型通過訓練在OABench數據集上，使用穩定擴散模型和額外的掩碼預測模塊，能夠獨特地預測新對象的位置，實現僅通過文本指導的對象添加。

ClotheDreamer是一個基於3D高斯的文本引導服裝生成模型，能夠從文本描述生成高保真的、可穿戴的3D服裝資產。它採用了一種新穎的表示方法Disentangled Clothe Gaussian Splatting (DCGS)，允許服裝和人體分別進行優化。該技術通過雙向Score Distillation Sampling (SDS)來提高服裝和人體渲染的質量，並支持自定義服裝模板輸入。ClotheDreamer的合成3D服裝可以輕鬆應用於虛擬試穿，並支持物理精確的動畫。

DreamWalk是一種基於擴散指引的文本感知圖像生成方法,可對圖像的風格和內容進行細粒度控制,無需對擴散模型進行微調或修改內部層。支持多種風格插值和空間變化的引導函數,可廣泛應用於各種擴散模型。

SceneWiz3D是一種新穎的方法，可以從文本中合成高保真的3D場景。它採用混合的3D表示，對對象採用顯式表示，對場景採用隱式表示。用戶可以通過傳統的文本到3D方法或自行提供對象來生成對象。為了配置場景佈局並自動放置對象，我們在優化過程中應用了粒子群優化技術。此外，在文本到場景的情況下，對於場景的某些部分（例如角落、遮擋），很難獲得多視角監督，導致幾何形狀劣質。為了緩解這種監督缺失，我們引入了RGBD全景擴散模型作為額外先驗，從而實現了高質量的幾何形狀。廣泛的評估支持我們的方法實現了比以前的方法更高的質量，可以生成詳細且視角一致的3D場景。

RERENDER A VIDEO是一種新穎的零樣本文本引導的視頻到視頻翻譯框架，用於將圖像模型應用於視頻領域。該框架包括兩個部分：關鍵幀翻譯和完整視頻翻譯。第一部分使用適應性擴散模型生成關鍵幀，並應用分層跨幀約束來確保形狀、紋理和顏色的一致性。第二部分通過時間感知的補丁匹配和幀混合將關鍵幀傳播到其他幀。我們的框架以低成本實現了全局風格和局部紋理的時間一致性（無需重新訓練或優化）。該適應性與現有的圖像擴散技術兼容，使我們的框架能夠利用它們，例如使用LoRA自定義特定主題，並使用ControlNet引入額外的空間引導。大量實驗證明了我們提出的框架在呈現高質量和時間一致性視頻方面的有效性。

MagicAvatar是一個多模態框架，能夠將各種輸入模式（文本、視頻和音頻）轉換為運動信號，從而生成/動畫化頭像。它可以通過簡單的文本提示創建頭像，也可以根據給定的源視頻創建遵循給定運動的頭像。此外，它還可以動畫化特定主題的頭像。MagicAvatar的優勢在於它能夠將多種輸入模式結合起來，生成高質量的頭像和動畫。