# 零樣本

Spark-TTS 是一種基於大語言模型的高效文本到語音合成模型，具有單流解耦語音令牌的特性。它利用大語言模型的強大能力，直接從代碼預測的音頻進行重建，省略了額外的聲學特徵生成模型，從而提高了效率並降低了複雜性。該模型支持零樣本文本到語音合成，能夠跨語言和代碼切換場景，非常適合需要高自然度和準確性的語音合成應用。它還支持虛擬語音創建，用戶可以通過調整參數（如性別、音高和語速）來生成不同的語音。該模型的背景是為了解決傳統語音合成系統中效率低下和複雜性高的問題，旨在為研究和生產提供高效、靈活且強大的解決方案。目前，該模型主要面向學術研究和合法應用，如個性化語音合成、輔助技術和語言研究等。

Binoculars是一個先進的AI生成文本檢測工具,無需訓練數據即可零配置使用。它的檢測思路非常簡單明瞭:大多數只用decoder的因果語言模型在預訓練時使用了大量相同的數據集,例如Common Crawl、Pile等。更多關於該方法及其效果的信息請參閱我們的論文《用雙目鏡發現LLM: 機器生成文本的零樣本檢測》。

AnyDoor 是一種基於擴散的圖像生成器，可以在用戶指定的位置將目標對象以和諧的方式傳送到新場景中。我們的模型只需要訓練一次，就可以輕鬆推廣到不同的對象和場景組合中，無需為每個對象調整參數。為了充分描述某個特定對象，我們除了使用常用的身份特徵外，還補充了細節特徵，這些特徵經過精心設計，既能保持紋理細節，又能允許多樣的局部變化（如光照、方向、姿勢等），從而使對象與不同的環境更好地融合。我們還提出從視頻數據集中借用知識的方法，在視頻數據集中可以觀察到同一對象的各種形態（沿時間軸），從而增強模型的泛化能力和魯棒性。大量實驗證明了我們方法的優越性，以及它在虛擬試穿和物體移動等實際應用中的巨大潛力。

AnimateZero是一款零樣本圖像動畫生成器，通過分離外觀和運動生成視頻，解決了黑盒、低效、不可控等問題。它可以通過零樣本修改將預訓練的T2V模型轉換為I2V模型，從而實現零樣本圖像動畫生成。AnimateZero還可以用於視頻編輯、幀插值、循環視頻生成和真實圖像動畫等場景，具有較高的主觀質量和匹配度。

RERENDER A VIDEO是一種新穎的零樣本文本引導的視頻到視頻翻譯框架，用於將圖像模型應用於視頻領域。該框架包括兩個部分：關鍵幀翻譯和完整視頻翻譯。第一部分使用適應性擴散模型生成關鍵幀，並應用分層跨幀約束來確保形狀、紋理和顏色的一致性。第二部分通過時間感知的補丁匹配和幀混合將關鍵幀傳播到其他幀。我們的框架以低成本實現了全局風格和局部紋理的時間一致性（無需重新訓練或優化）。該適應性與現有的圖像擴散技術兼容，使我們的框架能夠利用它們，例如使用LoRA自定義特定主題，並使用ControlNet引入額外的空間引導。大量實驗證明了我們提出的框架在呈現高質量和時間一致性視頻方面的有效性。