# 變分自編碼器

這是一個視頻變分自編碼器（VAE），旨在減少視頻冗餘並促進高效視頻生成。該模型通過觀察發現，將圖像VAE直接擴展到3D VAE會引入運動模糊和細節失真，因此提出了時間感知的空間壓縮以更好地編碼和解碼空間信息。此外，該模型還集成了一個輕量級的運動壓縮模型以實現進一步的時間壓縮。通過利用文本到視頻數據集中固有的文本信息，並在模型中加入文本指導，顯著提高了重建質量，特別是在細節保留和時間穩定性方面。該模型還通過在圖像和視頻上進行聯合訓練來提高其通用性，不僅提高了重建質量，還使模型能夠執行圖像和視頻的自編碼。廣泛的評估表明，該方法的性能優於最近的強基線。

LlamaVoice是一個基於羊駝模型的大型語音生成模型，它通過直接預測連續特徵，提供了一種與傳統依賴於離散語音碼預測的向量量化模型相比更為流暢和高效的處理過程。該模型具有連續特徵預測、變分自編碼器(VAE)潛在特徵預測、聯合訓練、先進採樣策略和基於流的增強等關鍵特點。