# 高保真

TaoAvatar 是一種高保真、輕量級的 3D 高斯噴濺技術（3DGS）全身虛擬人頭像，能夠生成個性化的全身動態頭像，廣泛應用於增強現實等場景。它的主要優點是能夠在各種移動設備上以 90 FPS 的高幀率即時渲染，適配 Apple Vision Pro 等高分辨率設備，為用戶提供沉浸式體驗。

Animate Anyone 2 是一種基於擴散模型的角色圖像動畫技術，能夠生成與環境高度適配的動畫。它通過提取環境表示作為條件輸入，解決了傳統方法中角色與環境缺乏合理關聯的問題。該技術的主要優點包括高保真度、環境適配性強以及動態動作處理能力出色。它適用於需要高質量動畫生成的場景，如影視製作、遊戲開發等領域，能夠幫助創作者快速生成具有環境交互的角色動畫，節省時間和成本。

GaussianSpeech是一種新穎的方法，它能夠從語音信號中合成高保真度的動畫序列，創建逼真、個性化的3D人頭化身。該技術通過結合語音信號與3D高斯繪製技術，捕捉人類頭部表情和細節動作，包括皮膚皺褶和更細微的面部運動。GaussianSpeech的主要優點包括即時渲染速度、自然的視覺動態效果，以及能夠呈現多樣化的面部表情和風格。該技術背後是大規模多視角音頻-視覺序列數據集的創建，以及音頻條件變換模型的開發，這些模型能夠直接從音頻輸入中提取唇部和表情特徵。

CHANGER是一個創新的工業級頭部混合技術，通過色鍵技術實現高保真度的頭部混合效果，特別適用於視覺效果(VFX)、數字人物創建和虛擬頭像等領域。該技術通過分離背景集成和前景混合，利用色鍵生成無瑕疵的背景，並引入頭部形狀和長髮增強(H^2增強)以及前景預測性注意力轉換器(FPAT)模塊，以提高對各種真實世界情況的泛化能力。CHANGER的主要優點包括高保真度、工業級結果、以及對真實世界案例的廣泛適用性。

MelodyFlow是一個基於文本控制的高保真音樂生成和編輯模型，它使用連續潛在表示序列，避免了離散表示的信息丟失問題。該模型基於擴散變換器架構，經過流匹配目標訓練，能夠生成和編輯多樣化的高質量立體聲樣本，且具有文本描述的簡單性。MelodyFlow還探索了一種新的正則化潛在反轉方法，用於零樣本測試時的文本引導編輯，並展示了其在多種音樂編輯提示中的優越性能。該模型在客觀和主觀指標上進行了評估，證明了其在標準文本到音樂基準測試中的質量與效率上與評估基線相當，並且在音樂編輯方面超越了以往的最先進技術。

這是一個先進的視頻生成模型，採用 AsymmDiT 架構，可免費試用。它能生成高保真視頻，縮小了開源與閉源視頻生成系統的差距。模型需要至少 4 個 H100 GPU 運行。

HelloMeme是一個集成了空間編織注意力的擴散模型，旨在將高保真和豐富的條件嵌入到圖像生成過程中。該技術通過提取驅動視頻中的每一幀特徵，並將其作為輸入到HMControlModule，從而生成視頻。通過進一步優化Animatediff模塊，提高了生成視頻的連續性和保真度。此外，HelloMeme還支持通過ARKit面部混合形狀控制生成的面部表情，以及基於SD1.5的Lora或Checkpoint，實現了框架的熱插拔適配器，不會影響T2I模型的泛化能力。

Stable-Hair 是一種新穎的基於擴散模型的髮型轉移方法，能夠穩健地將真實世界的多樣化髮型轉移到用戶提供的面部圖像上，用於虛擬試戴。該方法在處理複雜和多樣化的髮型時表現出色，能夠保持原有身份內容和結構，同時實現高度詳細和高保真的轉移效果。

Freditor是一種基於頻域分解的NeRF編輯方法。它可以實現高保真的NeRF場景編輯,並且可遷移到其他場景。該方法將NeRF場景劃分為高頻和低頻兩部分,對低頻部分進行風格遷移,並將高頻細節重新集成,從而生成高保真的編輯結果。Freditor還支持在推理過程中對編輯強度進行控制。實驗表明,該方法在保真度和可遷移性方面都優於現有的NeRF編輯方法。

MuseV是一個基於擴散模型的虛擬人視頻生成框架,支持無限長度視頻生成,採用了新穎的視覺條件並行去噪方案。它提供了預訓練的虛擬人視頻生成模型,支持Image2Video、Text2Image2Video、Video2Video等功能,兼容Stable Diffusion生態系統,包括基礎模型、LoRA、ControlNet等。它支持多參考圖像技術,如IPAdapter、ReferenceOnly、ReferenceNet、IPAdapterFaceID等。MuseV的優勢在於可生成高保真無限長度視頻,定位於視頻生成領域。

Stability AI 高保真文本轉語音模型旨在提供對大規模數據集進行訓練的語音合成模型的自然語言引導。它通過標註不同的說話者身份、風格和錄音條件來進行自然語言引導。然後將此方法應用於45000小時的數據集，用於訓練語音語言模型。此外，該模型提出了提高音頻保真度的簡單方法，儘管完全依賴於發現的數據，但在很大程度上表現出色。

4D-fy是一種文本到4D生成方法，通過混合分數蒸餾採樣技術，結合了多種預訓練擴散模型的監督信號，實現了高保真的文本到4D場景生成。其方法通過神經表示參數化4D輻射場，使用靜態和動態多尺度哈希表特徵，並利用體積渲染從表示中渲染圖像和視頻。通過混合分數蒸餾採樣，首先使用3D感知文本到圖像模型（3D-T2I）的梯度來優化表示，然後結合文本到圖像模型（T2I）的梯度來改善外觀，最後結合文本到視頻模型（T2V）的梯度來增加場景的運動。4D-fy可以生成具有引人入勝外觀、3D結構和運動的4D場景。

MagicEdit是一款高保真、時間連貫的視頻編輯模型，通過明確分離外觀和運動的學習，支持視頻風格化、局部編輯、視頻混合和視頻外擴等多種編輯應用。MagicEdit還支持視頻外擴任務，無需重新訓練即可實現。