# 音頻驅動

JoyGen 是一種創新的音頻驅動 3D 深度感知說話人臉視頻生成技術。它通過音頻驅動唇部動作生成和視覺外觀合成，解決了傳統技術中唇部與音頻不同步和視覺質量差的問題。該技術在多語言環境下表現出色，尤其針對中文語境進行了優化。其主要優點包括高精度的唇音同步、高質量的視覺效果以及對多語言的支持。該技術適用於視頻編輯、虛擬主播、動畫製作等領域，具有廣泛的應用前景。

LiteAvatar是一個音頻驅動的即時2D頭像生成模型，主要用於即時聊天場景。該模型通過高效的語音識別和嘴型參數預測技術，結合輕量級的2D人臉生成模型，能夠在僅使用CPU的設備上實現30fps的即時推理。其主要優點包括高效的音頻特徵提取、輕量級的模型設計以及對移動設備的友好支持。該技術適用於需要即時交互的虛擬頭像生成場景，如在線會議、虛擬直播等，背景基於對即時交互和低硬件要求的需求而開發，目前開源免費，定位為高效、低資源消耗的即時頭像生成解決方案。

SyncAnimation 是一種創新的音頻驅動技術，能夠即時生成高度逼真的說話頭像和上半身動作。它通過結合音頻與姿態、表情的同步技術，解決了傳統方法在即時性和細節表現上的不足。該技術主要面向需要高質量即時動畫生成的應用場景，如虛擬主播、在線教育、遠程會議等，具有重要的應用價值。目前尚未明確其價格和具體市場定位。

INFP是一個音頻驅動的交互式頭部生成框架，專為雙人對話設計。它可以根據雙人對話中的雙軌音頻和一個任意代理的單人肖像圖像動態合成具有逼真面部表情和節奏性頭部姿態動作的言語、非言語和交互式代理視頻。該框架輕量而強大，適用於視頻會議等即時通訊場景。INFP代表交互式(Interactive)、自然(Natural)、快速(Flash)和通用(Person-generic)。

MEMO是一個先進的開放權重模型，用於音頻驅動的說話視頻生成。該模型通過記憶引導的時間模塊和情感感知的音頻模塊，增強了長期身份一致性和運動平滑性，同時通過檢測音頻中的情感來細化面部表情，生成身份一致且富有表情的說話視頻。MEMO的主要優點包括更真實的視頻生成、更好的音頻-唇形同步、身份一致性和表情情感對齊。該技術背景信息顯示，MEMO在多種圖像和音頻類型中生成更真實的說話視頻，超越了現有的最先進方法。

FLOAT是一種音頻驅動的人像視頻生成方法，它基於流匹配生成模型，將生成建模從基於像素的潛在空間轉移到學習到的運動潛在空間，實現了時間上一致的運動設計。該技術引入了基於變換器的向量場預測器，並具有簡單而有效的逐幀條件機制。此外，FLOAT支持語音驅動的情感增強，能夠自然地融入富有表現力的運動。廣泛的實驗表明，FLOAT在視覺質量、運動保真度和效率方面均優於現有的音頻驅動說話人像方法。

EchoMimicV2是由支付寶螞蟻集團終端技術部研發的半身人體動畫技術，它通過參考圖像、音頻剪輯和一系列手勢來生成高質量的動畫視頻，確保音頻內容與半身動作的連貫性。這項技術簡化了以往復雜的動畫製作流程，通過Audio-Pose動態協調策略，包括姿態採樣和音頻擴散，增強了半身細節、面部和手勢的表現力，同時減少了條件冗餘。此外，它還利用頭部部分注意力機制將頭像數據無縫整合到訓練框架中，這一機制在推理過程中可以省略，為動畫製作提供了便利。EchoMimicV2還設計了特定階段的去噪損失，以指導動畫在特定階段的運動、細節和低級質量。該技術在定量和定性評估中均超越了現有方法，展現了其在半身人體動畫領域的領先地位。

JoyVASA是一種基於擴散模型的音頻驅動人像動畫技術，它通過分離動態面部表情和靜態3D面部表示來生成面部動態和頭部運動。這項技術不僅能夠提高視頻質量和唇形同步的準確性，還能擴展到動物面部動畫，支持多語言，並在訓練和推理效率上有所提升。JoyVASA的主要優點包括更長視頻生成能力、獨立於角色身份的運動序列生成以及高質量的動畫渲染。

Hallo2是一種基於潛在擴散生成模型的人像圖像動畫技術，通過音頻驅動生成高分辨率、長時的視頻。它通過引入多項設計改進，擴展了Hallo的功能，包括生成長時視頻、4K分辨率視頻，並增加了通過文本提示增強表情控制的能力。Hallo2的主要優點包括高分辨率輸出、長時間的穩定性以及通過文本提示增強的控制性，這使得它在生成豐富多樣的肖像動畫內容方面具有顯著優勢。

Loopy是一個端到端的音頻驅動視頻擴散模型，專門設計了跨剪輯和內部剪輯的時間模塊以及音頻到潛在表示模塊，使模型能夠利用數據中的長期運動信息來學習自然運動模式，並提高音頻與肖像運動的相關性。這種方法消除了現有方法中手動指定的空間運動模板的需求，實現了在各種場景下更逼真、高質量的結果。

CyberHost是一個端到端音頻驅動的人體動畫框架，通過區域碼本注意力機制，實現了手部完整性、身份一致性和自然運動的生成。該模型利用雙U-Net架構作為基礎結構，並通過運動幀策略進行時間延續，為音頻驅動的人體動畫建立了基線。CyberHost通過一系列以人為先導的訓練策略，包括身體運動圖、手部清晰度評分、姿勢對齊的參考特徵和局部增強監督，提高了合成結果的質量。CyberHost是首個能夠在人體範圍內實現零樣本視頻生成的音頻驅動人體擴散模型。

EchoMimic是一個先進的人像圖像動畫模型，能夠通過音頻和選定的面部特徵點單獨或組合驅動生成逼真的肖像視頻。它通過新穎的訓練策略，解決了傳統方法在音頻驅動時可能的不穩定性以及面部關鍵點驅動可能導致的不自然結果。EchoMimic在多個公共數據集和自收集數據集上進行了全面比較，並在定量和定性評估中展現出了卓越的性能。

AniPortrait是一個根據音頻和圖像輸入生成會說話、唱歌的動態視頻的項目。它能夠根據音頻和靜態人臉圖片生成逼真的人臉動畫，口型保持一致。支持多種語言和麵部重繪、頭部姿勢控制。功能包括音頻驅動的動畫合成、面部再現、頭部姿勢控制、支持自驅動和音頻驅動的視頻生成、高質量動畫生成以及靈活的模型和權重配置。

VividTalk是一種一次性音頻驅動的頭像生成技術，基於3D混合先驗。它能夠生成具有表情豐富、自然頭部姿態和唇同步的逼真說唱視頻。該技術採用了兩階段通用框架，支持生成具有上述所有特性的高視覺質量的說唱視頻。具體來說，在第一階段，通過學習兩種運動（非剛性表情運動和剛性頭部運動），將音頻映射到網格。對於表情運動，採用混合形狀和頂點作為中間表示，以最大化模型的表徵能力。對於自然頭部運動，提出了一種新穎的可學習頭部姿勢碼本，並採用兩階段訓練機制。在第二階段，提出了一個雙分支運動VAE和一個生成器，將網格轉換為密集運動，並逐幀合成高質量視頻。大量實驗證明，VividTalk能夠生成具有唇同步和逼真增強的高視覺質量說唱視頻，且在客觀和主觀比較中優於以往的最先進作品。該技術的代碼將在發表後公開發布。

VideoReTalking是一個新的系統，可以根據輸入的音頻編輯真實世界的說話頭部視頻的面部，產生高質量的唇形同步輸出視頻，即使情感不同。該系統將此目標分解為三個連續的任務：（1）使用表情編輯網絡生成帶有規範表情的面部視頻；（2）音頻驅動的唇形同步；（3）用於提高照片逼真度的面部增強。給定一個說話頭部視頻，我們首先使用表情編輯網絡根據相同的表情模板修改每個幀的表情，從而得到具有規範表情的視頻。然後將該視頻與給定的音頻一起輸入到唇形同步網絡中，生成唇形同步視頻。最後，我們通過一個身份感知的面部增強網絡和後處理來提高合成面部的照片逼真度。我們對所有三個步驟使用基於學習的方法，所有模塊都可以在順序管道中處理，無需任何用戶干預。