# 視頻合成

AIGCPanel是一個簡單易用的一站式AI數字人系統，小白也可使用。支持視頻合成、聲音合成、聲音克隆，簡化本地模型管理、一鍵導入和使用AI模型。產品背景信息顯示，AIGCPanel旨在通過集成多種AI功能，提升數字人素材管理的效率，降低技術門檻，使非專業人士也能輕鬆管理和使用AI數字人。產品基於AGPL-3.0開源，完全免費，可以直接使用。

AigcPanel是一個簡單易用的一站式AI數字人系統，支持視頻合成、聲音合成、聲音克隆等功能，簡化本地模型管理、一鍵導入和使用AI模型。該產品利用最新的人工智能技術，為用戶提供高效、便捷的數字人制作解決方案，特別適合需要視頻和音頻內容製作的專業人士和企業使用。AigcPanel以其易用性、高效性和強大的功能，在數字人制作領域佔有一席之地。

StableAnimator是首個端到端身份保留的視頻擴散框架，能夠在不進行後處理的情況下合成高質量視頻。該技術通過參考圖像和一系列姿勢進行條件合成，確保了身份一致性。其主要優點在於無需依賴第三方工具，適合需要高質量人像動畫的用戶。

MIMO是一個通用的視頻合成模型，能夠模仿任何人在複雜動作中與物體互動。它能夠根據用戶提供的簡單輸入（如參考圖像、姿勢序列、場景視頻或圖像）合成具有可控屬性（如角色、動作和場景）的角色視頻。MIMO通過將2D視頻編碼為緊湊的空間代碼，並將其分解為三個空間組成部分（主要人物、底層場景和浮動遮擋）來實現這一點。這種方法允許用戶靈活控制，空間運動表達以及3D感知合成，適用於交互式真實世界場景。

ViewCrafter 是一種新穎的方法，它利用視頻擴散模型的生成能力以及基於點的表示提供的粗略3D線索，從單個或稀疏圖像合成通用場景的高保真新視角。該方法通過迭代視圖合成策略和相機軌跡規劃算法，逐步擴展3D線索和新視角覆蓋的區域，從而擴大新視角的生成範圍。ViewCrafter 可以促進各種應用，例如通過優化3D-GS表示實現沉浸式體驗和即時渲染，以及通過場景級文本到3D生成實現更富有想象力的內容創作。

SF-V是一種基於擴散的視頻生成模型，通過對抗訓練優化預訓練模型，實現了單步生成高質量視頻的能力。這種模型在保持視頻數據的時間和空間依賴性的同時，顯著降低了去噪過程的計算成本，為即時視頻合成和編輯鋪平了道路。

Align Your Steps 是一種用於優化擴散模型（Diffusion Models, DMs）採樣時間表的方法。這種方法利用隨機微積分的方法，為不同的求解器、訓練有素的DMs和數據集找到特定的最優採樣時間表。它通過最小化KLUB項來優化時間離散化，即採樣調度，從而在相同的計算預算下提高輸出質量。該方法在圖像、視頻以及2D玩具數據合成基準測試中表現出色，優化的採樣時間表在幾乎所有實驗中都優於之前手工制定的時間表。

Snap視頻是一個視頻優先的模型,通過延伸EDM框架系統地解決視頻生成域中的運動保真度、視覺質量和可擴展性等挑戰。該模型利用幀間的冗餘信息,提出了一個可伸縮的transformer架構,將空間和時間維度作為一個高度壓縮的1D潛在向量,從而有效地進行空間時間聯合建模,合成時間連貫性強、運動複雜的視頻。這種架構使模型可以高效訓練,達到數十億參數規模,在多項基準測試中取得最優效果。

Boximator是一款由Jiawei Wang、Yuchen Zhang等人開發的智能視頻合成工具。它利用先進的深度學習技術，通過添加文本提示和額外的盒子約束，生成豐富且可控制的視頻運動。用戶可以通過示例或自定義文本來創造獨特的視頻場景。Boximator與其他方法相比，使用了來自文本提示的附加盒子約束，提供更靈活的運動控制。

Lumiere是一個文本到視頻擴散模型，旨在合成展現真實、多樣和連貫運動的視頻，解決視頻合成中的關鍵挑戰。我們引入了一種空時U-Net架構，可以一次性生成整個視頻的時間持續，通過模型的單次傳遞。這與現有的視頻模型形成對比，後者合成遠距離的關鍵幀，然後進行時間超分辨率處理，這種方法本質上使得全局時間一致性難以實現。通過部署空間和（重要的是）時間的下采樣和上採樣，並利用預訓練的文本到圖像擴散模型，我們的模型學會直接生成多個時空尺度下的全幀率、低分辨率視頻。我們展示了最先進的文本到視頻生成結果，並展示了我們的設計輕鬆促進了各種內容創作任務和視頻編輯應用，包括圖像到視頻、視頻修補和風格化生成。

FlowVid 是一個光流引導的視頻合成模型，通過利用光流的空間和時間信息，實現視頻幀之間的時序一致性。它可以與現有的圖像合成模型無縫配合，實現多種修改操作，包括風格化、對象交換和局部編輯等。FlowVid 生成速度快，4 秒、30FPS、512×512 分辨率的視頻只需 1.5 分鐘，比 CoDeF、Rerender 和 TokenFlow 分別快 3.1 倍、7.2 倍和 10.5 倍。用戶評估中，FlowVid 的質量得分為 45.7%，明顯優於 CoDeF（3.5%）、Rerender（10.2%）和 TokenFlow（40.4%）。

VividTalk是一種一次性音頻驅動的頭像生成技術，基於3D混合先驗。它能夠生成具有表情豐富、自然頭部姿態和唇同步的逼真說唱視頻。該技術採用了兩階段通用框架，支持生成具有上述所有特性的高視覺質量的說唱視頻。具體來說，在第一階段，通過學習兩種運動（非剛性表情運動和剛性頭部運動），將音頻映射到網格。對於表情運動，採用混合形狀和頂點作為中間表示，以最大化模型的表徵能力。對於自然頭部運動，提出了一種新穎的可學習頭部姿勢碼本，並採用兩階段訓練機制。在第二階段，提出了一個雙分支運動VAE和一個生成器，將網格轉換為密集運動，並逐幀合成高質量視頻。大量實驗證明，VividTalk能夠生成具有唇同步和逼真增強的高視覺質量說唱視頻，且在客觀和主觀比較中優於以往的最先進作品。該技術的代碼將在發表後公開發布。