# 角色動畫

Genie 2是由Google DeepMind開發的一款大規模基礎世界模型，能夠基於單一提示圖像生成無盡的、可操作的、可玩的3D環境，用於訓練和評估具身智能體。Genie 2代表了深度學習和人工智能領域的一大進步，它通過模擬虛擬世界及其行動後果，展示了在大規模生成模型中的多種緊急能力，如物體交互、複雜角色動畫、物理模擬等。Genie 2的研究推動了新的創意工作流程，用於原型化交互體驗，併為未來更通用的AI系統和智能體的研究提供了新的可能性。

Animate-X是一個基於LDM的通用動畫框架，用於各種角色類型（統稱為X），包括人物擬態角色。該框架通過引入姿勢指示器來增強運動表示，可以更全面地從驅動視頻中捕獲運動模式。Animate-X的主要優點包括對運動的深入建模，能夠理解驅動視頻的運動模式，並將其靈活地應用到目標角色上。此外，Animate-X還引入了一個新的Animated Anthropomorphic Benchmark (A2Bench) 來評估其在通用和廣泛適用的動畫圖像上的性能。

ProtoMotions是一個致力於創建交互式物理模擬虛擬代理的項目。它支持IsaacGym和IsaacSim，並且基於Hydra和OmegaConfig構建，使得配置組合變得簡單。這個項目為研究者和開發者提供了一個平臺，用於開發和測試基於物理的角色動畫技術。它不僅能夠用於學術研究，還能在遊戲、電影和虛擬現實等領域中應用。

Rokoko是一款基於傳感器的動作捕捉系統，為3D數字創作者提供高質量的身體、手指和麵部動畫解決方案。它具有直觀易用的界面和負擔得起的價格，可幫助用戶輕鬆實現逼真的角色動畫。

Animate Anyone旨在通過驅動信號從靜態圖像生成角色視頻。我們利用擴散模型的力量，提出了一個專為角色動畫量身定製的新框架。為了保持參考圖像中複雜外觀特徵的一致性，我們設計了ReferenceNet來通過空間注意力合併詳細特徵。為了確保可控性和連續性，我們引入了一個高效的姿勢指導器來指導角色的動作，並採用了一種有效的時間建模方法，以確保視頻幀之間的平滑跨幀過渡。通過擴展訓練數據，我們的方法可以為任意角色製作動畫，與其他圖像到視頻方法相比，在角色動畫方面取得了出色的結果。此外，我們在時尚視頻和人類舞蹈合成的基準上評估了我們的方法，取得了最先進的結果。

Story-to-Motion是一個全新的任務，它接受一個故事（頂部綠色區域）並生成與文本描述相符的動作和軌跡。該系統利用現代大型語言模型作為文本驅動的運動調度器，從長文本中提取一系列（文本、位置）對。它還開發了一個文本驅動的運動檢索方案，結合了經典運動匹配和運動語義以及軌跡約束。此外，它設計了一個漸進式掩蔽變換器，以解決過渡動作中常見的問題，如不自然的姿勢和滑步。該系統在軌跡跟隨、時間動作組合和動作混合等三個不同子任務的評估中表現優異，勝過以往的動作合成方法。

Puppetry 是一款通過使用你的臉部特徵為圖像添加動畫的工具。它能夠幫助你快速而簡單地為遊戲角色、故事板角色或中間圖像創建多個變化。無需綁定、頭戴裝備、化妝或漫長的拍攝過程，只需要你的攝像頭和魔法！

Movmi 是一款 AI 驅動的動作捕捉工具，通過 2D 媒體數據（圖像、視頻）捕捉人類身體動作，為開發人員提供高質量的人體動作捕捉解決方案。整個捕捉過程在雲端完成，用戶無需使用高端設備。Movmi 支持從各種攝像設備捕捉鏡頭，包括智能手機和專業攝像機，適用於各種生活場景，甚至支持多個人物的場景。Movmi 還提供一個全文本貼圖角色庫，用於各種動畫項目。Movmi 的會員計劃分為 Bronze、Silver 和 Gold，提供不同級別的功能和體驗。用戶可以在任何 3D 環境中使用輸出的 FBX 文件。