# 物理模擬

Wan 2.1 AI 是由阿里巴巴開發的開源大規模視頻生成 AI 模型。它支持文本到視頻（T2V）和圖像到視頻（I2V）的生成，能夠將簡單的輸入轉化為高質量的視頻內容。該模型在視頻生成領域具有重要意義，能夠極大地簡化視頻創作流程，降低創作門檻，提高創作效率，為用戶提供豐富多樣的視頻創作可能性。其主要優點包括高質量的視頻生成效果、複雜動作的流暢展現、逼真的物理模擬以及豐富的藝術風格等。目前該產品已完全開源，用戶可以免費使用其基礎功能，對於有視頻創作需求但缺乏專業技能或設備的個人和企業來說，具有很高的實用價值。

Genie 2是由Google DeepMind開發的一款大規模基礎世界模型，能夠基於單一提示圖像生成無盡的、可操作的、可玩的3D環境，用於訓練和評估具身智能體。Genie 2代表了深度學習和人工智能領域的一大進步，它通過模擬虛擬世界及其行動後果，展示了在大規模生成模型中的多種緊急能力，如物體交互、複雜角色動畫、物理模擬等。Genie 2的研究推動了新的創意工作流程，用於原型化交互體驗，併為未來更通用的AI系統和智能體的研究提供了新的可能性。

Oasis是由Decart AI開發的首個可玩、即時、開放世界的AI模型，它是一個互動視頻遊戲，由Transformer端到端生成，基於逐幀生成。Oasis能夠接收用戶鍵盤和鼠標輸入，即時生成遊戲玩法，內部模擬物理、遊戲規則和圖形。該模型通過直接觀察遊戲玩法學習，允許用戶移動、跳躍、拾取物品、破壞方塊等。Oasis被視為研究更復雜交互世界的基礎模型的第一步，未來可能取代傳統的遊戲引擎。Oasis的實現需要模型架構的改進和模型推理技術的突破，以實現用戶與模型的即時交互。Decart AI採用了最新的擴散訓練和Transformer模型方法，並結合了大型語言模型（LLMs）來訓練一個自迴歸模型，該模型可以根據用戶即時動作生成視頻。此外，Decart AI還開發了專有的推理框架，以提供NVIDIA H100 Tensor Core GPU的峰值利用率，並支持Etched即將推出的Sohu芯片。

PhysGen是一個創新的圖像到視頻生成方法，它能夠將單張圖片和輸入條件（例如，對圖片中物體施加的力和扭矩）轉換成現實、物理上合理且時間上連貫的視頻。該技術通過將基於模型的物理模擬與數據驅動的視頻生成過程相結合，實現了在圖像空間中的動態模擬。PhysGen的主要優點包括生成的視頻在物理和外觀上都顯得逼真，並且可以精確控制，通過定量比較和全面的用戶研究，展示了其在現有數據驅動的圖像到視頻生成工作中的優越性。

ProtoMotions是一個致力於創建交互式物理模擬虛擬代理的項目。它支持IsaacGym和IsaacSim，並且基於Hydra和OmegaConfig構建，使得配置組合變得簡單。這個項目為研究者和開發者提供了一個平臺，用於開發和測試基於物理的角色動畫技術。它不僅能夠用於學術研究，還能在遊戲、電影和虛擬現實等領域中應用。

PhysDreamer是一個基於物理的方法，它通過利用視頻生成模型學習到的對象動力學先驗，為靜態3D對象賦予交互式動力學。這種方法允許在缺乏真實物體物理屬性數據的情況下，模擬出對新穎交互（如外力或代理操作）的真實反應。PhysDreamer通過用戶研究評估合成交互的真實性，推動了更吸引人和真實的虛擬體驗的發展。

Video2Game是一項技術，可以將單一視頻轉換成具有即時、互動、真實感和瀏覽器兼容性的高質量虛擬環境。它通過構建大規模的NeRF模型來實現高質量的表面幾何形狀，然後將該模型轉換為帶有對應剛體動力學的網格表示，以支持交互。使用UV映射的神經紋理，既能表達豐富，又與遊戲引擎兼容。最終得到的是一個虛擬環境，虛擬角色可以與之互動，響應用戶控制，並能從新的相機視角即時提供高分辨率渲染。

InsActor是一個基於物理模擬的角色控制系統。它可以通過自然語言指令驅動角色在複雜環境中完成各種交互任務。該系統利用條件與對抗擴散模型進行多級規劃,並與低級控制器相結合,實現穩定、魯棒的控制。具有控制流暢、交互自然的優勢,適用於創意內容生成、互動娛樂、人機交互等應用場景。