

Story To Motion
簡介 :
Story-to-Motion是一個全新的任務,它接受一個故事(頂部綠色區域)並生成與文本描述相符的動作和軌跡。該系統利用現代大型語言模型作為文本驅動的運動調度器,從長文本中提取一系列(文本、位置)對。它還開發了一個文本驅動的運動檢索方案,結合了經典運動匹配和運動語義以及軌跡約束。此外,它設計了一個漸進式掩蔽變換器,以解決過渡動作中常見的問題,如不自然的姿勢和滑步。該系統在軌跡跟隨、時間動作組合和動作混合等三個不同子任務的評估中表現優異,勝過以往的動作合成方法。
需求人群 :
適用於動畫、遊戲和電影行業,特別是在需要角色根據文本描述移動到不同位置並執行特定動作的情境中。
使用場景
遊戲開發:Story-to-Motion可用於遊戲開發中,根據遊戲劇情文本生成角色動畫。
影視製作:在影視製作中,可以根據劇本自動生成角色動作,提高製作效率。
動畫設計:動畫設計師可以利用Story-to-Motion從文本中合成角色動畫,節省創作時間。
產品特色
從長文本中合成無限可控角色動畫
利用大型語言模型進行文本驅動的運動調度
開發文本驅動的運動檢索方案,結合經典運動匹配和運動語義
設計漸進式掩蔽變換器,解決過渡動作中的問題
精選AI產品推薦

Sora
Sora是一個基於大規模訓練的文本控制視頻生成擴散模型。它能夠生成長達1分鐘的高清視頻,涵蓋廣泛的視覺數據類型和分辨率。Sora通過在視頻和圖像的壓縮潛在空間中訓練,將其分解為時空位置補丁,實現了可擴展的視頻生成。Sora還展現出一些模擬物理世界和數字世界的能力,如三維一致性和交互,揭示了繼續擴大視頻生成模型規模來發展高能力模擬器的前景。
AI視頻生成
17.2M

Animate Anyone
Animate Anyone旨在通過驅動信號從靜態圖像生成角色視頻。我們利用擴散模型的力量,提出了一個專為角色動畫量身定製的新框架。為了保持參考圖像中複雜外觀特徵的一致性,我們設計了ReferenceNet來通過空間注意力合併詳細特徵。為了確保可控性和連續性,我們引入了一個高效的姿勢指導器來指導角色的動作,並採用了一種有效的時間建模方法,以確保視頻幀之間的平滑跨幀過渡。通過擴展訓練數據,我們的方法可以為任意角色製作動畫,與其他圖像到視頻方法相比,在角色動畫方面取得了出色的結果。此外,我們在時尚視頻和人類舞蹈合成的基準上評估了我們的方法,取得了最先進的結果。
AI視頻生成
11.8M