%20--%3e%3cdefs%3e%3cstyle%3e%20.st0%20{%20fill:%20%23061b40;%20}%20.st1%20{%20fill:%20%23306af1;%20}%20.st2%20{%20fill:%20%235ce5cf;%20}%20%3c/style%3e%3c/defs%3e%3cg%3e%3cpath%20class='st0'%20d='M55,10.5h9v3h-9v9h12V7.5h-12v3ZM64,19.5h-6v-3h6v3Z'/%3e%3cpolygon%20class='st0'%20points='69%2016.5%2078%2016.5%2078%2019.5%2069%2019.5%2069%2022.5%2081%2022.5%2081%2013.5%2072%2013.5%2072%2010.5%2081%2010.5%2081%207.5%2069%207.5%2069%2016.5'/%3e%3cpolygon%20class='st0'%20points='95%2010.5%2095%207.5%2083%207.5%2083%2022.5%2095%2022.5%2095%2019.5%2086%2019.5%2086%2016.5%2095%2016.5%2095%2013.5%2086%2013.5%2086%2010.5%2095%2010.5'/%3e%3cpath%20class='st0'%20d='M40,1.5v21h11.6l1.4-1.4v-7.6h0c0,0-1.4-1.5-1.4-1.5l1.4-1.4V2.9l-1.4-1.4h-11.6ZM50,19.5h-7v-6h7v6ZM50,10.5h-7v-6h7v6Z'/%3e%3c/g%3e%3cpath%20class='st1'%20d='M23.1,24L14.7,4.8l-4.9,11.2h3.8l-1.8,4H3.3L12.1,0H2C.9,0,0,.9,0,2v20c0,1.1.9,2,2,2h21.1Z'/%3e%3cpath%20class='st2'%20d='M34,0h-16.8l10.6,24h6.2c1.1,0,2-.9,2-2V2C36,.9,35.1,0,34,0ZM32.5,20h-4V4h4v16Z'/%3e%3c/svg%3e)
SV4D
簡介 :
Stable Video 4D (SV4D) 是基於 Stable Video Diffusion (SVD) 和 Stable Video 3D (SV3D) 的生成模型，它接受單一視角的視頻並生成該對象的多個新視角視頻（4D 圖像矩陣）。該模型訓練生成 40 幀（5 個視頻幀 x 8 個攝像機視角）在 576x576 分辨率下，給定 5 個相同大小的參考幀。通過運行 SV3D 生成軌道視頻，然後使用軌道視頻作為 SV4D 的參考視圖，並輸入視頻作為參考幀，進行 4D 採樣。該模型還通過使用生成的第一幀作為錨點，然後密集採樣（插值）剩餘幀來生成更長的新視角視頻。
需求人群 :
藝術家、設計師、教育工作者和研究人員。SV4D 可以幫助他們生成新的視角視頻，用於藝術創作、設計展示或教育演示。
使用場景
藝術家使用 SV4D 生成不同視角的雕塑視頻，用於藝術展覽。
設計師利用該模型生成產品的多視角展示視頻，提升產品展示效果。
教育工作者使用 SV4D 生成複雜科學概念的多視角視頻，幫助學生更好地理解。
產品特色
生成 40 幀的 4D 圖像矩陣，分辨率為 576x576。
使用 SV3D 生成軌道視頻，作為 SV4D 的參考視圖。
輸入視頻作為參考幀，進行 4D 採樣。
生成更長的新視角視頻，通過密集採樣（插值）剩餘幀。
適用於生成藝術作品和設計過程。
應用於教育或創意工具。
用於生成模型的研究，包括理解生成模型的侷限性。
使用教程
1. 準備 5 個參考幀的視頻，分辨率為 576x576。
%20--%3e%3cdefs%3e%3cstyle%3e%20.st0%20{%20fill:%20%230080ff;%20}%20%3c/style%3e%3c/defs%3e%3cpath%20class='st0'%20d='M16.2,11.1c.4.5.4,1.2,0,1.8l-4.7,7.1h-3.8l5.3-8L7.6,4h3.8l4.7,7.1Z'/%3e%3c/svg%3e)
2. 使用 SV3D 模型生成軌道視頻，作為 SV4D 的參考視圖。
3. 將軌道視頻和輸入視頻作為參考幀，輸入 SV4D 模型。
4. 運行 SV4D 模型，生成 4D 圖像矩陣。
5. 根據需要，使用生成的第一幀作為錨點，進行密集採樣（插值）生成更長的新視角視頻。
6. 檢查生成的視頻是否符合預期效果，進行必要的調整。
7. 將生成的視頻應用於藝術創作、設計展示或教育演示中。
精選AI產品推薦
Sora
Sora是一個基於大規模訓練的文本控制視頻生成擴散模型。它能夠生成長達1分鐘的高清視頻,涵蓋廣泛的視覺數據類型和分辨率。Sora通過在視頻和圖像的壓縮潛在空間中訓練,將其分解為時空位置補丁,實現了可擴展的視頻生成。Sora還展現出一些模擬物理世界和數字世界的能力,如三維一致性和交互,揭示了繼續擴大視頻生成模型規模來發展高能力模擬器的前景。
AI視頻生成
17.2M
Animate Anyone
Animate Anyone旨在通過驅動信號從靜態圖像生成角色視頻。我們利用擴散模型的力量，提出了一個專為角色動畫量身定製的新框架。為了保持參考圖像中複雜外觀特徵的一致性，我們設計了ReferenceNet來通過空間注意力合併詳細特徵。為了確保可控性和連續性，我們引入了一個高效的姿勢指導器來指導角色的動作，並採用了一種有效的時間建模方法，以確保視頻幀之間的平滑跨幀過渡。通過擴展訓練數據，我們的方法可以為任意角色製作動畫，與其他圖像到視頻方法相比，在角色動畫方面取得了出色的結果。此外，我們在時尚視頻和人類舞蹈合成的基準上評估了我們的方法，取得了最先進的結果。
AI視頻生成
11.8M