

Stable Video Diffusion 1.1 Image To Video
簡介 :
Stable Video Diffusion (SVD) 1.1 Image-to-Video 是一個擴散模型,通過將靜止圖像作為條件幀,生成相應的視頻。該模型是一個潛在擴散模型,經過訓練,能夠從圖像生成短視頻片段。在分辨率為 1024x576 的情況下,該模型訓練生成 25 幀視頻,其訓練基於相同大小的上下文幀,並從 SVD Image-to-Video [25 frames] 進行了微調。微調時,固定了6FPS和Motion Bucket Id 127的條件,以提高輸出的一致性,而無需調整超參數。
需求人群 :
該模型僅用於研究目的,可用於生成模型研究、具有潛在生成有害內容能力的模型的安全部署、探索和理解生成模型的侷限性和偏見、生成藝術品並用於設計和其他藝術過程,以及在教育或創意工具中的應用。
使用場景
研究生成模型的工作原理和應用領域
使用模型生成設計原型和藝術品
在創意工具中應用該模型進行教育目的
產品特色
生成短視頻
適用於研究生成模型
安全部署潛在生成有害內容的模型
探索和理解生成模型的侷限性和偏見
生成藝術品並用於設計和其他藝術過程
在教育或創意工具中應用
精選AI產品推薦

Sora
Sora是一個基於大規模訓練的文本控制視頻生成擴散模型。它能夠生成長達1分鐘的高清視頻,涵蓋廣泛的視覺數據類型和分辨率。Sora通過在視頻和圖像的壓縮潛在空間中訓練,將其分解為時空位置補丁,實現了可擴展的視頻生成。Sora還展現出一些模擬物理世界和數字世界的能力,如三維一致性和交互,揭示了繼續擴大視頻生成模型規模來發展高能力模擬器的前景。
AI視頻生成
17.2M

Animate Anyone
Animate Anyone旨在通過驅動信號從靜態圖像生成角色視頻。我們利用擴散模型的力量,提出了一個專為角色動畫量身定製的新框架。為了保持參考圖像中複雜外觀特徵的一致性,我們設計了ReferenceNet來通過空間注意力合併詳細特徵。為了確保可控性和連續性,我們引入了一個高效的姿勢指導器來指導角色的動作,並採用了一種有效的時間建模方法,以確保視頻幀之間的平滑跨幀過渡。通過擴展訓練數據,我們的方法可以為任意角色製作動畫,與其他圖像到視頻方法相比,在角色動畫方面取得了出色的結果。此外,我們在時尚視頻和人類舞蹈合成的基準上評估了我們的方法,取得了最先進的結果。
AI視頻生成
11.8M