

Stable Video Diffusion 1.1 Image To Video
简介 :
Stable Video Diffusion (SVD) 1.1 Image-to-Video 是一个扩散模型,通过将静止图像作为条件帧,生成相应的视频。该模型是一个潜在扩散模型,经过训练,能够从图像生成短视频片段。在分辨率为 1024x576 的情况下,该模型训练生成 25 帧视频,其训练基于相同大小的上下文帧,并从 SVD Image-to-Video [25 frames] 进行了微调。微调时,固定了6FPS和Motion Bucket Id 127的条件,以提高输出的一致性,而无需调整超参数。
需求人群 :
该模型仅用于研究目的,可用于生成模型研究、具有潜在生成有害内容能力的模型的安全部署、探索和理解生成模型的局限性和偏见、生成艺术品并用于设计和其他艺术过程,以及在教育或创意工具中的应用。
使用场景
研究生成模型的工作原理和应用领域
使用模型生成设计原型和艺术品
在创意工具中应用该模型进行教育目的
产品特色
生成短视频
适用于研究生成模型
安全部署潜在生成有害内容的模型
探索和理解生成模型的局限性和偏见
生成艺术品并用于设计和其他艺术过程
在教育或创意工具中应用
精选AI产品推荐

Sora
Sora是一个基于大规模训练的文本控制视频生成扩散模型。它能够生成长达1分钟的高清视频,涵盖广泛的视觉数据类型和分辨率。Sora通过在视频和图像的压缩潜在空间中训练,将其分解为时空位置补丁,实现了可扩展的视频生成。Sora还展现出一些模拟物理世界和数字世界的能力,如三维一致性和交互,揭示了继续扩大视频生成模型规模来发展高能力模拟器的前景。
AI视频生成
17.2M

Animate Anyone
Animate Anyone旨在通过驱动信号从静态图像生成角色视频。我们利用扩散模型的力量,提出了一个专为角色动画量身定制的新框架。为了保持参考图像中复杂外观特征的一致性,我们设计了ReferenceNet来通过空间注意力合并详细特征。为了确保可控性和连续性,我们引入了一个高效的姿势指导器来指导角色的动作,并采用了一种有效的时间建模方法,以确保视频帧之间的平滑跨帧过渡。通过扩展训练数据,我们的方法可以为任意角色制作动画,与其他图像到视频方法相比,在角色动画方面取得了出色的结果。此外,我们在时尚视频和人类舞蹈合成的基准上评估了我们的方法,取得了最先进的结果。
AI视频生成
11.8M