

Upscale A Video
简介 :
Upscale-A-Video是一个基于扩散的模型,通过将低分辨率视频和文本提示作为输入来提高视频的分辨率。该模型通过两个关键机制确保时间上的一致性:在局部,它将时间层集成到U-Net和VAE-Decoder中,保持短序列的一致性;在全局,引入了一个流引导的循环潜在传播模块,通过在整个序列中传播和融合潜在信息来增强整体视频的稳定性。由于扩散范式,我们的模型还通过允许文本提示指导纹理创建和可调噪声水平来平衡恢复和生成,实现了保真度和质量之间的权衡。大量实验证明,Upscale-A-Video在合成和真实世界基准以及AI生成的视频中均超越了现有方法,展现出令人印象深刻的视觉逼真和时间一致性。
需求人群 :
适用于需要提高视频分辨率并保持时间一致性的场景
使用场景
用于提高老电影片段的视频质量
用于提高真实世界视频的分辨率
用于提高动画视频的视觉质量
产品特色
通过局部和全局策略处理长视频,以保持时间上的一致性
使用U-Net和时间层处理视频段,以实现段内一致性
使用循环潜在传播模块增强段间一致性
使用经过微调的VAE-Decoder减少剩余闪烁伪影,以保持低级一致性
精选AI产品推荐

Sora
Sora是一个基于大规模训练的文本控制视频生成扩散模型。它能够生成长达1分钟的高清视频,涵盖广泛的视觉数据类型和分辨率。Sora通过在视频和图像的压缩潜在空间中训练,将其分解为时空位置补丁,实现了可扩展的视频生成。Sora还展现出一些模拟物理世界和数字世界的能力,如三维一致性和交互,揭示了继续扩大视频生成模型规模来发展高能力模拟器的前景。
AI视频生成
17.2M

Animate Anyone
Animate Anyone旨在通过驱动信号从静态图像生成角色视频。我们利用扩散模型的力量,提出了一个专为角色动画量身定制的新框架。为了保持参考图像中复杂外观特征的一致性,我们设计了ReferenceNet来通过空间注意力合并详细特征。为了确保可控性和连续性,我们引入了一个高效的姿势指导器来指导角色的动作,并采用了一种有效的时间建模方法,以确保视频帧之间的平滑跨帧过渡。通过扩展训练数据,我们的方法可以为任意角色制作动画,与其他图像到视频方法相比,在角色动画方面取得了出色的结果。此外,我们在时尚视频和人类舞蹈合成的基准上评估了我们的方法,取得了最先进的结果。
AI视频生成
11.8M