

Videoretalking
简介 :
VideoReTalking是一个新的系统,可以根据输入的音频编辑真实世界的说话头部视频的面部,产生高质量的唇形同步输出视频,即使情感不同。该系统将此目标分解为三个连续的任务:(1)使用表情编辑网络生成带有规范表情的面部视频;(2)音频驱动的唇形同步;(3)用于提高照片逼真度的面部增强。给定一个说话头部视频,我们首先使用表情编辑网络根据相同的表情模板修改每个帧的表情,从而得到具有规范表情的视频。然后将该视频与给定的音频一起输入到唇形同步网络中,生成唇形同步视频。最后,我们通过一个身份感知的面部增强网络和后处理来提高合成面部的照片逼真度。我们对所有三个步骤使用基于学习的方法,所有模块都可以在顺序管道中处理,无需任何用户干预。
需求人群 :
适用于需要音频驱动的唇形同步的视频编辑场景,可以用于电影、电视剧、广告等领域。
使用场景
电影制作人使用VideoReTalking来编辑电影中的角色对白,实现高质量唇形同步。
广告公司使用VideoReTalking来制作广告,使演员的口型与音频完美匹配。
电视剧制作人使用VideoReTalking来编辑电视剧中的角色对白,实现高质量唇形同步。
产品特色
音频驱动的唇形同步
面部增强
表情编辑
高质量唇形同步视频生成
无需用户干预
精选AI产品推荐

Sora
Sora是一个基于大规模训练的文本控制视频生成扩散模型。它能够生成长达1分钟的高清视频,涵盖广泛的视觉数据类型和分辨率。Sora通过在视频和图像的压缩潜在空间中训练,将其分解为时空位置补丁,实现了可扩展的视频生成。Sora还展现出一些模拟物理世界和数字世界的能力,如三维一致性和交互,揭示了继续扩大视频生成模型规模来发展高能力模拟器的前景。
AI视频生成
17.2M

Animate Anyone
Animate Anyone旨在通过驱动信号从静态图像生成角色视频。我们利用扩散模型的力量,提出了一个专为角色动画量身定制的新框架。为了保持参考图像中复杂外观特征的一致性,我们设计了ReferenceNet来通过空间注意力合并详细特征。为了确保可控性和连续性,我们引入了一个高效的姿势指导器来指导角色的动作,并采用了一种有效的时间建模方法,以确保视频帧之间的平滑跨帧过渡。通过扩展训练数据,我们的方法可以为任意角色制作动画,与其他图像到视频方法相比,在角色动画方面取得了出色的结果。此外,我们在时尚视频和人类舞蹈合成的基准上评估了我们的方法,取得了最先进的结果。
AI视频生成
11.8M