

Audio To Photoreal Embodiment
简介 :
Audio to Photoreal Embodiment是一个生成全身照片级人形化身的框架。它根据对话动态生成面部、身体和手部的多种姿势动作。其方法的关键在于通过将向量量化的样本多样性与扩散所获得的高频细节相结合,生成更具动态和表现力的动作。通过高度逼真的人形化身可视化生成的动作,能够表达出姿势中的重要细微差别(例如嘲笑和傲慢)。为了促进这一研究方向,我们引入了一种首次亮相的多视图对话数据集,可以进行照片级重建。实验证明,我们的模型生成了合适且多样化的动作,表现优于扩散和仅向量量化的方法。此外,我们的感知评估突出了在准确评估对话姿势中的微妙动作细节方面,照片级真实感(与网格)的重要性。代码和数据集可在线获取。
需求人群 :
适用于生成全身照片级人形化身的框架
使用场景
语音聊天应用中生成逼真的人形化身
虚拟现实环境中生成逼真的人形化身
在线教育平台中生成逼真的人形化身
产品特色
根据语音音频生成全身人形化身的多种姿势动作
使用向量量化和扩散技术生成动态、表现力强的动作
可视化生成的动作使用高度逼真的人形化身
精选AI产品推荐

Sora
Sora是一个基于大规模训练的文本控制视频生成扩散模型。它能够生成长达1分钟的高清视频,涵盖广泛的视觉数据类型和分辨率。Sora通过在视频和图像的压缩潜在空间中训练,将其分解为时空位置补丁,实现了可扩展的视频生成。Sora还展现出一些模拟物理世界和数字世界的能力,如三维一致性和交互,揭示了继续扩大视频生成模型规模来发展高能力模拟器的前景。
AI视频生成
17.2M

Animate Anyone
Animate Anyone旨在通过驱动信号从静态图像生成角色视频。我们利用扩散模型的力量,提出了一个专为角色动画量身定制的新框架。为了保持参考图像中复杂外观特征的一致性,我们设计了ReferenceNet来通过空间注意力合并详细特征。为了确保可控性和连续性,我们引入了一个高效的姿势指导器来指导角色的动作,并采用了一种有效的时间建模方法,以确保视频帧之间的平滑跨帧过渡。通过扩展训练数据,我们的方法可以为任意角色制作动画,与其他图像到视频方法相比,在角色动画方面取得了出色的结果。此外,我们在时尚视频和人类舞蹈合成的基准上评估了我们的方法,取得了最先进的结果。
AI视频生成
11.8M