

Story To Motion
简介 :
Story-to-Motion是一个全新的任务,它接受一个故事(顶部绿色区域)并生成与文本描述相符的动作和轨迹。该系统利用现代大型语言模型作为文本驱动的运动调度器,从长文本中提取一系列(文本、位置)对。它还开发了一个文本驱动的运动检索方案,结合了经典运动匹配和运动语义以及轨迹约束。此外,它设计了一个渐进式掩蔽变换器,以解决过渡动作中常见的问题,如不自然的姿势和滑步。该系统在轨迹跟随、时间动作组合和动作混合等三个不同子任务的评估中表现优异,胜过以往的动作合成方法。
需求人群 :
适用于动画、游戏和电影行业,特别是在需要角色根据文本描述移动到不同位置并执行特定动作的情境中。
使用场景
游戏开发:Story-to-Motion可用于游戏开发中,根据游戏剧情文本生成角色动画。
影视制作:在影视制作中,可以根据剧本自动生成角色动作,提高制作效率。
动画设计:动画设计师可以利用Story-to-Motion从文本中合成角色动画,节省创作时间。
产品特色
从长文本中合成无限可控角色动画
利用大型语言模型进行文本驱动的运动调度
开发文本驱动的运动检索方案,结合经典运动匹配和运动语义
设计渐进式掩蔽变换器,解决过渡动作中的问题
精选AI产品推荐

Sora
Sora是一个基于大规模训练的文本控制视频生成扩散模型。它能够生成长达1分钟的高清视频,涵盖广泛的视觉数据类型和分辨率。Sora通过在视频和图像的压缩潜在空间中训练,将其分解为时空位置补丁,实现了可扩展的视频生成。Sora还展现出一些模拟物理世界和数字世界的能力,如三维一致性和交互,揭示了继续扩大视频生成模型规模来发展高能力模拟器的前景。
AI视频生成
17.2M

Animate Anyone
Animate Anyone旨在通过驱动信号从静态图像生成角色视频。我们利用扩散模型的力量,提出了一个专为角色动画量身定制的新框架。为了保持参考图像中复杂外观特征的一致性,我们设计了ReferenceNet来通过空间注意力合并详细特征。为了确保可控性和连续性,我们引入了一个高效的姿势指导器来指导角色的动作,并采用了一种有效的时间建模方法,以确保视频帧之间的平滑跨帧过渡。通过扩展训练数据,我们的方法可以为任意角色制作动画,与其他图像到视频方法相比,在角色动画方面取得了出色的结果。此外,我们在时尚视频和人类舞蹈合成的基准上评估了我们的方法,取得了最先进的结果。
AI视频生成
11.8M