

Text To Video Generation
简介 :
该产品是一种用于评价文本到视频生成质量的工具。它引入了一种新的评价指标,即文本到视频评分(T2VScore)。该评分整合了两个关键标准:(1)文本-视频对齐,用于审查视频在呈现给定文本描述方面的忠实度;(2)视频质量,评估视频的整体制作水平。此外,为了评估提出的指标并促进未来对其的改进,该产品提供了TVGE数据集,收集了对2,543个文本到视频生成视频在这两个标准上的人类判断。对TVGE数据集的实验表明,提出的T2VScore在为文本到视频生成提供更好的评价指标方面表现出优越性。
需求人群 :
用于评估文本到视频生成的质量,研究人员和开发人员可以使用该工具来提高文本到视频生成的质量,并进行评估和改进。
使用场景
研究人员使用文本到视频评价工具来评估他们的生成模型。
开发人员使用文本到视频评价工具来改进他们的文本到视频生成算法。
数据科学家使用文本到视频评价工具来评估生成视频的质量。
产品特色
评估文本到视频生成的质量
引入新的评价指标T2VScore
提供TVGE数据集,用于评估和改进指标
精选AI产品推荐

Sora
Sora是一个基于大规模训练的文本控制视频生成扩散模型。它能够生成长达1分钟的高清视频,涵盖广泛的视觉数据类型和分辨率。Sora通过在视频和图像的压缩潜在空间中训练,将其分解为时空位置补丁,实现了可扩展的视频生成。Sora还展现出一些模拟物理世界和数字世界的能力,如三维一致性和交互,揭示了继续扩大视频生成模型规模来发展高能力模拟器的前景。
AI视频生成
17.2M

Animate Anyone
Animate Anyone旨在通过驱动信号从静态图像生成角色视频。我们利用扩散模型的力量,提出了一个专为角色动画量身定制的新框架。为了保持参考图像中复杂外观特征的一致性,我们设计了ReferenceNet来通过空间注意力合并详细特征。为了确保可控性和连续性,我们引入了一个高效的姿势指导器来指导角色的动作,并采用了一种有效的时间建模方法,以确保视频帧之间的平滑跨帧过渡。通过扩展训练数据,我们的方法可以为任意角色制作动画,与其他图像到视频方法相比,在角色动画方面取得了出色的结果。此外,我们在时尚视频和人类舞蹈合成的基准上评估了我们的方法,取得了最先进的结果。
AI视频生成
11.8M