Generative Rendering:2D mesh
G
Generative Rendering:2D Mesh
简介 :
传统的3D内容创作工具赋予用户直接控制场景的几何形状、外观、动作和摄像机路径,从而将他们的想象变为现实。然而,创建计算机生成的视频是一个繁琐的手动过程,可以通过新兴的文本到视频扩散模型实现自动化。尽管前景广阔,视频扩散模型难以控制,限制了用户应用自己的创造力,而不是放大它。为了解决这一挑战,我们提出了一种新颖的方法,将动态3D网格的可控性与新兴扩散模型的表现力和可编辑性相结合。为此,我们的方法以动画化的低保真度渲染网格作为输入,并将从动态网格获得的地面真实对应信息注入预训练的文本到图像生成模型的各个阶段,以输出高质量和时间一致的帧。我们在各种示例上演示了我们的方法,其中动作可以通过对绑定资产进行动画化或改变摄像机路径来获得。
需求人群 :
适用于需要生成控制视频的场景,例如动画制作、特效制作等
总访问量: 101
占比最多地区: ES(69.29%)
本站浏览量 : 59.9K
使用场景
动画制作:利用生成渲染模型创建逼真的动画场景
特效制作:使用该模型生成特效视频片段
影视后期制作:应用于电影或电视节目的后期特效制作
产品特色
接受来自动画3D场景的UV和深度贴图作为输入
使用深度条件的ControlNet生成对应帧,同时利用UV对应关系保持一致性
初始化每个对象UV空间中的噪声,然后将其渲染到每个图像中
对于每个扩散步骤,首先为一组关键帧使用扩展注意力并提取它们的预处理和后处理注意力特征
将后处理注意力特征投影到UV空间并统一
最后,使用扩展注意力的输出与关键帧的预处理特征以及关键帧的UV组合后处理特征的加权组合生成所有帧
AIbase
智启未来,您的人工智能解决方案智库
© 2025AIbase