

Ingredients
简介 :
Ingredients是一个研究项目,利用先进的视频扩散变换器技术,将特定身份的照片融入视频创作中,为视频定制化提供了强大的工具。该项目由feizc发起,目前处于研究阶段,推荐尝试更成熟的产品。其主要优点在于能够实现多ID照片的视频融合,为视频创作带来个性化和创新性。项目开源,遵循Apache-2.0许可协议,目前在GitHub上有34个星标。
需求人群 :
目标受众主要是视频创作者、研究人员和开发者,他们希望通过引入特定的照片来定制视频内容,以实现更具个性化的视频创作。对于研究人员来说,该项目提供了研究视频扩散变换器和多ID定制化的新方向。对于开发者,开源的代码和模型为他们提供了进一步开发和集成到自己项目中的基础。
使用场景
视频创作者可以利用该项目将特定人物的照片融入视频,为视频添加独特的风格和身份特征。
研究人员可以基于该项目的模型和代码,进一步探索视频扩散变换器在视频定制化中的应用和优化。
开发者可以将该项目的模型集成到自己的视频编辑软件中,为用户提供个性化的视频创作功能。
产品特色
提供简单的测试脚本infer.py,方便用户进行推理测试。
包含评估指标代码和评估数据,用于多ID定制任务的结果比较。
对提示词质量有较高要求,建议参考相关链接以提高生成效果。
支持通过Gradio Web UI进行在线演示,整合了当前支持的所有功能。
即将推出多阶段训练脚本和多ID文本-视频数据集,以支持进一步的训练和研究。
使用教程
1. 克隆该项目的GitHub仓库到本地。
2. 根据README中的环境配置要求,创建并激活conda环境,安装依赖。
3. 下载模型权重文件,放置在指定路径。
4. 使用infer.py脚本,输入提示词、模型路径、种子值和图片文件路径,进行推理测试。
5. 查看生成的视频结果,根据需要调整提示词和其他参数以优化结果。
6. 尝试使用Gradio Web UI进行在线演示,体验项目支持的全部功能。
7. 对于有训练需求的用户,等待项目发布多阶段训练脚本和数据集,按照指引进行训练。
精选AI产品推荐
国外精选

Pika
Pika是一个视频制作平台,用户可以上传自己的创意想法,Pika会自动生成相关的视频。主要功能有:支持多种创意想法转视频,视频效果专业,操作简单易用。平台采用免费试用模式,定位面向创意者和视频爱好者。
视频生成
18.7M

Haiper
Haiper AI 是构建下一代内容创作的最佳感知基础模型的使命。它提供以下主要功能:文本转视频,图片动画,视频重绘,导演视角。Haiper AI 可以将文字内容和静态图片无缝转化为动态视频,只需拖放图像即可使其栩栩如生。使用 Haiper AI 的重绘工具,您可以轻松修改视频的颜色、纹理和元素,以提升视觉内容的品质。通过高级控制工具,您可以像导演一样调整镜头角度、灯光效果、角色姿势和物体运动。Haiper AI 适用于各种场景,如内容创作、设计、营销等。定价请参考官方网站。
视频生成
10.5M