

Ruyi
简介 :
Ruyi是图森未来发布的图生视频大模型,专为在消费级显卡上运行而设计,并提供详尽的部署说明和ComfyUI工作流,以便用户能够快速上手。Ruyi凭借在帧间一致性、动作流畅性方面的卓越表现,以及和谐自然的色彩呈现和构图,将为视觉叙事提供全新的可能性。同时,该模型还针对动漫和游戏场景进行深度学习,将成为ACG爱好者理想的创意伙伴。
需求人群 :
目标受众为AIGC爱好者和社区成员,特别是动漫和游戏内容的开发者。Ruyi能够降低动漫和游戏内容的开发周期和开发成本,提供快速上手的解决方案,适合需要快速生成视频内容的创意工作者。
使用场景
1. 使用Ruyi生成动漫角色的动态视频,用于社交媒体宣传。
2. 利用Ruyi创建游戏内角色的预告片,提高游戏的吸引力。
3. 通过Ruyi生成教育视频中的动态图表,使教学内容更加生动。
产品特色
- 多分辨率、多时长生成:支持最小384*384,最大1024*1024分辨率,最长120帧/5秒的视频生成。
- 首帧、首尾帧控制生成:支持最多5个起始帧、最多5个结束帧基础上的视频生成。
- 运动幅度控制:提供4档运动幅度控制,方便用户对整体画面的变化程度进行控制。
- 镜头控制:提供上、下、左、右、静止共5种镜头控制。
- 模型架构:基于DiT架构,由Casual VAE模块和Diffusion Transformer构成,总参数量约为7.1B。
- 训练数据和方式:分为4个阶段,使用约200M视频片段进行训练。
- 输入格式和生成长度/模式:需要用户提供一张图片作为输入,并可以选择输出时长、输出分辨率等选项。
使用教程
1. 访问Ruyi的Hugging Face页面,下载Ruyi-Mini-7B版本。
2. 阅读并理解提供的部署说明和ComfyUI工作流。
3. 准备一张图片作为输入,确定所需的输出时长、分辨率等参数。
4. 根据Ruyi的使用指南,设置首帧和首尾帧,以及运动幅度和镜头控制。
5. 运行Ruyi模型,生成视频内容。
6. 检查生成的视频内容,根据需要进行调整和优化。
7. 将生成的视频用于所需的场景,如社交媒体、游戏预告等。
精选AI产品推荐
国外精选

Pika
Pika是一个视频制作平台,用户可以上传自己的创意想法,Pika会自动生成相关的视频。主要功能有:支持多种创意想法转视频,视频效果专业,操作简单易用。平台采用免费试用模式,定位面向创意者和视频爱好者。
视频生成
18.7M

Deepmind Gemini
Gemini是谷歌DeepMind推出的新一代人工智能系统。它能够进行多模态推理,支持文本、图像、视频、音频和代码之间的无缝交互。Gemini在语言理解、推理、数学、编程等多个领域都超越了之前的状态,成为迄今为止最强大的AI系统之一。它有三个不同规模的版本,可满足从边缘计算到云计算的各种需求。Gemini可以广泛应用于创意设计、写作辅助、问题解答、代码生成等领域。
AI模型
11.4M