
使用场景
使用SEED-Story生成基于特定历史事件的多模态故事。
结合用户上传的图片,生成个性化的儿童故事书。
为电影或游戏创作提供初始的故事概念和视觉设计。
产品特色
生成多模态长篇故事:结合文本和图片生成连贯的故事。
基于用户输入的图片和文本:作为故事的起点。
支持最多25个多模态序列的故事生成:尽管训练时最多使用10个序列。
图像风格和角色一致性:确保生成的图片在风格和角色上与故事文本一致。
大规模数据集StoryStream:为训练和基准测试多模态故事生成而设计。
模型权重和训练代码的发布:提供预训练的Tokenizer、De-Tokenizer和基础模型SEED-X。
支持指令调整:通过指令调整进一步优化模型性能。
使用教程
1. 克隆SEED-Story仓库到本地环境。
2. 安装依赖包,根据requirements.txt配置Python环境。
3. 下载并准备StoryStream数据集,用于训练和测试。
4. 使用提供的脚本进行数据集的分块处理,以提高训练效率。
5. 下载并保存预训练的模型权重到指定文件夹。
6. 运行inference脚本进行多模态故事生成。
7. 利用可视化脚本展示生成的故事和多模态注意力。
8. 通过GPT4 API进行生成结果的评估。
精选AI产品推荐
中文精选

剪映dreamina
剪映Dreamina是抖音旗下的AIGC工具,用户可以根据文本内容生成由AI生成的创意图,支持修整图片大小比例和模板类型。未来会用于抖音的图文或短视频的内容创作,丰富抖音在AI创造方面的内容库。
AI图像生成
9.1M

Outfit Anyone
Outfit Anyone 是一款超高质量虚拟试穿产品,使用户能够在不真实试穿衣物的情况下尝试不同的时尚款式。通过采用两个流的条件扩散模型,Outfit Anyone 能够灵活处理衣物变形,生成更逼真的效果。它具备可扩展性,可以调整姿势和身体形状等因素,适用于动漫角色到真实人物的图像。Outfit Anyone 在各种场景下的表现突出了其实用性和准备好投入实际应用的程度。
AI图像生成
5.7M