

Structldm
简介 :
StructLDM是一个结构化潜在扩散模型,用于从2D图像学习3D人体生成。它能够生成多样化的视角一致的人体,并支持不同级别的可控生成和编辑,如组合生成和局部服装编辑等。该模型在无需服装类型或掩码条件的情况下,实现了服装无关的生成和编辑。项目由南洋理工大学S-Lab的Tao Hu、Fangzhou Hong和Ziwei Liu提出,相关论文发表于ECCV 2024。
需求人群 :
目标受众包括研究人员、开发者和3D内容创作者,他们可以利用StructLDM模型进行3D人体生成和编辑,以用于学术研究、游戏开发、虚拟现实等领域。
使用场景
研究人员利用StructLDM进行人体姿态和表情的生成研究
游戏开发者使用该模型创建虚拟角色
虚拟现实应用中的人体模型生成和交互
产品特色
从2D图像学习3D人体生成
生成多样化的视角一致的人体
支持组合生成,可混合不同部分
支持局部服装编辑和3D虚拟试穿
无需服装类型或掩码条件的生成和编辑
提供预训练模型和样本数据下载
支持自定义数据集的训练和测试
使用教程
1. 安装所需的依赖库和环境,推荐使用anaconda管理Python环境
2. 下载预训练模型、样本数据和必要资产,放置在指定目录
3. 注册并下载SMPL模型,放置在smpl_data文件夹中
4. 运行生成脚本,如bash scripts/renderpeople.sh gpu_ids,生成结果将在DATA_DIR/result/test_output中找到
5. 参考sample_data准备自己的数据集,并修改配置文件中的相应路径
6. 使用训练脚本进行模型训练,训练后的模型将存储在DATA_DIR/result/trained_model/modelname/diffusion_xx.pt中
7. 运行推理脚本进行模型测试,样本将存储在DATA_DIR/result/trained_model/modelname/samples中
精选AI产品推荐

Deepmind Gemini
Gemini是谷歌DeepMind推出的新一代人工智能系统。它能够进行多模态推理,支持文本、图像、视频、音频和代码之间的无缝交互。Gemini在语言理解、推理、数学、编程等多个领域都超越了之前的状态,成为迄今为止最强大的AI系统之一。它有三个不同规模的版本,可满足从边缘计算到云计算的各种需求。Gemini可以广泛应用于创意设计、写作辅助、问题解答、代码生成等领域。
AI模型
11.4M
中文精选

Liblibai
LiblibAI是一个中国领先的AI创作平台,提供强大的AI创作能力,帮助创作者实现创意。平台提供海量免费AI创作模型,用户可以搜索使用模型进行图像、文字、音频等创作。平台还支持用户训练自己的AI模型。平台定位于广大创作者用户,致力于创造条件普惠,服务创意产业,让每个人都享有创作的乐趣。
AI模型
8.0M