

Yue
简介 :
YuE 是由香港科技大学和多模态艺术投影团队开发的开源音乐生成模型。它能够根据给定的歌词生成长达 5 分钟的完整歌曲,包括人声和伴奏部分。该模型通过多种技术创新,如语义增强音频标记器、双标记技术和歌词链式思考等,解决了歌词到歌曲生成的复杂问题。YuE 的主要优点是能够生成高质量的音乐作品,并且支持多种语言和音乐风格,具有很强的可扩展性和可控性。该模型目前免费开源,旨在推动音乐生成技术的发展。
需求人群 :
YuE 适合音乐创作者、音乐制作人、音频工程师以及对音乐生成技术感兴趣的科研人员。它可以帮助创作者快速生成音乐作品的初稿,激发创作灵感,也可以用于音乐教育和娱乐领域,为用户提供全新的音乐体验。
使用场景
生成一首流行风格的中文歌曲《我的爱》,歌词由 GPT 生成,旋律和伴奏由 YuE 生成。
生成一首金属风格的英文歌曲《Step Back》,展示了 YuE 在重金属风格下的表现能力。
生成一首爵士风格的英文歌曲《Quiet Evening》,展现了 YuE 在爵士风格下的细腻表现。
产品特色
支持多种语言的歌词到歌曲生成,包括英语、中文、日语和韩语。
能够生成多种音乐风格,如流行、摇滚、爵士、说唱等。
采用语义增强音频标记器,降低训练成本并加速收敛。
通过双标记技术实现人声与伴奏的同步建模。
使用歌词链式思考技术,逐步生成整首歌曲。
提供多种模型检查点和上采样器,方便用户使用和扩展。
支持多语言代码切换,生成跨语言的音乐作品。
能够学习和生成复杂的声乐技巧,如死亡咆哮、混声等。
使用教程
1. 访问 YuE 的 GitHub 页面,下载所需的模型检查点。
2. 准备歌词文本,根据需要选择语言和音乐风格。
3. 使用 YuE 提供的工具将歌词分割成多个片段。
4. 将歌词片段输入到 YuE 模型中,生成对应的音乐片段。
5. 将生成的音乐片段拼接成完整的歌曲。
6. 使用上采样器对生成的音乐进行进一步优化(可选)。
7. 调整生成的音乐参数,如节奏、音调等,以满足个人需求。
8. 导出最终生成的音乐文件,用于分享或进一步创作。
精选AI产品推荐

Deepmind Gemini
Gemini是谷歌DeepMind推出的新一代人工智能系统。它能够进行多模态推理,支持文本、图像、视频、音频和代码之间的无缝交互。Gemini在语言理解、推理、数学、编程等多个领域都超越了之前的状态,成为迄今为止最强大的AI系统之一。它有三个不同规模的版本,可满足从边缘计算到云计算的各种需求。Gemini可以广泛应用于创意设计、写作辅助、问题解答、代码生成等领域。
AI模型
11.4M
中文精选

Liblibai
LiblibAI是一个中国领先的AI创作平台,提供强大的AI创作能力,帮助创作者实现创意。平台提供海量免费AI创作模型,用户可以搜索使用模型进行图像、文字、音频等创作。平台还支持用户训练自己的AI模型。平台定位于广大创作者用户,致力于创造条件普惠,服务创意产业,让每个人都享有创作的乐趣。
AI模型
8.0M