

Streamvoice
简介 :
StreamVoice是一种基于语言模型的零唇语音转换模型,可实现实时转换,无需完整的源语音。它采用全因果上下文感知语言模型,结合时间独立的声学预测器,能够在每个时间步骤交替处理语义和声学特征,从而消除对完整源语音的依赖。为了增强在流式处理中可能出现的上下文不完整而导致的性能下降,StreamVoice通过两种策略增强了语言模型的上下文感知性:1)教师引导的上下文预见,在训练过程中利用教师模型总结当前和未来的语义上下文,引导模型对缺失上下文进行预测;2)语义屏蔽策略,促进从先前受损的语义和声学输入进行声学预测,增强上下文学习能力。值得注意的是,StreamVoice是第一个基于语言模型的流式零唇语音转换模型,无需任何未来预测。实验结果表明,StreamVoice具有流式转换能力,同时保持与非流式语音转换系统相媲美的零唇性能。
需求人群 :
StreamVoice可用于音乐制作、语音合成、语音转换等领域。
使用场景
在音乐制作中,使用StreamVoice将歌手的声音转换为不同风格的歌手
在语音合成中,使用StreamVoice将文字转换为不同说话风格的语音
在语音转换中,使用StreamVoice将演讲者的语音转换为不同的说话风格
产品特色
实时零唇语音转换
流式处理
上下文感知语言建模
精选AI产品推荐

GPT SoVITS
GPT-SoVITS-WebUI是一个强大的零样本语音转换和文本到语音WebUI。它具有零样本TTS、少样本TTS、跨语言支持和WebUI工具等功能。该产品支持英语、日语和中文,提供了集成工具,包括语音伴奏分离、自动训练集分割、中文ASR和文本标注,帮助初学者创建训练数据集和GPT/SoVITS模型。用户可以通过输入5秒的声音样本,即可体验即时的文本到语音转换,还可以通过仅使用1分钟的训练数据对模型进行微调,以提高语音相似度和逼真度。产品支持环境准备、Python和PyTorch版本、快速安装、手动安装、预训练模型、数据集格式、待办事项和致谢。
AI语音合成
6.9M

Clone Voice
Clone-Voice是一个带 web 界面的声音克隆工具,可使用任何人类音色,将一段文字合成为使用该音色说话的声音,或者将一个声音使用该音色转换为另一个声音。支持中、英、日、韩、法、德、意等 16 种语言,可在线从麦克风录制声音。功能包括文字到语音和声音到声音转换。优势在于简单易用且无需 N 卡 GPU,支持多种语言,录制声音灵活。产品目前免费使用。
AI语音合成
4.2M