

Hibiki
简介 :
Hibiki 是一款专注于流式语音翻译的先进模型。它通过实时积累足够的上下文信息来逐块生成正确的翻译,支持语音和文本翻译,并可进行声音转换。该模型基于多流架构,能够同时处理源语音和目标语音,生成连续的音频流和时间戳文本翻译。其主要优点包括高保真语音转换、低延迟实时翻译以及对复杂推理策略的兼容性。Hibiki 目前支持法语到英语的翻译,适合需要高效实时翻译的场景,如国际会议、多语言直播等。模型开源免费,适合开发者和研究人员使用。
需求人群 :
Hibiki 适合需要实时语音翻译的场景,如国际会议、多语言直播、在线教育等,尤其适合开发者和研究人员,可用于开发相关应用或进行学术研究。
使用场景
在国际会议中,实时将法语演讲翻译为英语,为听众提供即时翻译。
用于多语言直播平台,将主播的法语语音实时翻译为英语,拓展观众群体。
在在线教育平台上,将教师的法语授课内容实时翻译为英语,方便不同语言背景的学生学习。
产品特色
支持流式语音翻译,实时逐块生成翻译结果
可同时生成目标语音和文本翻译,满足多种使用需求
采用多流架构,联合建模源语音和目标语音
支持语音转换功能,可保留原说话人的语音特征
提供多种后端实现(如 PyTorch、Rust、MLX 等),适配不同硬件平台
使用教程
1. 安装所需的后端库(如 PyTorch 或 Rust)。
2. 下载 Hibiki 模型文件,选择适合的版本(如 PyTorch 或 MLX)。
3. 准备待翻译的音频文件。
4. 使用命令行工具运行翻译脚本,指定音频文件和输出路径。
5. 根据需要调整参数(如分类器自由引导系数)以优化翻译效果。
6. 查看生成的翻译音频文件和文本翻译结果。
精选AI产品推荐

Lugs.ai
Lugs.ai是一款能够在电脑上准确实时生成字幕的插件。无需联网,支持电脑内的所有音频,包括麦克风录音和电脑上的声音。它使用AI技术,可以深度理解对话内容,并根据上下文进行准确的转写和字幕生成。Lugs.ai是由听力受损者开发的,始终以实际使用体验为依据进行不断优化。具备最佳的准确性和持续的更新。
语音识别
841.0K

Transluna
Transluna是一个强大的在线工具,旨在简化将JSON文件翻译成多种语言的过程。它是开发人员、本地化专家和任何与国际化和本地化相关工作的人必备的资源。Transluna能够提供准确的JSON翻译,帮助您的网站与全球用户有效沟通和共鸣。
翻译
598.4K