%20--%3e%3cdefs%3e%3cstyle%3e%20.st0%20{%20fill:%20%23061b40;%20}%20.st1%20{%20fill:%20%23306af1;%20}%20.st2%20{%20fill:%20%235ce5cf;%20}%20%3c/style%3e%3c/defs%3e%3cg%3e%3cpath%20class='st0'%20d='M55,10.5h9v3h-9v9h12V7.5h-12v3ZM64,19.5h-6v-3h6v3Z'/%3e%3cpolygon%20class='st0'%20points='69%2016.5%2078%2016.5%2078%2019.5%2069%2019.5%2069%2022.5%2081%2022.5%2081%2013.5%2072%2013.5%2072%2010.5%2081%2010.5%2081%207.5%2069%207.5%2069%2016.5'/%3e%3cpolygon%20class='st0'%20points='95%2010.5%2095%207.5%2083%207.5%2083%2022.5%2095%2022.5%2095%2019.5%2086%2019.5%2086%2016.5%2095%2016.5%2095%2013.5%2086%2013.5%2086%2010.5%2095%2010.5'/%3e%3cpath%20class='st0'%20d='M40,1.5v21h11.6l1.4-1.4v-7.6h0c0,0-1.4-1.5-1.4-1.5l1.4-1.4V2.9l-1.4-1.4h-11.6ZM50,19.5h-7v-6h7v6ZM50,10.5h-7v-6h7v6Z'/%3e%3c/g%3e%3cpath%20class='st1'%20d='M23.1,24L14.7,4.8l-4.9,11.2h3.8l-1.8,4H3.3L12.1,0H2C.9,0,0,.9,0,2v20c0,1.1.9,2,2,2h21.1Z'/%3e%3cpath%20class='st2'%20d='M34,0h-16.8l10.6,24h6.2c1.1,0,2-.9,2-2V2C36,.9,35.1,0,34,0ZM32.5,20h-4V4h4v16Z'/%3e%3c/svg%3e)
Whisper Diarization
简介 :
whisper-diarization是一个结合了Whisper自动语音识别(ASR)能力、声音活动检测(VAD)和说话人嵌入技术的开源项目。它通过提取音频中的声音部分来提高说话人嵌入的准确性，然后使用Whisper生成转录文本，并通过WhisperX校正时间戳和对齐，以减少由于时间偏移导致的分割错误。接着，使用MarbleNet进行VAD和分割以排除静音，TitaNet用于提取说话人嵌入以识别每个段落的说话人，最后将结果与WhisperX生成的时间戳关联，基于时间戳检测每个单词的说话人，并使用标点模型重新对齐以补偿小的时间偏移。
需求人群 :
该产品适用于需要进行自动语音识别和说话人分割的开发者和研究人员，特别是在处理多说话人音频文件时，能够显著提高转录和分割的准确性。
使用场景
研究人员使用whisper-diarization对学术会议的音频进行自动转录和说话人识别。
开发者利用该模型为视频会议软件添加自动生成字幕和说话人标签的功能。
内容创作者使用whisper-diarization来提高播客或视频内容的后期制作效率。
产品特色
结合Whisper ASR进行高质量的语音转录
使用声音活动检测(VAD)技术排除静音
利用说话人嵌入技术进行说话人识别
通过WhisperX校正和对齐时间戳
使用标点模型优化转录文本的对齐精度
支持批处理推理，提高处理效率
使用教程
1. 确保系统已安装FFMPEG和Cython作为先决条件。
%20--%3e%3cdefs%3e%3cstyle%3e%20.st0%20{%20fill:%20%230080ff;%20}%20%3c/style%3e%3c/defs%3e%3cpath%20class='st0'%20d='M16.2,11.1c.4.5.4,1.2,0,1.8l-4.7,7.1h-3.8l5.3-8L7.6,4h3.8l4.7,7.1Z'/%3e%3c/svg%3e)
2. 克隆或下载whisper-diarization的代码库。
3. 根据需要修改`diarize.py`和`helpers.py`中的WhisperX和NeMo参数。
4. 使用命令行工具，输入相应的参数和音频文件名来运行模型。
5. 根据系统VRAM容量选择使用`diarize.py`或`diarize_parallel.py`进行处理。
6. 检查输出结果，确保转录和说话人分割的准确性。
7. 如遇问题或需要改进，可在GitHub上提交issue或pull request。
