whisper-diarization是一個結合了Whisper自動語音識別(ASR)能力、聲音活動檢測(VAD)和說話人嵌入技術的開源項目。它通過提取音頻中的聲音部分來提高說話人嵌入的準確性，然後使用Whisper生成轉錄文本，並通過WhisperX校正時間戳和對齊，以減少由於時間偏移導致的分割錯誤。接著，使用MarbleNet進行VAD和分割以排除靜音，TitaNet用於提取說話人嵌入以識別每個段落的說話人，最後將結果與WhisperX生成的時間戳關聯，基於時間戳檢測每個單詞的說話人，並使用標點模型重新對齊以補償小的時間偏移。