

Whisperfusion
简介 :
WhisperFusion是一款基于WhisperLive和WhisperSpeech功能的产品,通过在实时语音转文字流程中集成Mistral大型语言模型(LLM)来实现与AI的无缝对话。Whisper和LLM均经过TensorRT引擎优化,以最大程度提升性能和实时处理能力。WhisperSpeech则使用torch.compile来优化。产品定位于提供超低延迟的AI实时对话体验。
需求人群 :
用户可以通过使用预构建的TensorRT-LLM Docker容器快速开始与WhisperFusion进行交互。同时,也可以构建适用于不同cuda架构的docker镜像。
使用场景
1. 在网站上与WhisperFusion的AI进行实时对话
2. 通过WhisperFusion的小程序进行语音转文字交互
3. 使用WhisperFusion插件在桌面客户端上进行实时语音识别
产品特色
实时语音转文字:利用OpenAI WhisperLive实现实时语音转文字。
大型语言模型集成:整合Mistral大型语言模型,增强对转录文本的理解和语境。
TensorRT优化:LLM和Whisper均优化为TensorRT引擎,确保高性能和低延迟处理。
torch.compile:WhisperSpeech使用torch.compile来加速推断,通过将PyTorch代码即时编译为优化内核,使PyTorch代码运行更快。
精选AI产品推荐

Talk To Poe AI
Talk to Poe AI是一个插件,为Poe的所有AI,包括Sage、GPT-4和Claude+,提供了语音控制和朗读功能。您可以使用语音与Poe的AI进行对话,并以多种语言听取其回复。该插件还可以将AI的回复以清晰自然的语音读出,支持多种语言。安装简便,无需键盘输入,让您更轻松地与AI交流。
AI语音助手
425.9K

Omnireader AI Powered Free Text To Speech
OmniReader是一款AI语音朗读工具,可以轻松地将网页、EPUB、PDF等内容朗读出来。它使用逼真的AI声音,提供多语言支持,并具备将PDF和EPUB转换为音频的功能。OmniReader还可以与AI互动,通过语音与Claude或chatGPT对话。
AI语音助手
385.6K