Ultravox V0 4 1 Llama 3 1 8b : 多模态语音大型语言模型

Ultravox V0 4 1 Llama 3 1 8b

ultravox-v0_4_1-llama-3_1-8b

Ultravox V0 4 1 Llama 3 1 8b

#语音识别 #语音翻译 #多模态模型 #大型语言模型普通产品开源

简介 :

fixie-ai/ultravox-v0_4_1-llama-3_1-8b是一个基于预训练的Llama3.1-8B-Instruct和whisper-large-v3-turbo的大型语言模型，能够处理语音和文本输入，生成文本输出。该模型通过特殊的<|audio|>伪标记将输入音频转换为嵌入，并生成输出文本。未来版本计划扩展标记词汇以支持生成语义和声学音频标记，进而可以用于声码器产生语音输出。该模型在翻译评估中表现出色，且没有偏好调整，适用于语音代理、语音到语音翻译、语音分析等场景。

需求人群 :

目标受众为需要处理语音和文本数据的开发者和企业，如语音识别、语音翻译、语音分析等领域的专业人士。Ultravox的多模态处理能力和高性能使其成为这些领域的理想选择。

总访问量： 29.7M

占比最多地区： US(17.94%)

本站浏览量： 53.3K

使用场景

- 作为语音代理，回答用户问题。

- 进行语音到语音的翻译，帮助跨语言沟通。

- 分析语音指令，执行特定任务。

产品特色

- 多模态输入处理：同时处理语音和文本输入。

- 特殊标记处理：使用<|audio|>标记处理音频输入。

- 文本生成：基于合并的嵌入生成输出文本。

- 语音到语音翻译：适用于不同语言间的语音翻译。

- 语音分析：分析语音内容并生成相关文本。

- 未来支持声学音频标记生成：计划扩展功能以支持声学音频标记生成。

- 知识蒸馏损失训练：通过知识蒸馏损失训练模型以匹配基于文本的Llama骨干网络的logits。

使用教程

1. 安装必要的库：pip install transformers peft librosa。

2. 导入库：import transformers, numpy as np, librosa。

3. 加载模型：pipe = transformers.pipeline(model='fixie-ai/ultravox-v0_4_1-llama-3_1-8b', trust_remote_code=True)。

4. 加载音频文件：audio, sr = librosa.load(path, sr=16000)。

5. 准备输入：定义系统角色和内容，构建turns列表。

6. 调用模型：pipe({'audio': audio, 'turns': turns, 'sampling_rate': sr}, max_new_tokens=30)。

精选AI产品推荐

抖音即创

即创工作台是一个一站式的智能创意生产与管理平台。它集成了视频创作、图文创作、直播创作等多种创意工具,可以通过AI的力量大大提高创作效率。主要功能和优势包括:1)视频创作:内置多种AI视频创作工具,支持智能编剧、数字人物、一键成片等,可快速生成高质量视频内容;2)图文创作:提供智能图文和商品图片生成工具,可快速制作微信文章、产品详情等图文内容;3)直播创作:支持AI直播背景、直播文案等创作工具,可轻松制作抖音、快手等直播内容。定位为新创和创意从业者的创意助手,以合理价格提供创意生产全流程服务。

Pika

Pika是一个视频制作平台,用户可以上传自己的创意想法,Pika会自动生成相关的视频。主要功能有:支持多种创意想法转视频,视频效果专业,操作简单易用。平台采用免费试用模式,定位面向创意者和视频爱好者。

AIbase

智启未来，您的人工智能解决方案智库

English 简体中文繁體中文にほんご

© 2025AIbase