

Ultravox V0 4 1 Llama 3 1 8b
简介 :
fixie-ai/ultravox-v0_4_1-llama-3_1-8b是一个基于预训练的Llama3.1-8B-Instruct和whisper-large-v3-turbo的大型语言模型,能够处理语音和文本输入,生成文本输出。该模型通过特殊的<|audio|>伪标记将输入音频转换为嵌入,并生成输出文本。未来版本计划扩展标记词汇以支持生成语义和声学音频标记,进而可以用于声码器产生语音输出。该模型在翻译评估中表现出色,且没有偏好调整,适用于语音代理、语音到语音翻译、语音分析等场景。
需求人群 :
目标受众为需要处理语音和文本数据的开发者和企业,如语音识别、语音翻译、语音分析等领域的专业人士。Ultravox的多模态处理能力和高性能使其成为这些领域的理想选择。
使用场景
- 作为语音代理,回答用户问题。
- 进行语音到语音的翻译,帮助跨语言沟通。
- 分析语音指令,执行特定任务。
产品特色
- 多模态输入处理:同时处理语音和文本输入。
- 特殊标记处理:使用<|audio|>标记处理音频输入。
- 文本生成:基于合并的嵌入生成输出文本。
- 语音到语音翻译:适用于不同语言间的语音翻译。
- 语音分析:分析语音内容并生成相关文本。
- 未来支持声学音频标记生成:计划扩展功能以支持声学音频标记生成。
- 知识蒸馏损失训练:通过知识蒸馏损失训练模型以匹配基于文本的Llama骨干网络的logits。
使用教程
1. 安装必要的库:pip install transformers peft librosa。
2. 导入库:import transformers, numpy as np, librosa。
3. 加载模型:pipe = transformers.pipeline(model='fixie-ai/ultravox-v0_4_1-llama-3_1-8b', trust_remote_code=True)。
4. 加载音频文件:audio, sr = librosa.load(path, sr=16000)。
5. 准备输入:定义系统角色和内容,构建turns列表。
6. 调用模型:pipe({'audio': audio, 'turns': turns, 'sampling_rate': sr}, max_new_tokens=30)。
精选AI产品推荐
中文精选

抖音即创
即创工作台是一个一站式的智能创意生产与管理平台。它集成了视频创作、图文创作、直播创作等多种创意工具,可以通过AI的力量大大提高创作效率。主要功能和优势包括:1)视频创作:内置多种AI视频创作工具,支持智能编剧、数字人物、一键成片等,可快速生成高质量视频内容;2)图文创作:提供智能图文和商品图片生成工具,可快速制作微信文章、产品详情等图文内容;3)直播创作:支持AI直播背景、直播文案等创作工具,可轻松制作抖音、快手等直播内容。定位为新创和创意从业者的创意助手,以合理价格提供创意生产全流程服务。
AI设计工具
106.5M
国外精选

Pika
Pika是一个视频制作平台,用户可以上传自己的创意想法,Pika会自动生成相关的视频。主要功能有:支持多种创意想法转视频,视频效果专业,操作简单易用。平台采用免费试用模式,定位面向创意者和视频爱好者。
视频生成
18.7M