# 实时通信

VideoSDK是一种API，可以让开发人员在任何平台上轻松构建实时音频和视频体验。它具有100%安全的AES 256传输级加密，全面符合HIPAA、GDPR、ISO和SOC 2标准。

Mahilo是一个强大的AI代理集成平台，旨在将来自不同框架的AI代理连接在一起，实现实时通信和人类监督。它通过提供框架无关的通信协议，支持多种流行的代理框架，如LangGraph、Pydantic AI等，同时允许通过API连接专有代理。该平台强调智能协作、组织级策略管理和以人类为中心的设计，确保在自动化的同时保持人类的控制权。Mahilo的出现为构建复杂的多代理系统提供了灵活的解决方案，适用于从内容创作到紧急响应等多种应用场景。目前，Mahilo在GitHub上拥有251颗星，每月PyPI下载量超过500次，显示出其在开发者社区中的受欢迎程度。Mahilo主要面向开发者和企业用户，帮助他们快速构建和部署多代理系统，提升工作效率和创新能力。

Gemini Multimodal Live + WebRTC是一个展示如何构建简单语音AI应用的示例项目，使用Gemini多模态直播API和WebRTC技术。该产品的主要优点包括低延迟、更好的鲁棒性、易于实现核心功能，并且兼容多种平台和语言的SDK。产品背景信息显示，这是一个开源项目，旨在通过WebRTC技术提升实时媒体连接的性能，并简化开发流程。

LiveKit Plugins Turn Detector是一个用于LiveKit Agents的插件，它通过使用定制的开放权重模型来确定用户何时完成发言，从而引入了端对端的发言结束检测。相较于传统的声学活动检测(VAD)模型，该插件利用专门为此任务训练的语言模型，提供了一种更准确、更稳健的发言结束检测方法。目前版本仅支持英文，不建议用于其他语言。

StreamVC是由Google研发的实时低延迟语音转换解决方案，能够在保持源语音内容和韵律的同时，匹配目标语音的音色。该技术特别适合实时通信场景，如电话和视频会议，并且可用于语音匿名化等用例。StreamVC利用SoundStream神经音频编解码器的架构和训练策略，实现轻量级高质量的语音合成。它还展示了学习软语音单元的因果性以及提供白化基频信息以提高音高稳定性而不泄露源音色信息的有效性。

Sign AI是一个由Mudita Studios在西雅图发起的创业项目，旨在通过人工智能技术，为听障和重听人群提供实时、双向的手语翻译服务。它通过虚拟形象提供准确的手语翻译，同时将手语翻译成口语，确保所有参与者都能获得丰富、有情感的沟通体验。Sign AI的解决方案可以24/7不间断地提供服务，不受传统手语翻译者的时间和地点限制，且易于集成到各种平台，如Zoom、Microsoft Teams、WebEx和Google Meet。

Fixie.ai致力于开发能够像人类一样自然交流的人工智能模型。我们认为，有用的、高效的、易获取的通用人工智能（AGI）将需要能够在快节奏、模糊不清的自然人类交流世界中运作的模型。我们正在解决的问题是构建Ultravox，一个开源的、最先进的语音到语音模型；构建处理WebRTC上LLMs实时通信的最佳堆栈；在Town上构建新体验；在TheFastest.ai上跟踪模型和提供商的延迟；以及在AI领域探索可能性的边界。

rabbit是一个研究项目，旨在开发可以理解和模拟人类在计算机应用中的行为的系统。这个系统被称为大型行动模型（LAM），采用神经符号编程技术，允许直接模拟各种应用程序和用户在其上执行的操作。LAM在精确度、可解释性和速度方面与最先进的方法相媲美。它的目标是为各种AI助手和操作系统的部署提供支持，帮助塑造下一代自然语言驱动的消费者体验。