# 即時通信

VideoSDK是一種API，可以讓開發人員在任何平臺上輕鬆構建即時音頻和視頻體驗。它具有100%安全的AES 256傳輸級加密，全面符合HIPAA、GDPR、ISO和SOC 2標準。

Mahilo是一個強大的AI代理集成平臺，旨在將來自不同框架的AI代理連接在一起，實現即時通信和人類監督。它通過提供框架無關的通信協議，支持多種流行的代理框架，如LangGraph、Pydantic AI等，同時允許通過API連接專有代理。該平臺強調智能協作、組織級策略管理和以人類為中心的設計，確保在自動化的同時保持人類的控制權。Mahilo的出現為構建複雜的多代理系統提供了靈活的解決方案，適用於從內容創作到緊急響應等多種應用場景。目前，Mahilo在GitHub上擁有251顆星，每月PyPI下載量超過500次，顯示出其在開發者社區中的受歡迎程度。Mahilo主要面向開發者和企業用戶，幫助他們快速構建和部署多代理系統，提升工作效率和創新能力。

Gemini Multimodal Live + WebRTC是一個展示如何構建簡單語音AI應用的示例項目，使用Gemini多模態直播API和WebRTC技術。該產品的主要優點包括低延遲、更好的魯棒性、易於實現核心功能，並且兼容多種平臺和語言的SDK。產品背景信息顯示，這是一個開源項目，旨在通過WebRTC技術提升即時媒體連接的性能，並簡化開發流程。

LiveKit Plugins Turn Detector是一個用於LiveKit Agents的插件，它通過使用定製的開放權重模型來確定用戶何時完成發言，從而引入了端對端的發言結束檢測。相較於傳統的聲學活動檢測(VAD)模型，該插件利用專門為此任務訓練的語言模型，提供了一種更準確、更穩健的發言結束檢測方法。目前版本僅支持英文，不建議用於其他語言。

StreamVC是由Google研發的即時低延遲語音轉換解決方案，能夠在保持源語音內容和韻律的同時，匹配目標語音的音色。該技術特別適合即時通信場景，如電話和視頻會議，並且可用於語音匿名化等用例。StreamVC利用SoundStream神經音頻編解碼器的架構和訓練策略，實現輕量級高質量的語音合成。它還展示了學習軟語音單元的因果性以及提供白化基頻信息以提高音高穩定性而不洩露源音色信息的有效性。

Sign AI是一個由Mudita Studios在西雅圖發起的創業項目，旨在通過人工智能技術，為聽障和重聽人群提供即時、雙向的手語翻譯服務。它通過虛擬形象提供準確的手語翻譯，同時將手語翻譯成口語，確保所有參與者都能獲得豐富、有情感的溝通體驗。Sign AI的解決方案可以24/7不間斷地提供服務，不受傳統手語翻譯者的時間和地點限制，且易於集成到各種平臺，如Zoom、Microsoft Teams、WebEx和Google Meet。

Fixie.ai致力於開發能夠像人類一樣自然交流的人工智能模型。我們認為，有用的、高效的、易獲取的通用人工智能（AGI）將需要能夠在快節奏、模糊不清的自然人類交流世界中運作的模型。我們正在解決的問題是構建Ultravox，一個開源的、最先進的語音到語音模型；構建處理WebRTC上LLMs即時通信的最佳堆棧；在Town上構建新體驗；在TheFastest.ai上跟蹤模型和提供商的延遲；以及在AI領域探索可能性的邊界。

rabbit是一個研究項目，旨在開發可以理解和模擬人類在計算機應用中的行為的系統。這個系統被稱為大型行動模型（LAM），採用神經符號編程技術，允許直接模擬各種應用程序和用戶在其上執行的操作。LAM在精確度、可解釋性和速度方面與最先進的方法相媲美。它的目標是為各種AI助手和操作系統的部署提供支持，幫助塑造下一代自然語言驅動的消費者體驗。