# 低延遲

Cloudflare AI Agents 是一個基於 Cloudflare Workers 和 Workers AI 的平臺，旨在幫助開發者構建能夠自主執行任務的 AI 代理。該平臺通過提供 agents-sdk 和其他工具，使開發者能夠快速創建、部署和管理 AI 代理。其主要優勢在於低延遲、高可擴展性和成本效益，同時支持複雜任務的自動化和動態決策。Cloudflare 的全球分佈式網絡和 Durable Objects 技術為 AI 代理提供了強大的基礎支持。

DeepEP 是一個專為混合專家模型（MoE）和專家並行（EP）設計的通信庫。它提供了高吞吐量和低延遲的全連接 GPU 內核，支持低精度操作（如 FP8）。該庫針對非對稱域帶寬轉發進行了優化，適合訓練和推理預填充任務。此外，它還支持流處理器（SM）數量控制，並引入了一種基於鉤子的通信-計算重疊方法，不佔用任何 SM 資源。DeepEP 的實現雖然與 DeepSeek-V3 論文略有差異，但其優化的內核和低延遲設計使其在大規模分佈式訓練和推理任務中表現出色。

Hibiki 是一款專注於流式語音翻譯的先進模型。它通過即時積累足夠的上下文信息來逐塊生成正確的翻譯，支持語音和文本翻譯，並可進行聲音轉換。該模型基於多流架構，能夠同時處理源語音和目標語音，生成連續的音頻流和時間戳文本翻譯。其主要優點包括高保真語音轉換、低延遲即時翻譯以及對複雜推理策略的兼容性。Hibiki 目前支持法語到英語的翻譯，適合需要高效即時翻譯的場景，如國際會議、多語言直播等。模型開源免費，適合開發者和研究人員使用。

Gemini 2.0 是谷歌在生成式 AI 領域的重要進展，代表了最新的人工智能技術。它通過強大的語言生成能力，為開發者提供高效、靈活的解決方案，適用於多種複雜場景。Gemini 2.0 的主要優點包括高性能、低延遲和簡化的定價策略，旨在降低開發成本並提高生產效率。該模型通過 Google AI Studio 和 Vertex AI 提供，支持多種模態輸入，具備廣泛的應用前景。

Mistral Small 3 是由 Mistral AI 推出的一款開源語言模型，具有 24B 參數，採用 Apache 2.0 許可證。該模型專為低延遲和高效性能設計，適合需要快速響應的生成式 AI 任務。它在多任務語言理解（MMLU）基準測試中達到 81% 的準確率，並且能夠以每秒 150 個標記的速度生成文本。Mistral Small 3 的設計目標是提供一個強大的基礎模型，用於本地部署和定製化開發，支持多種行業應用，如金融服務、醫療保健和機器人技術等。該模型未使用強化學習（RL）或合成數據訓練，因此在模型生產管線中處於較早期階段，適合用於構建推理能力。

SpeechGPT 2.0-preview 是一款由復旦大學自然語言處理實驗室開發的先進語音交互模型。它通過海量語音數據訓練，實現了低延遲、高自然度的語音交互能力。該模型能夠模擬多種情感、風格和角色的語音表達，同時支持工具調用、在線搜索和外部知識庫訪問等功能。其主要優點包括強大的語音風格泛化能力、多角色模擬以及低延遲交互體驗。目前該模型僅支持中文語音交互，未來計劃擴展到更多語言。

RAIN是一種即時動畫無限視頻流技術，能夠在消費級設備上實現高質量、低延遲的即時動畫。它通過高效計算不同噪聲水平和長時間間隔的幀標記注意力，同時去噪比以往流式方法更多的幀標記，從而在保持視頻流連貫性的同時，以更快的速度和更短的延遲生成視頻幀。RAIN僅引入少量額外的1D注意力塊，對系統負擔較小。該技術有望在遊戲渲染、直播和虛擬現實等領域與CG結合，利用AI的泛化能力渲染無數新場景和對象，並提供更互動的參與方式。

Flash是ElevenLabs最新推出的文本轉語音(Text-to-Speech, TTS)模型，它以75毫秒加上應用和網絡延遲的速度生成語音，是低延遲、會話型語音代理的首選模型。Flash v2僅支持英語，而Flash v2.5支持32種語言，每兩個字符消耗1個信用點。Flash在盲測中持續超越了同類超低延遲模型，是速度最快且具有質量保證的模型。

CosyVoice 2是由阿里巴巴集團的SpeechLab@Tongyi團隊開發的語音合成模型，它基於監督離散語音標記，並結合了兩種流行的生成模型：語言模型（LMs）和流匹配，實現了高自然度、內容一致性和說話人相似性的語音合成。該模型在多模態大型語言模型（LLMs）中具有重要的應用，特別是在交互體驗中，響應延遲和即時因素對語音合成至關重要。CosyVoice 2通過有限標量量化提高語音標記的碼本利用率，簡化了文本到語音的語言模型架構，並設計了塊感知的因果流匹配模型以適應不同的合成場景。它在大規模多語言數據集上訓練，實現了與人類相當的合成質量，並具有極低的響應延遲和即時性。

Toolhouse是一個為AI應用提供高效動作和知識的一鍵部署平臺，通過優化的雲基礎設施，減少推理時間，節省令牌使用，提供低延遲工具，並在邊緣提供最佳延遲的服務。Toolhouse的SDK只需3行代碼即可實現，與所有主要框架和LLMs兼容，為開發者節省數週的開發時間。

VideoChat是一個即時語音交互數字人項目，支持端到端語音方案（GLM-4-Voice - THG）和級聯方案（ASR-LLM-TTS-THG）。用戶可以自定義數字人的形象和音色，支持音色克隆，無需訓練，首包延遲低至3秒。該項目利用了最新的人工智能技術，包括自動語音識別（ASR）、大型語言模型（LLM）、端到端多模態大型語言模型（MLLM）、文本到語音（TTS）和說話頭生成（THG），為用戶提供了一個高度定製化和低延遲的交互體驗。

Realtime API 是 OpenAI 推出的一款低延遲語音交互API，它允許開發者在應用程序中構建快速的語音到語音體驗。該API支持自然語音到語音對話，並可處理中斷，類似於ChatGPT的高級語音模式。它通過WebSocket連接，支持功能調用，使得語音助手能夠響應用戶請求，觸發動作或引入新上下文。該API的推出，意味著開發者不再需要組合多個模型來構建語音體驗，而是可以通過單一API調用實現自然對話體驗。

Groq是一家提供高性能AI芯片和雲服務的公司，專注於為AI模型提供超低延遲的推理服務。其產品GroqCloud™自2024年2月推出以來，已經有超過467,000名開發者使用。Groq的AI芯片技術由Meta的首席AI科學家Yann LeCun提供技術支持，並且獲得了BlackRock領投的6.4億美元融資，公司估值達到28億美元。Groq的技術優勢在於其能夠無縫地從其他提供商遷移到Groq，僅需更改三行代碼，並且與OpenAI的端點兼容。Groq的AI芯片旨在挑戰Nvidia在AI芯片市場的領導地位，為開發者和企業提供更快、更高效的AI推理解決方案。

LLaMA-Omni是一個基於Llama-3.1-8B-Instruct構建的低延遲、高質量的端到端語音交互模型，旨在實現GPT-4o級別的語音能力。該模型支持低延遲的語音交互，能夠同時生成文本和語音響應。它在不到3天的時間內使用僅4個GPU完成訓練，展示了其高效的訓練能力。

Tavus Conversational Video Interface (CVI) 是一個創新的視頻對話平臺，它通過數字孿生技術提供面對面的互動體驗。該平臺具備低延遲（少於一秒）的即時響應能力，結合先進的語音識別、視覺處理和對話意識，為用戶提供豐富、自然的對話體驗。平臺易於部署和擴展，支持自定義LLM或TTS，適用於多種行業和場景。

voicechat2是一個基於WebSocket的快速、完全本地化的AI語音聊天應用程序，使用戶能夠在本地環境中實現語音到語音的即時通訊。它利用了AMD RDNA3顯卡和Faster Whisper技術，顯著降低了語音通訊的延遲，提高了通訊效率。該產品適用於需要快速響應和即時通訊的開發者和技術人員。

SenseVoice是一個包含自動語音識別(ASR)、語音語言識別(LID)、語音情感識別(SER)和音頻事件檢測(AED)等多語音理解能力的語音基礎模型。它專注於高精度多語種語音識別、語音情感識別和音頻事件檢測，支持超過50種語言，識別性能超越Whisper模型。模型採用非自迴歸端到端框架，推理延遲極低，是即時語音處理的理想選擇。

Sonic是由Carteisa團隊開發的低延遲語音模型，旨在為各種設備提供逼真的語音生成能力。該模型利用了創新的狀態空間模型架構，以實現高分辨率音頻和視頻的高效、低延遲生成。Sonic模型的延遲僅為135毫秒，是同類模型中最快的。Carteisa團隊專注於優化智能的效率，使它更快、更便宜、更易於訪問。Sonic模型的發佈，標誌著即時對話式AI和長期記憶的計算平臺的初步進展，預示著未來AI在即時遊戲、客戶支持等領域的新體驗。