# 低遅延

Cloudflare AI Agentsは、Cloudflare WorkersとWorkers AIを基盤としたプラットフォームで、開発者が自律的にタスクを実行できるAIエージェントを構築することを目指しています。agents-sdkやその他のツールを提供することで、開発者はAIエージェントの迅速な作成、展開、管理を可能にします。低遅延、高い拡張性、費用対効果が主な利点であり、複雑なタスクの自動化と動的な意思決定をサポートします。Cloudflareの世界的な分散型ネットワークとDurable Objectsテクノロジーは、AIエージェントに強力な基盤を提供します。

DeepEPは、混合専門家モデル（MoE）と専門家並列処理（EP）用に設計された通信ライブラリです。高スループットと低遅延の全結合GPUカーネルを提供し、低精度演算（FP8など）をサポートしています。非対称ドメイン帯域幅転送向けに最適化されており、プリフェッチタスクのトレーニングと推論に適しています。さらに、ストリームプロセッサ（SM）数の制御をサポートし、フックベースの通信計算オーバーラップ手法を導入しており、SMリソースを消費しません。DeepEPの実装はDeepSeek-V3論文とは多少異なりますが、最適化されたカーネルと低遅延設計により、大規模分散トレーニングと推論タスクで優れたパフォーマンスを発揮します。

Hibikiは、ストリーミング音声翻訳に特化した先進的なモデルです。十分なコンテキスト情報をリアルタイムに蓄積することで、正確な翻訳を逐次生成します。音声翻訳とテキスト翻訳をサポートし、音声変換も可能です。マルチストリームアーキテクチャに基づいており、ソース音声とターゲット音声を同時に処理し、連続したオーディオストリームとタイムスタンプ付きテキスト翻訳を生成します。主な利点としては、高忠実度の音声変換、低遅延のリアルタイム翻訳、複雑な推論戦略への適合性などが挙げられます。Hibikiは現在、フランス語から英語への翻訳をサポートしており、国際会議や多言語ライブ配信など、リアルタイムで効率的な翻訳が必要な場面に適しています。モデルはオープンソースで無料で、開発者や研究者にご利用いただけます。

Gemini 2.0は、Googleによる生成AI分野における重要な進歩であり、最先端の人工知能技術を代表します。強力な言語生成能力により、開発者に対し効率的で柔軟なソリューションを提供し、複雑なシナリオにも対応できます。Gemini 2.0の主な利点としては、高性能、低遅延、簡素化された価格設定戦略があり、開発コストの削減と生産性向上を目指しています。Google AI StudioとVertex AIを通じて提供され、多様なモーダル入力に対応し、幅広い応用が期待できます。

Mistral Small 3は、Mistral AIによってリリースされた、24Bパラメーターを持つオープンソースの言語モデルです。Apache 2.0ライセンスを採用しており、低遅延と高効率な性能のために設計されているため、迅速なレスポンスが必要な生成AIタスクに適しています。多言語理解（MMLU）ベンチマークテストで81％の精度を達成し、毎秒150トークンの速度でテキストを生成できます。Mistral Small 3は、ローカル展開とカスタマイズ開発のための強力な基盤モデルを提供することを目的としており、金融サービス、医療、ロボティクスなど、さまざまな業界アプリケーションをサポートしています。強化学習（RL）や合成データによるトレーニングは行っていないため、モデルの生産パイプラインでは初期段階にあり、推論能力の構築に適しています。

SpeechGPT 2.0-プレビューは、復旦大学自然言語処理研究所が開発した高度な音声対話モデルです。膨大な音声データによる学習を通じて、低遅延かつ自然な音声対話を実現しています。様々な感情、スタイル、キャラクターの音声表現を模倣し、ツール呼び出し、オンライン検索、外部知識ベースへのアクセスといった機能もサポートしています。主な利点として、強力な音声スタイル汎化能力、複数キャラクターのシミュレーション、低遅延インタラクション体験が挙げられます。現時点では中国語の音声対話のみサポートしていますが、将来的にはより多くの言語に対応予定です。

RAINは、リアルタイムアニメーション無限ビデオストリーム技術であり、コンシューマーデバイス上で高品質、低遅延のリアルタイムアニメーションを実現します。様々なノイズレベルと長い時間間隔を持つフレームの注意機構を効率的に計算し、従来のストリーミング手法よりも多くのフレームをノイズ除去することで、ビデオストリームの連続性を維持しながら、より高速で低遅延なビデオフレーム生成を実現します。RAINは少量の1Dアテンションブロックを追加するのみで、システムへの負担は軽微です。本技術は、ゲームレンダリング、ライブストリーミング、仮想現実などの分野でCGと連携し、AIの汎化能力を活用して無数の新しいシーンやオブジェクトをレンダリングし、よりインタラクティブな参加方法を提供すると期待されています。

FlashはElevenLabsが最新リリースしたテキスト読み上げ（Text-to-Speech、TTS）モデルです。75ミリ秒で音声生成（アプリとネットワークの遅延時間含む）を実現し、低遅延の会話型音声エージェントに最適なモデルです。Flash v2は英語のみ対応ですが、Flash v2.5は32言語に対応しており、2文字につき1クレジット消費します。ブラインドテストで、同様の超低遅延モデルを継続的に上回り、速度と品質を両立したモデルです。

CosyVoice 2は、アリババグループのSpeechLab@Tongyiチームが開発した音声合成モデルです。教師あり離散音声トークンに基づき、言語モデル（LM）とフローマッチングという2つの一般的な生成モデルを組み合わせることで、高い自然度、内容の一貫性、話者類似性を備えた音声合成を実現しています。本モデルは、マルチモーダル大規模言語モデル（LLM）において、特にインタラクティブな体験において応答遅延とリアルタイム性が重要な音声合成に大きな役割を果たします。CosyVoice 2は、有限標量量子化によって音声トークンのコードブック利用率を高め、テキスト音声変換の言語モデルアーキテクチャを簡素化し、ブロック認識因果フローマッチングモデルを設計することで、さまざまな合成シナリオに対応しています。大規模多言語データセットでトレーニングされており、人間並みの合成品質、極めて低い応答遅延、リアルタイム性を備えています。

Toolhouseは、AIアプリケーションに効率的なアクションと知識を提供するワンクリック展開プラットフォームです。最適化されたクラウドインフラストラクチャにより、推論時間を短縮し、トークンの使用量を削減し、低遅延ツールを提供し、エッジで最高の遅延を実現するサービスを提供します。ToolhouseのSDKはわずか3行のコードで実装でき、主要なフレームワークやLLMと互換性があり、開発者の数週間分の開発時間を削減します。

VideoChatは、リアルタイム音声対話デジタルヒューマンプロジェクトです。エンドツーエンドの音声ソリューション（GLM-4-Voice - THG）とカスケードソリューション（ASR-LLM-TTS-THG）に対応しています。ユーザーはデジタルヒューマンの容姿と音声を自由にカスタマイズでき、音色クローン機能も搭載。トレーニングは不要で、初回パケット遅延はわずか3秒です。自動音声認識（ASR）、大規模言語モデル（LLM）、エンドツーエンド多様な大規模言語モデル（MLLM）、テキスト音声変換（TTS）、および話す頭部生成（THG）といった最新の人工知能技術を活用し、高度にカスタマイズされた低遅延のインタラクティブエクスペリエンスを提供します。

リアルタイムAPIは、OpenAIが提供する低遅延の音声インタラクションAPIです。開発者はこのAPIを使用して、アプリケーションに高速な音声対音声エクスペリエンスを構築できます。このAPIは自然言語の音声対音声対話をサポートし、ChatGPTの高機能音声モードと同様に、会話の中断を処理できます。WebSocket接続を介して機能呼び出しをサポートしており、音声アシスタントがユーザーのリクエストに応答し、アクションをトリガーしたり、新しいコンテキストを導入したりできます。このAPIの提供により、開発者は音声エクスペリエンスを構築するために複数のモデルを組み合わせる必要がなくなり、単一のAPI呼び出しで自然な対話エクスペリエンスを実現できます。

Groqは、AIモデルに超低遅延の推論サービスを提供することに特化した、高性能AIチップとクラウドサービスを提供する企業です。2024年2月ローンチされたGroqCloud?は、既に46万7千人を超える開発者にご利用いただいています。GroqのAIチップ技術はMeta社のチーフAIサイエンティストであるYann LeCun氏から技術サポートを受けており、BlackRock社主導の6.4億ドルの資金調達を受け、企業価値は28億ドルに達しています。Groqの技術的優位性は、他のプロバイダーからのGroqへのシームレスな移行がわずか3行のコード変更で可能で、OpenAIのエンドポイントと互換性がある点にあります。GroqのAIチップは、AIチップ市場におけるNvidia社のリーダーシップに挑み、開発者と企業により高速で効率的なAI推論ソリューションを提供することを目指しています。

LLaMA-Omniは、Llama-3.1-8B-Instructをベースとした、低遅延かつ高品質のエンドツーエンド音声対話モデルです。GPT-4oレベルの音声能力を目指しており、低遅延の音声対話に対応し、テキストと音声の両方の応答を同時に生成できます。わずか3日未満で4つのGPUのみを使用して訓練されたことで、その高い訓練効率が示されています。

Tavus Conversational Video Interface (CVI) は、デジタルツイン技術を用いてリアルな対面インタラクションを提供する革新的なビデオ会話プラットフォームです。1秒未満の低遅延によるリアルタイム応答を実現し、高度な音声認識、ビジョン処理、会話意識を組み合わせることで、豊かで自然な会話体験を提供します。容易な導入と拡張性を備え、カスタムLLMやTTSにも対応し、様々な業界やシナリオに適用可能です。

voicechat2は、WebSocketベースの高速で完全にローカル化されたAI音声チャットアプリケーションです。ユーザーはローカル環境で音声対音声のリアルタイム通信を実現できます。AMD RDNA3グラフィックスカードとFaster Whisperテクノロジーを活用することで、音声通信の遅延を大幅に削減し、通信効率を向上させます。この製品は、迅速な応答とリアルタイム通信が必要な開発者や技術者向けです。

SenseVoiceは、自動音声認識（ASR）、言語識別（LID）、音声感情認識（SER）、音声イベント検出（AED）など、複数の音声理解機能を備えた音声基礎モデルです。50種類以上の言語に対応し、高精度な多言語音声認識、音声感情認識、音声イベント検出に特化しており、Whisperモデルを凌駕する認識性能を実現しています。非自己回帰型エンドツーエンドフレームワークを採用することで、推論遅延が極めて低く、リアルタイム音声処理に最適です。

Sonicは、Carteisaチームが開発した低遅延音声モデルです。様々なデバイスでリアルな音声生成を実現することを目指しています。革新的な状態空間モデルアーキテクチャを採用することで、高解像度オーディオとビデオの高効率かつ低遅延な生成を実現しました。Sonicモデルの遅延はわずか135ミリ秒で、同種のモデルの中で最速です。Carteisaチームは、インテリジェンスの効率化に注力し、より高速で、安価で、アクセスしやすいものにすることを目指しています。Sonicモデルの発表は、リアルタイム会話型AIと長期記憶計算プラットフォームの初期段階の進歩を示しており、リアルタイムゲームや顧客サポートなど、将来のAIによる新たな体験を予感させます。