# リアルタイム通信

Mahiloは、異なるフレームワークのAIエージェントを接続してリアルタイム通信と人間の監視を実現することを目的とした、強力なAIエージェント統合プラットフォームです。フレームワークに依存しない通信プロトコルを提供することにより、LangGraph、Pydantic AIなど、さまざまな一般的なエージェントフレームワークをサポートし、APIを介して独自の代理を接続することもできます。本プラットフォームは、インテリジェントな協調、組織レベルのポリシー管理、人間中心の設計を重視しており、自動化を行いながら人間の制御を維持することを保証します。Mahiloの登場により、複雑なマルチエージェントシステムの構築に柔軟なソリューションが提供され、コンテンツ作成から緊急対応まで、さまざまなアプリケーションシナリオに適用できます。現在、MahiloはGitHubで251個のスターを獲得しており、毎月のPyPIダウンロード数は500回を超えており、開発者コミュニティにおける人気を示しています。Mahiloは主に開発者と企業ユーザーを対象としており、マルチエージェントシステムの迅速な構築と展開を支援し、作業効率とイノベーション能力の向上に役立ちます。

Gemini多モーダルライブ＋WebRTCは、シンプルな音声AIアプリケーションの構築方法を示すサンプルプロジェクトです。Gemini多モーダルライブAPIとWebRTC技術を使用しています。主な利点として、低遅延、高い堅牢性、コア機能の実装容易性、そして様々なプラットフォームと言語のSDKとの互換性があります。これはオープンソースプロジェクトであり、WebRTC技術によってリアルタイムメディア接続のパフォーマンス向上と開発プロセスの簡素化を目指しています。

LiveKit Plugins Turn Detectorは、LiveKitエージェント向けのプラグインです。カスタムのオープンウェイトモデルを使用して、ユーザーの発言がいつ終了したかを判断することで、エンドツーエンドの発言終了検出を実現します。従来の音声活動検出（VAD）モデルと比較して、このプラグインは、このタスクのために特別にトレーニングされた言語モデルを利用することで、より正確で堅牢な発言終了検出方法を提供します。現在のバージョンは英語のみをサポートしており、他の言語には使用できません。

Dazeは、独自のコミュニケーション方法でユーザーを繋ぎ、斬新なソーシャル体験を提供する革新的な交流プラットフォームです。WebRTCやWebSocketなどの最新技術を活用し、リアルタイム通信を実現している可能性があります。Dazeの主な利点は、その革新的なコミュニケーション方法にあり、既存のソーシャルネットワークにはない、よりプライベートでパーソナライズされたチャット体験を提供している可能性があります。製品の背景には、従来のソーシャルメディアへの反省とプライバシー保護への重視が垣間見えます。価格とポジショニングに関しては、無料トライアルを提供、または基本サービスを無料で提供し、高度な機能は有料とするモデルを採用している可能性があります。

StreamVCはGoogleが開発したリアルタイム低遅延音声変換ソリューションです。元の音声の内容とリズムを維持しながら、ターゲット音声の音色に合わせることができます。この技術は、電話やビデオ会議などのリアルタイム通信シーンに特に適しており、音声匿名化などのユースケースにも利用できます。StreamVCは、SoundStreamニューラルオーディオコーデックのアーキテクチャとトレーニング戦略を利用して、軽量で高品質の音声合成を実現しています。また、ソフト音声ユニットの因果関係の学習、およびソースの音色情報を漏らすことなくピッチの安定性を向上させるためのホワイトニングされた基本周波数情報の提供の有効性も示しています。

Fixie.aiは、人間のように自然にコミュニケーションできるAIモデルの開発に取り組んでいます。私たちは、有用で、効率的で、容易にアクセスできる汎用人工知能（AGI）には、速いペースで曖昧な自然な人間同士のコミュニケーションの世界で機能するモデルが必要だと考えています。現在取り組んでいる課題は、オープンソースで最先端の音声対音声モデルであるUltravoxの構築、WebRTC上でのLLMのリアルタイム通信を処理する最適なスタックの構築、Town上で新しい体験の構築、TheFastest.aiでモデルとプロバイダーの遅延をトラッキングすること、そしてAI分野の可能性の限界を探求することです。

Rabbitは、コンピュータアプリケーションにおける人間の行動を理解し、シミュレートできるシステムの開発を目指す研究プロジェクトです。このシステムは、大規模行動モデル（LAM）と呼ばれ、ニューラルシンボリックプログラミング技術を採用することで、様々なアプリケーションやユーザーがそれら上で実行する操作を直接シミュレートできます。LAMは、精度、説明可能性、速度において最先端の方法と同等の性能を達成しています。その目標は、様々なAIアシスタントやオペレーティングシステムの展開を支援し、次世代の自然言語駆動型コンシューマーエクスペリエンスの形成に貢献することです。

GeminiProChatは、GeminiProの最小限のWebインターフェースであり、シンプルで効率的なチャット体験を提供します。環境変数によるウェブサイトの制御、Dockerによる展開、そして容易な展開を可能にするVercelとRailwayのオプションに対応しています。GeminiProChatは、シンプルで効率的なチャットインターフェースを必要とするユーザーにとって柔軟性の高いツールです。