# リアルタイムAPI

本プロジェクトは、OpenAIリアルタイムAPIとWebRTC技術を用いて開発されたWebRTCベースの音声AIストリームアプリケーションです。Next.jsフレームワークで構築されており、サーバーサイドレンダリングとAPIルーティング機能を備えています。shadcn/uiを使用して開発されたUIコンポーネントも搭載し、リアルタイムの音声対話をサポートします。さらに、WebRTC処理を抽象化したフックと、クライアントツールとリアルタイムAPIの連携を示す6つのサンプル関数を備えています。オープンソースで無料で利用でき、開発者を主な対象としており、音声AI機能を備えたWebアプリケーションを迅速に構築するために使用できます。

openai-realtime-embedded-sdkは、ESP32などのマイクロコントローラー上でリアルタイムAPI機能を実現するために設計されたSDKです。このSDKは主にESP32S3とLinuxプラットフォームで開発とテストが行われており、開発者は物理的なハードウェアを用意することなく、Linux上で直接使用できます。Wi-FiのSSIDとパスワード、OpenAI APIキーを設定することでデバイスを構成し、プログラムをビルドおよび実行できます。このSDKの重要性は、マイクロコントローラーに強力なAPIとの連携機能を提供し、リアルタイムデータ処理や意思決定が必要なシナリオにおいて、マイクロコントローラーの適用範囲を拡大することです。

リアルタイム?プレイグラウンドは、LiveKit Agentsを基盤としたインタラクティブなプラットフォームです。ユーザーはブラウザ上でOpenAIのリアルタイムAPIを直接体験できます。最新のAPI技術を統合することで、人工知能のリアルタイムインタラクション能力を実験?探求するための場を提供します。

firecrawl-openai-realtimeは、Firecrawlを統合したOpenAIリアルタイムAPIコンソールです。開発者向けに、インタラクティブなAPIリファレンスおよびインスペクタを提供することを目的としています。2つの実用的なライブラリ、参照クライアントとしてopenai/openai-realtime-api-beta（ブラウザとNode.jsに対応）、ブラウザでの簡単な音声管理を可能にする/src/lib/wavtoolsが含まれています。この製品はcreate-react-appを使用して作成されたReactプロジェクトで、Webpackによってバンドルされています。

LiveKit Agentsは、音声、ビデオ、データチャネルを通じてユーザーと対話できるインテリジェントなマルチモーダル音声アシスタント（AIエージェント）を開発者が構築できるエンドツーエンドフレームワークです。OpenAIのリアルタイムAPIとLiveKitのWebRTCインフラストラクチャを統合することで、音声認識（STT）、大規模言語モデル（LLM）、テキスト読み上げ（TTS）のパイプラインを含む、音声アシスタントの迅速な構築ガイドを提供します。さらに、音声対音声エージェントの作成、着信への応答、ユーザーに代わって電話をかける機能もサポートします。