# リアルタイムアプリケーション

Scribeは、ElevenLabsが開発した高精度な音声テキスト変換モデルであり、現実世界のオーディオの予測不可能性に対処することを目的としています。99言語に対応し、単語レベルのタイムスタンプ、話者分離、オーディオイベントのマーキングなどの機能を提供します。Scribeは、FLEURSとCommon Voiceのベンチマークテストで卓越したパフォーマンスを示し、Gemini 2.0 Flash、Whisper Large V3、Deepgram Nova-3などのトップモデルを上回っています。従来のサービスが不十分な言語（セルビア語、広東語、マラヤーラム語など）におけるエラー率を大幅に削減しており、これらの言語は競合モデルではエラー率が40％を超えることが一般的です。Scribeは開発者向けにAPIインターフェースを提供しており、リアルタイムアプリケーションに対応する低遅延バージョンも近日中にリリース予定です。

Gemini 2.0 Flashは、Googleが提供する次世代AIモデルです。開発者が未来のAIアプリケーションを構築するための能力を強化することを目指しています。昨年12月のGemini 1.0リリース以来、数百万人の開発者がGoogle AI StudioとVertex AIを使用して、109言語に対応するGeminiアプリケーションを構築してきました。Gemini 2.0 Flashは、1.5 Proの2倍の性能を誇り、新しいマルチモーダル出力やネイティブツールの使用など、更なる性能向上を実現しています。Google AI StudioとVertex AIでGemini APIを通じて試験的にアクセス可能で、来年初めの正式リリースを予定しています。Gemini 2.0 Flashの主な利点には、優れたパフォーマンス、新しい出力モダリティ、ネイティブツールの使用、マルチモーダルリアルタイムAPIなどがあり、これらによって開発者の作業効率とアプリケーションのインタラクティブ性が向上します。

Lightningはsmallest.aiが開発した最新のテキスト音声変換モデルであり、その超高速とコンパクトなサイズで、マルチモーダルAIにおける性能とサイズの限界を突破しました。本モデルは英語やヒンディー語など複数のアクセントに対応し、さらに多くの言語への迅速な拡張を予定しています。Lightningの非自己回帰アーキテクチャにより、従来の自己回帰モデルのように段階的に音声生成を行うのではなく、オーディオクリップ全体を同時に合成できます。Lightningの主なメリットには、高速な生成速度、小さなモデルサイズ、多言語対応、そして新しいデータへの迅速な適応などが挙げられます。製品背景情報によると、Lightningの導入は、音声ロボット会社が遅延とコストを大幅に削減し、アーキテクチャを簡素化することを目的としています。価格については、Lightningの価格は1分あたり0.04ドルからとなっており、月間100,000分以上使用する企業のお客様には、カスタム価格プランを提供しています。

OpenAIが提案する連続時間整合性モデル（sCM）は、高品質なサンプル生成にわずか2回のサンプリングステップしか必要としない生成モデルです。主要な拡散モデルと比較して、著しい速度優位性を持ちます。sCMは理論式を簡略化することで、大規模データセットの訓練を安定化および拡張し、サンプル品質を維持しながらサンプリング時間を大幅に削減します。これにより、リアルタイムアプリケーションの可能性が開けます。

InstantDragは、画像とドラッグ操作のみを入力として用いることで、インタラクティブ性と速度を向上させる、最適化された自由度の高いワークフローです。この技術は、ドラッグ操作条件下の光流生成器（FlowGen）と、光流条件下の拡散モデル（FlowDiffusion）という2つの巧妙に設計されたネットワークで構成されています。InstantDragは、タスクをモーション生成とモーション条件付き画像生成に分解することで、実世界のビデオデータセットに基づいたドラッグ画像編集のモーションダイナミクスを学習します。マスクやテキストプロンプトを必要とせずに、リアルな編集を迅速に実行できるため、インタラクティブでリアルタイムなアプリケーションに適した有望なソリューションとなっています。