Reverbは、音声認識（ASR）にWeNetフレームワーク、話者分離にPyannoteフレームワークを用いた、オープンソースの音声認識と話者分離モデル推論コードです。詳細なモデルの説明を提供しており、Hugging Faceからモデルをダウンロードできます。Reverbは、開発者や研究者が様々な音声処理タスクを支援するための、高品質の音声認識と話者分離ツールを提供することを目的としています。

Whisper large-v3-turboは、OpenAIが開発した高度な自動音声認識（ASR）および音声翻訳モデルです。500万時間以上のラベル付け済みデータでトレーニングされており、ゼロショット設定で多くのデータセットやドメインに汎化できます。このモデルはWhisper large-v3を微調整したバージョンで、速度向上のためデコード層が32から4に削減されていますが、わずかに品質が低下する可能性があります。

EMOVA（EMotionally Omni-present Voice Assistant）は、エンドツーエンドの音声処理を行いながら、最先端のビジュアル言語性能を維持するマルチモーダル言語モデルです。意味と音響を分離する音声セグメンターにより、感情豊かなマルチモーダルな対話を実現し、ビジュアル言語と音声のベンチマークテストで最先端の性能を達成しています。

OmniSenseVoiceは、SenseVoiceを最適化した音声認識モデルです。高速推論と高精度なタイムスタンプに特化し、よりスマートで高速な音声文字起こしを提供します。

CrisperWhisperは、OpenAIのWhisperモデルを高度に改良したモデルで、高速かつ正確な単語単位の音声認識を目的として設計されています。正確な単語レベルのタイムスタンプを提供します。元のWhisperモデルと比較して、CrisperWhisperは、つなぎ言葉、間、吃音、誤った開始など、発話されたすべての単語を単語単位で転写することに重点を置いています。TED、AMIなどの単語単位データセットで最高ランクを獲得しており、INTERSPEECH 2024で発表されました。

Seed-ASRは、バイトダンス社が開発した大規模言語モデル（Large Language Model, LLM）に基づく音声認識モデルです。連続音声表現とコンテキスト情報をLLMに入力することで、LLMの能力を活用し、大規模な訓練とコンテキスト認識能力によって、複数領域、アクセント/方言、言語を含む包括的な評価セットでのパフォーマンスを大幅に向上させました。最近発表された大規模ASRモデルと比較して、Seed-ASRは中国語と英語の共通テストセットで10～40％の単語誤り率の低減を実現し、その強力な性能をさらに証明しています。

whisper-diarizationは、Whisperによる自動音声認識（ASR）、音声活動検出（VAD）、話者埋め込み技術を統合したオープンソースプロジェクトです。音声部分のみを抽出して話者埋め込みの精度を向上させ、Whisperで転写テキストを生成し、WhisperXでタイムスタンプの補正とアライメントを行い、時間ずれによる分離エラーを削減します。その後、MarbleNetを用いてVADと分離を行い無音部分を排除し、TitaNetを用いて話者埋め込みを抽出し各セグメントの話者を識別し、最後にWhisperXで生成されたタイムスタンプと結果を関連付けて、タイムスタンプに基づいて単語ごとの話者を検出し、句読点モデルを用いて微小な時間ずれを補正するために再アライメントを行います。

Qwen2 音声指示デモは、音声指示に基づくインタラクティブなデモウェブサイトです。最新のAI技術を活用し、音声指示によるウェブページとの対話を実現しています。この技術はユーザーエクスペリエンスを向上させるだけでなく、障がいのある方にもより便利なアクセス方法を提供します。開発チームや技術サポートといった製品背景情報も含まれており、価格は無料トライアルです。主にAIインタラクションに関心のあるユーザーを対象としています。

SpeechGPT2は、復旦大学計算機科学学院が開発したエンドツーエンドの音声対話言語モデルです。感情を感知して表現し、コンテキストと人間の指示に基づいて、様々なスタイルで適切な音声応答を提供します。このモデルは超低ビットレート音声コーデック（750bps）を採用し、意味情報と音響情報を模倣し、多入力多出力言語モデル（MIMO-LM）を用いて初期化されます。現在、SpeechGPT2はまだターン制の対話システムですが、全二重リアルタイム版の開発が進められており、有望な進展が見られています。計算資源とデータ資源の制約から、音声認識のノイズ耐性と音声生成の音質安定性にはまだ課題がありますが、今後、技術レポート、コード、モデルウェイトをオープンソース化する予定です。

Reverbは、音声認識（ASR）にWeNetフレームワーク、話者分離にPyannoteフレームワークを用いた、オープンソースの音声認識と話者分離モデル推論コードです。詳細なモデルの説明を提供しており、Hugging Faceからモデルをダウンロードできます。Reverbは、開発者や研究者が様々な音声処理タスクを支援するための、高品質の音声認識と話者分離ツールを提供することを目的としています。

Whisper large-v3-turboは、OpenAIが開発した高度な自動音声認識（ASR）および音声翻訳モデルです。500万時間以上のラベル付け済みデータでトレーニングされており、ゼロショット設定で多くのデータセットやドメインに汎化できます。このモデルはWhisper large-v3を微調整したバージョンで、速度向上のためデコード層が32から4に削減されていますが、わずかに品質が低下する可能性があります。

リアルタイムAPIは、OpenAIが提供する低遅延の音声インタラクションAPIです。開発者はこのAPIを使用して、アプリケーションに高速な音声対音声エクスペリエンスを構築できます。このAPIは自然言語の音声対音声対話をサポートし、ChatGPTの高機能音声モードと同様に、会話の中断を処理できます。WebSocket接続を介して機能呼び出しをサポートしており、音声アシスタントがユーザーのリクエストに応答し、アクションをトリガーしたり、新しいコンテキストを導入したりできます。このAPIの提供により、開発者は音声エクスペリエンスを構築するために複数のモデルを組み合わせる必要がなくなり、単一のAPI呼び出しで自然な対話エクスペリエンスを実現できます。

EMOVA（EMotionally Omni-present Voice Assistant）は、エンドツーエンドの音声処理を行いながら、最先端のビジュアル言語性能を維持するマルチモーダル言語モデルです。意味と音響を分離する音声セグメンターにより、感情豊かなマルチモーダルな対話を実現し、ビジュアル言語と音声のベンチマークテストで最先端の性能を達成しています。

OmniSenseVoiceは、SenseVoiceを最適化した音声認識モデルです。高速推論と高精度なタイムスタンプに特化し、よりスマートで高速な音声文字起こしを提供します。

Deepgram音声エージェントAPIは、人間と機械間の自然でリアルな会話を実現する統合型音声対音声APIです。業界最先端の音声認識と音声合成モデルによって支えられており、自然でリアルタイムに音声の聞き取り、思考、発話を可能にします。Deepgramは、高度な生成AI技術を統合することで、スムーズで人間らしい音声エージェントを実現するビジネス環境を構築し、音声優先AIの未来を切り開くことを目指しています。

EVI 2は、Hume AIが提供する新型の基本音声対音声モデルです。人間に近い自然さで、ユーザーとスムーズな会話を実現します。迅速な応答、ユーザーの口調の理解、さまざまな口調の生成、特定の要求の実行などが可能です。EVI 2は特別なトレーニングにより感情知能が強化されており、ユーザーの好みを予測して適応し、楽しく魅力的な性格と個性を維持します。さらに、EVI 2は多言語に対応し、さまざまなアプリケーションシナリオやユーザーニーズに適応します。

CrisperWhisperは、OpenAIのWhisperモデルを高度に改良したモデルで、高速かつ正確な単語単位の音声認識を目的として設計されています。正確な単語レベルのタイムスタンプを提供します。元のWhisperモデルと比較して、CrisperWhisperは、つなぎ言葉、間、吃音、誤った開始など、発話されたすべての単語を単語単位で転写することに重点を置いています。TED、AMIなどの単語単位データセットで最高ランクを獲得しており、INTERSPEECH 2024で発表されました。

心辰Lingo音声大規模言語モデルは、高度な人工知能音声モデルであり、効率的で正確な音声認識と処理サービスを提供することに特化しています。自然言語を理解し処理することで、人間と機械のインタラクションをよりスムーズで自然なものにします。西湖心辰の強力なAI技術を基盤としており、様々な場面で高品質の音声インタラクション体験を提供することに尽力しています。