# 自動音声認識

PengChengStarlingは、多言語自動音声認識（ASR）に特化したオープンソースツールキットで、icefallプロジェクトをベースに開発されています。データ処理、モデル訓練、推論、微調整、デプロイといったASRの全プロセスをサポートしています。パラメータ設定の最適化とRNN-Transducerアーキテクチャへの言語IDの統合により、多言語ASRシステムのパフォーマンスを大幅に向上させています。主な利点としては、効率的な多言語サポート、柔軟な設定設計、強力な推論性能が挙げられます。PengChengStarlingのモデルは、様々な言語で優れた性能を発揮し、モデルサイズが小さく推論速度が非常に速いため、効率的な音声認識が必要な場面に最適です。

BetterWhisperXは、WhisperXを改良した自動音声認識モデルです。高速な音声テキスト変換サービスを提供し、単語レベルの時間スタンプと話者識別機能を備えています。大量のオーディオデータ処理を行う研究者や開発者にとって非常に重要であり、音声データ処理の効率と精度を大幅に向上させることができます。OpenAIのWhisperモデルをベースに、更なる最適化と改良が加えられています。現在、このプロジェクトは無料でオープンソースであり、開発者コミュニティにより効率的で正確な音声認識ツールを提供することを目指しています。

Moonshine Webは、ReactとViteを用いて構築されたシンプルなアプリケーションです。高速かつ正確な自動音声認識（ASR）向けに最適化された強力な音声認識モデルであるMoonshine Baseを搭載しています。リソースに制限のあるデバイスにも対応可能です。このアプリケーションはブラウザ上でローカルに動作し、Transformers.jsとWebGPUによる高速化（またはWASMを代替として）を採用しています。サーバー不要でローカル音声認識を実現できる点が重要であり、音声データの迅速な処理が必要なアプリケーションに最適です。

Whisper-NERは、音声転写とエンティティ認識を同時に行う革新的なモデルです。このモデルはオープンタイプの固有表現認識（NER）をサポートしており、多様で進化を続けるエンティティを認識できます。Whisper-NERは、自動音声認識（ASR）とNERの下流タスクのための強力な基盤モデルとして設計されており、特定のデータセットで微調整することで性能を向上させることができます。

WhisperNERは、自動音声認識（ASR）と命名エンティティ認識（NER）を統合した、ゼロショット学習可能な統一モデルです。ASRとNERの下流タスクのための強力な基盤モデルとして設計されており、特定のデータセットでファインチューニングすることで性能を向上させることができます。WhisperNERの重要性は、音声認識とエンティティ認識の両方のタスクを同時に処理することで処理効率と精度を向上させる点にあり、特に多言語やクロスドメインのシナリオにおいて顕著な利点があります。

Moonshineは、リソースの限られたデバイス向けに最適化された音声テキスト変換モデルシリーズです。リアルタイムでのオンデバイスアプリケーション（現場での転写や音声コマンド認識など）に最適です。HuggingFaceが管理するOpenASRランキングで使用されているテストデータセットにおいて、Moonshineの単語誤り率（WER）は、同規模のOpenAI Whisperモデルを上回っています。さらに、Moonshineの計算需要は入力音声の長さに応じて変化するため、短い入力音声はより高速に処理されます。これは、すべての音声を30秒のブロックとして処理するWhisperモデルとは異なります。Moonshineは、10秒の音声断片をWhisperの5倍の速度で処理しながら、同等かそれ以上のWERを維持します。

Whisper large-v3-turboは、OpenAIが開発した高度な自動音声認識（ASR）および音声翻訳モデルです。500万時間以上のラベル付け済みデータでトレーニングされており、ゼロショット設定で多くのデータセットやドメインに汎化できます。このモデルはWhisper large-v3を微調整したバージョンで、速度向上のためデコード層が32から4に削減されていますが、わずかに品質が低下する可能性があります。

CrisperWhisperは、OpenAIのWhisperモデルを高度に改良したモデルで、高速かつ正確な単語単位の音声認識を目的として設計されています。正確な単語レベルのタイムスタンプを提供します。元のWhisperモデルと比較して、CrisperWhisperは、つなぎ言葉、間、吃音、誤った開始など、発話されたすべての単語を単語単位で転写することに重点を置いています。TED、AMIなどの単語単位データセットで最高ランクを獲得しており、INTERSPEECH 2024で発表されました。

seed-tts-evalは、モデルのゼロショット音声生成能力を評価するためのテストセットです。英語と中国語の公共コーパスから抽出したサンプルを含み、様々な客観的指標に基づいてモデルの性能を測定するための、分野横断的な客観的評価テストセットを提供します。Common Voiceデータセットの1000サンプルとDiDiSpeech-2データセットの2000サンプルを使用しています。

WhisperKitは、自動音声認識モデルの圧縮と最適化を行うツールです。モデルの圧縮と最適化に対応し、詳細な性能評価データを提供します。さらに、様々なデータセットとモデルフォーマットに対する品質保証認定を提供し、ローカルでの再現テスト結果にも対応しています。

SpeechFlowは、13言語に対応し、非常に高い精度で音声テキスト変換を行うパワフルなAPIです。音声からテキストへの変換、音声認識、オーディオからテキストへの変換を可能にする強力なツールです。クラウドおよびオンプレミスでの展開に対応し、信頼性が高く、容易に導入?拡張できるソリューションを提供します。また、高速処理を実現しており、最長1時間のオーディオファイルを数分で処理できます。