Step-Audioは、業界初のプロダクションレベルのオープンソースインテリジェント音声対話フレームワークであり、音声理解と生成能力を統合し、多言語対応、感情表現、方言、話速、リズムスタイルの制御をサポートしています。そのコアテクノロジーには、130Bパラメータのマルチモーダルモデル、生成データエンジン、精密音声制御、拡張インテリジェンスが含まれます。このフレームワークは、オープンソースモデルとツールを通じて、インテリジェント音声対話技術の発展を促進し、さまざまな音声アプリケーションシナリオに適用できます。

FireRedASR-AED-Lは、高効率と高性能な音声認識ニーズに応えるために設計された、オープンソースの産業レベル自動音声認識モデルです。本モデルは、アテンション機構に基づくエンコーダ?デコーダアーキテクチャを採用し、標準中国語、中国語の方言、英語など複数の言語に対応しています。公開されている標準中国語音声認識ベンチマークテストにおいて最高レベルの精度を達成し、歌の歌詞認識においても優れた性能を発揮します。主な利点として、高性能、低遅延、幅広い適用性があり、様々な音声対話シーンに適しています。オープンソースであるため、開発者は自由にコードを使用?変更でき、音声認識技術の発展を促進します。

FireRedASRは、Encoder-DecoderとLLMを統合したアーキテクチャを採用した、オープンソースの工業レベル標準中国語自動音声認識モデルです。高性能と高効率のニーズに対応するため、FireRedASR-LLMとFireRedASR-AEDの2つのバリアントが含まれています。このモデルは標準中国語ベンチマークテストで優れた性能を示し、方言や英語の音声認識にも良好な結果を示します。スマートアシスタント、動画字幕生成など、効率的な音声テキスト変換を必要とする工業レベルのアプリケーションに適しています。モデルはオープンソースであるため、開発者は容易に統合および最適化できます。

PengChengStarlingは、多言語自動音声認識（ASR）に特化したオープンソースツールキットで、icefallプロジェクトをベースに開発されています。データ処理、モデル訓練、推論、微調整、デプロイといったASRの全プロセスをサポートしています。パラメータ設定の最適化とRNN-Transducerアーキテクチャへの言語IDの統合により、多言語ASRシステムのパフォーマンスを大幅に向上させています。主な利点としては、効率的な多言語サポート、柔軟な設定設計、強力な推論性能が挙げられます。PengChengStarlingのモデルは、様々な言語で優れた性能を発揮し、モデルサイズが小さく推論速度が非常に速いため、効率的な音声認識が必要な場面に最適です。

Llasa-3Bは、LLaMAアーキテクチャに基づいて開発された強力なテキスト音声変換（TTS）モデルであり、中国語と英語の音声合成に特化しています。XCodec2の音声符号化技術と組み合わせることで、テキストを自然で滑らかな音声に効率的に変換できます。主な利点としては、高品質の音声出力、多言語合成のサポート、柔軟な音声プロンプト機能などが挙げられます。このモデルは、オーディオブック制作、音声アシスタント開発など、音声合成が必要な様々な場面に適しています。オープンソースであるため、開発者は自由に機能を探求?拡張することができます。

RealtimeSTTは、音声をリアルタイムでテキストに変換できるオープンソースの音声認識モデルです。高度な音声活動検出技術により、音声の開始と終了を自動的に検出し、手動操作は不要です。さらに、ウェイクワードアクティベーション機能もサポートしており、特定のウェイクワードを発話することで音声認識を開始できます。このモデルは低遅延で高効率であり、音声アシスタントや会議記録など、リアルタイムの音声転写が必要なアプリケーションシナリオに適しています。Pythonベースで開発されており、統合と使用が容易で、GitHubでオープンソースとして公開されており、活発なコミュニティがあり、継続的に更新と改善が行われています。

MinMoは、阿里巴巴グループの通義实验室が開発した、約80億パラメータを持つマルチモーダル大規模言語モデルです。シームレスな音声インタラクションの実現に特化しており、音声テキストアライメント、テキスト音声アライメント、音声音声アライメント、全二重インタラクションアライメントを含む複数段階のトレーニングを経て、140万時間におよぶ多様な音声データと幅広い音声タスクでトレーニングされています。MinMoは音声理解と生成における様々なベンチマークテストで最先端の性能を達成しており、同時にテキストの大規模言語モデルの能力も維持し、全二重対話（ユーザーとシステム間の同時双方向通信）をサポートしています。さらに、MinMoは、音声生成において従来のモデルを凌駕する、新規かつシンプルな音声デコーダを提案しています。MinMoの指示遵守能力は強化されており、ユーザーの指示に従って、感情、方言、話速などの詳細を含む音声生成を制御し、特定の音声を模倣することができます。MinMoの音声テキスト変換の遅延は約100ミリ秒、全二重遅延は理論上約600ミリ秒、実際は約800ミリ秒です。MinMoの開発は、従来のマルチモーダルモデルのアライメントにおける主な制約を克服し、ユーザーにより自然でスムーズ、人間味のある音声インタラクション体験を提供することを目的としています。

TangoFluxは、5億1500万パラメータを持つ高効率なテキスト音声変換（TTA）モデルです。単一のA40 GPU上で、最長30秒の44.1kHzオーディオをわずか3.7秒で生成できます。CLAP-Ranked Preference Optimization (CRPO)フレームワークを提案することで、TTAモデルの整列における課題を解決し、反復的な生成と選好データの最適化を通じてTTAの整列を強化します。TangoFluxは、客観的および主観的ベンチマークテストにおいて最先端の性能を達成しており、すべてのコードとモデルはオープンソースとして公開され、TTA生成の更なる研究を支援します。

BetterWhisperXは、WhisperXを改良した自動音声認識モデルです。高速な音声テキスト変換サービスを提供し、単語レベルの時間スタンプと話者識別機能を備えています。大量のオーディオデータ処理を行う研究者や開発者にとって非常に重要であり、音声データ処理の効率と精度を大幅に向上させることができます。OpenAIのWhisperモデルをベースに、更なる最適化と改良が加えられています。現在、このプロジェクトは無料でオープンソースであり、開発者コミュニティにより効率的で正確な音声認識ツールを提供することを目指しています。

DuRTはmacOSシステムに特化した音声認識と翻訳ツールです。ローカルAIモデルとシステムサービスを使用して音声のリアルタイム認識と翻訳を実現し、複数の音声認識方法をサポートすることで、認識精度と対応言語の範囲を向上させています。この製品は、結果をフローティングウィンドウ形式で表示するため、ユーザーは使用中に迅速に情報を入手できます。主な利点としては、高い精度、プライバシー保護（ユーザー情報の収集なし）、そして便利な操作性などが挙げられます。DuRTは、高効率な生産性ツールとして位置付けられており、多言語環境下でのコミュニケーションと作業をより効率的に行うことを目的としています。現在、Mac App Storeからダウンロードできますが、具体的な価格はページには明記されていません。

Scribeは、ElevenLabsが開発した高精度な音声テキスト変換モデルであり、現実世界のオーディオの予測不可能性に対処することを目的としています。99言語に対応し、単語レベルのタイムスタンプ、話者分離、オーディオイベントのマーキングなどの機能を提供します。Scribeは、FLEURSとCommon Voiceのベンチマークテストで卓越したパフォーマンスを示し、Gemini 2.0 Flash、Whisper Large V3、Deepgram Nova-3などのトップモデルを上回っています。従来のサービスが不十分な言語（セルビア語、広東語、マラヤーラム語など）におけるエラー率を大幅に削減しており、これらの言語は競合モデルではエラー率が40％を超えることが一般的です。Scribeは開発者向けにAPIインターフェースを提供しており、リアルタイムアプリケーションに対応する低遅延バージョンも近日中にリリース予定です。

ElevenReader Publishingは、ElevenLabsが提供する革新的なプラットフォームで、AI音声モデルを使用して書籍を高品質なオーディオブックに変換します。従来のオーディオブック制作における高コストと複雑なプロセスという問題を解決し、作家に迅速で無料、かつ世界規模での配信ソリューションを提供します。本プラットフォームは複数のファイル形式のインポートに対応しており、ユーザーはオーディオをプレビューして好みのAI音声を選択できます。さらに、聴衆レポートと分析機能を提供することで、作家がオーディエンスをより深く理解するのに役立ちます。主な利点は、無料、迅速な生成、世界規模での配信であり、独立系作家や出版社に最適です。

Step-Audioは、業界初のプロダクションレベルのオープンソースインテリジェント音声対話フレームワークであり、音声理解と生成能力を統合し、多言語対応、感情表現、方言、話速、リズムスタイルの制御をサポートしています。そのコアテクノロジーには、130Bパラメータのマルチモーダルモデル、生成データエンジン、精密音声制御、拡張インテリジェンスが含まれます。このフレームワークは、オープンソースモデルとツールを通じて、インテリジェント音声対話技術の発展を促進し、さまざまな音声アプリケーションシナリオに適用できます。

NVIDIAのPDF to Podcast Blueprintは、生成AIベースのアプリケーションで、トレーニング資料、技術研究、ドキュメントなどのPDFドキュメントをパーソナライズされた音声コンテンツに変換します。この技術は、大規模言語モデル（LLM）、テキスト読み上げ（TTS）技術、NVIDIA NIMマイクロサービスを活用して、PDFデータを魅力的な音声コンテンツに変換し、移動中での学習を支援し、情報過多の問題を解決します。このソリューションは、NVIDIAのクラウドインフラストラクチャ上で完全に動作し、ローカルGPUハードウェアは不要で、プライバシーコンプライアンスを確保し、ブランド、分析、リアルタイム翻訳、デジタルヒューマンインターフェースなどの機能をユーザーのニーズに合わせてカスタマイズできます。

FireRedASR-AED-Lは、高効率と高性能な音声認識ニーズに応えるために設計された、オープンソースの産業レベル自動音声認識モデルです。本モデルは、アテンション機構に基づくエンコーダ?デコーダアーキテクチャを採用し、標準中国語、中国語の方言、英語など複数の言語に対応しています。公開されている標準中国語音声認識ベンチマークテストにおいて最高レベルの精度を達成し、歌の歌詞認識においても優れた性能を発揮します。主な利点として、高性能、低遅延、幅広い適用性があり、様々な音声対話シーンに適しています。オープンソースであるため、開発者は自由にコードを使用?変更でき、音声認識技術の発展を促進します。

FireRedASRは、Encoder-DecoderとLLMを統合したアーキテクチャを採用した、オープンソースの工業レベル標準中国語自動音声認識モデルです。高性能と高効率のニーズに対応するため、FireRedASR-LLMとFireRedASR-AEDの2つのバリアントが含まれています。このモデルは標準中国語ベンチマークテストで優れた性能を示し、方言や英語の音声認識にも良好な結果を示します。スマートアシスタント、動画字幕生成など、効率的な音声テキスト変換を必要とする工業レベルのアプリケーションに適しています。モデルはオープンソースであるため、開発者は容易に統合および最適化できます。

Sonofaは、人工知能技術に基づいた製品で、ウェブページ、PDFファイル、画像内のテキストなど、様々な形式の読み込み可能なコンテンツをポッドキャスト形式の音声コンテンツに変換します。高度なテキスト読み上げ(TTS)と自然言語処理(NLP)を活用し、テキストコンテンツを自然で滑らかな音声に変換することで、ユーザーは読書することなく情報を取得できます。主な利点は、情報の取得における柔軟性と効率性を大幅に向上させることであり、通勤中、運動中、または休憩中など、読書が困難な人々に特に適しています。Sonofaは、革新的な方法でユーザーが断片化された時間を有効に活用し、個人の学習と業務効率を向上させることを目指しています。現在、Sonofaはサブスクリプションモデルによる有料サービスの可能性があり、具体的な価格と位置付けは未定です。

PengChengStarlingは、多言語自動音声認識（ASR）に特化したオープンソースツールキットで、icefallプロジェクトをベースに開発されています。データ処理、モデル訓練、推論、微調整、デプロイといったASRの全プロセスをサポートしています。パラメータ設定の最適化とRNN-Transducerアーキテクチャへの言語IDの統合により、多言語ASRシステムのパフォーマンスを大幅に向上させています。主な利点としては、効率的な多言語サポート、柔軟な設定設計、強力な推論性能が挙げられます。PengChengStarlingのモデルは、様々な言語で優れた性能を発揮し、モデルサイズが小さく推論速度が非常に速いため、効率的な音声認識が必要な場面に最適です。