# 音声分離

ClearerVoice-Studioは、研究者、開発者、エンドユーザー向けに設計された、オープンソースのAI駆動型音声処理ツールキットです。音声強調、音声分離、ターゲットスピーカー抽出などの機能を提供し、最新の事前学習済みモデル、トレーニングおよび推論スクリプトを提供しています。これらはすべて、このリポジトリからアクセスできます。このツールキットは、事前学習済みモデル、使いやすさ、包括的な機能、コミュニティ主導型の特性により人気があります。

PixelPlayerは、大量の無注釈ビデオを視聴することで、音声を発生させる画像領域を特定し、入力音声を各ピクセルの音を表すコンポーネントに分離できるシステムです。当システムは、視覚と聴覚の双方のモーダリティの自然な同期性を活用し、追加の人工注釈なしで、音声と画像を統合的に解析するモデルを学習します。様々な楽器のソロやデュエット演奏を含む大量のトレーニングビデオを使用して訓練されています。各ビデオに対して、どの楽器が登場し、どこにあるか、どのような音なのかといった教師データは提供されていません。テスト段階では、様々な楽器の演奏を示すビデオとモノラルの聴覚入力がシステムへの入力となります。システムは、オーディオビジュアル源分離と定位を実行し、入力音声信号をN個の音声チャネルに分割します。各チャネルは異なる楽器の種類に対応します。さらに、システムは音声を定位し、入力ビデオの各ピクセルに異なるオーディオ波形を割り当てることができます。

vocalremover.orgは、音楽からボーカルと伴奏を分離できるオンライン音声分離ツールです。シンプルで使いやすいインターフェースを備え、迅速かつ効率的に音声を分離し、分離後のオーディオファイルをエクスポートできます。vocalremover.orgは様々なオーディオフォーマットに対応しており、完全に無料で利用可能です。

AudioSepは、自然言語クエリに基づくオープン領域の音声源分離モデルです。テキストエンコーダと分離モデルという2つの主要なコンポーネントで構成されています。大規模なマルチモーダルデータセットでAudioSepをトレーニングし、オーディオイベント分離、楽器分離、音声強調など、多くのタスクにおいてその能力を幅広く評価しました。AudioSepは強力な分離性能と印象的なゼロショット汎化能力を示し、オーディオのタイトルやテキストラベルをクエリとして使用することで、従来の音声クエリや言語クエリによる音声分離モデルを大きく凌駕します。本研究の再現性を確保するために、ソースコード、評価ベンチマーク、および事前学習済みモデルを公開します。