# 音声モデル

Fugatto（正式名称：Foundational Generative Audio Transformer Opus 1）は、NVIDIAが発表した生成AI音声モデルです。テキストと音声を入力することで、あらゆる種類の音楽、サウンド、音声の組み合わせを生成または変換できます。テキストプロンプトから音楽片段を作成するだけでなく、既存の楽曲に楽器を追加または削除したり、音声のアクセントや感情を変更したり、これまで存在しなかったようなサウンドを生み出すことも可能です。Fugattoの登場は、音声合成と変換の分野における大きな進歩を示しており、音声の理解と生成だけでなく、多様な音声生成と変換タスクをこなす能力を持ち、トレーニングによって生まれた新たな特性を示しています。

BASE TTSは、アマゾンが開発した大規模なテキスト音声合成モデルです。10億パラメーターの自己回帰型トランスフォーマーを採用し、テキストを音声コードに変換した後、畳み込みデコーダーを用いて音声波形を生成します。10万時間以上の公開音声データを用いてトレーニングされており、自然な音声品質を実現しています。音素分離や圧縮などの革新的な音声符号化技術も搭載しています。モデル規模の拡大に伴い、BASE TTSは複雑な文に対しても自然なイントネーションで処理できるようになりました。

AudioboxはMeta社の新世代音声生成研究モデルです。音声入力と自然言語テキストプロンプトを利用して、サウンドやサウンドエフェクトを生成し、様々な用途に合わせてカスタムオーディオを簡単に作成できます。Audioboxシリーズモデルには、専門モデルであるAudiobox SpeechとAudiobox Soundが含まれており、全てのAudioboxモデルは、共有された自己教師あり学習モデルであるAudiobox SSLに基づいて構築されています。