# オーディオ生成

Audiox は AI 技術を利用して専門的なオーディオを生成するツールで、音楽の知識がなくても驚くほど魅力的な音楽や音響効果を作成できます。その主な特徴には、創作の容易さ、優れた音質、使いやすさがあります。音楽制作、ビデオ制作、音響デザインなどの分野で活用できます。

Sketch2Soundは、解釈可能な時間変化制御信号（音量、輝度、ピッチ）とテキストプロンプトから高品質の音声を作成できるオーディオ生成モデルです。あらゆるテキストツーオーディオ潜在的拡散変換器（DiT）上で実装可能であり、40kステップのファインチューニングと制御ごとに単一の線形層のみが必要なため、ControlNetなどの既存手法よりも軽量です。Sketch2Soundの主な利点は、音声模倣からの任意の音声合成能力と、入力テキストプロンプトとオーディオ品質を維持しながら、入力制御のおおよその意図に従う点です。これにより、サウンドアーティストは、テキストプロンプトのセマンティックな柔軟性と、音声ジェスチャーや音声模倣の表現力と精度を組み合わせ、サウンドを作成できます。

Sound Effect Generatorは、AI技術を活用してユーザー個々のニーズに応じたオーディオ制作を可能にするプラットフォームです。専門的なサウンドデザインと最先端のAI技術を融合することで、ユーザーはアイデアを迅速に高品質なオーディオに変換できます。特定のサウンドエフェクトを探しているユーザーにも、オーディオ生成技術に興味のあるユーザーにも最適です。主な利点として、使いやすさ、高速な生成、高品質なオーディオ出力があります。音楽プロデューサー、ビデオエディター、ゲーム開発者など、革新的なソリューションを提供します。

AudioLMはGoogle Researchが開発した、長期的な一貫性を備えた高品質オーディオ生成のためのフレームワークです。入力オーディオを離散トークンシーケンスにマッピングし、オーディオ生成をこの表現空間における言語モデリングタスクとして扱います。大量の生のオーディオ波形データで訓練することで、自然で首尾一貫したオーディオの続きを生成します。テキストや注釈がなくても、話者のアイデンティティやリズムを維持しながら、文法上および意味的に妥当な音声の続きを生成できます。さらに、訓練時に音楽記号表現を使用していなくても、首尾一貫したピアノ音楽の続きを生成できます。

SoundStormはGoogle Researchが開発したオーディオ生成技術です。オーディオトークンを並列生成することで、オーディオ合成時間を大幅に短縮します。この技術は、高品質で、音声および音響条件との整合性が高いオーディオを生成でき、テキストから意味へのモデルと組み合わせることで、話される内容、話者の声、話し手の順番を制御し、長文の音声合成や自然な会話の生成を実現します。SoundStormの重要性は、従来の自己回帰型オーディオ生成モデルが長いシーケンスを処理する際の推論速度の遅さを解決し、オーディオ生成の効率と品質を向上させた点にあります。

Stable Audio Open は、テキストプロンプトから最長47秒のステレオオーディオを生成できる技術です。主な3つのコンポーネントから構成されています。波形を管理可能なシーケンス長に圧縮するオートエンコーダー、テキスト条件付けのためのT5ベースのテキスト埋め込み、そしてオートエンコーダーの潜在空間で動作する変換ベースの拡散（DiT）モデルです。本技術はオーディオ生成において優れた性能を発揮し、ドラム、エレクトロニックミュージック、自然音など、テキストプロンプトに基づいて様々な種類のオーディオを生成できます。

Stable Audio Openは、短いオーディオサンプル、サウンドエフェクト、制作素材の生成に最適化されたオープンソースのテキスト入力オーディオモデルです。シンプルなテキストプロンプトで最大47秒の高品質オーディオデータの生成が可能で、ドラムビート、楽器の即興演奏、環境音、擬音などの音楽制作やサウンドデザインに特に適しています。オープンソースとして公開することで、ユーザーは自身のカスタムオーディオデータでモデルを微調整できます。

OptimizerAIは、人工知能技術を用いて様々なサウンドエフェクトを生成することに特化しており、ゲーム、動画、短編映画、広告など、マルチメディアコンテンツに活気をもたらすことを目指しています。本プラットフォームは高品質のオーディオ生成サービスを提供しており、テキストからサウンドエフェクトを生成する機能のリリースも計画しています。

AudioCraftは、オーディオ処理と生成のためのPyTorchライブラリです。最先端のAI生成モデルであるAudioGenとMusicGenを搭載し、高品質なオーディオを生成できます。さらに、EnCodecによるオーディオ圧縮?トークナイゼーション機能や、Multi Band Diffusionデコーダーなども備えています。オーディオ生成に関する深層学習研究に最適です。