# 文本到音頻

TangoFlux是一個高效的文本到音頻（TTA）生成模型，擁有515M參數，能夠在單個A40 GPU上僅用3.7秒生成長達30秒的44.1kHz音頻。該模型通過提出CLAP-Ranked Preference Optimization (CRPO)框架，解決了TTA模型對齊的挑戰，通過迭代生成和優化偏好數據來增強TTA對齊。TangoFlux在客觀和主觀基準測試中均實現了最先進的性能，並且所有代碼和模型均開源，以支持TTA生成的進一步研究。

Sketch2Sound是一個生成音頻的模型，能夠從一組可解釋的時間變化控制信號（響度、亮度、音高）以及文本提示中創建高質量的聲音。該模型能夠在任何文本到音頻的潛在擴散變換器（DiT）上實現，並且只需要40k步的微調和每個控制一個單獨的線性層，使其比現有的方法如ControlNet更加輕量級。Sketch2Sound的主要優點包括從聲音模仿中合成任意聲音的能力，以及在保持輸入文本提示和音頻質量的同時，遵循輸入控制的大致意圖。這使得聲音藝術家能夠結合文本提示的語義靈活性和聲音手勢或聲音模仿的表現力和精確度來創造聲音。

EzAudio是一個先進的文本到音頻(T2A)生成模型，它能夠從文本提示中創建高質量的音頻。它為開源T2A模型設定了新的標準，提供快速、高效和逼真的聲音效果生成。

Bark是由Suno開發的基於Transformer的文本到音頻模型，能夠生成逼真的多語言語音以及其他類型的音頻，如音樂、背景噪聲和簡單音效。它還支持生成非語言交流，例如笑聲、嘆息和哭泣聲。Bark支持研究社區，提供預訓練模型檢查點，適用於推理並可用於商業用途。

Stable Audio Open 是一個能夠從文本提示生成長達47秒的立體聲音頻的技術。它包含三個主要組件：一個將波形壓縮到可管理序列長度的自編碼器、一個基於T5的文本嵌入用於文本條件、以及一個在自編碼器的潛在空間中操作的基於變換的擴散（DiT）模型。該技術在生成音頻方面表現出色，能夠根據文本提示生成各種類型的音頻，如打擊樂、電子音樂、自然聲音等。

AudioLCM是一個基於PyTorch實現的文本到音頻生成模型，它通過潛在一致性模型來生成高質量且高效的音頻。該模型由Huadai Liu等人開發，提供了開源的實現和預訓練模型。它能夠將文本描述轉化為接近真實的音頻，具有重要的應用價值，尤其是在語音合成、音頻製作等領域。

Stable Audio Open 1.0是一個利用自編碼器、基於T5的文本嵌入和基於變壓器的擴散模型來生成長達47秒的立體聲音頻的AI模型。它通過文本提示生成音樂和音頻，支持研究和實驗，以探索生成性AI模型的當前能力。該模型在Freesound和Free Music Archive (FMA)的數據集上進行訓練，確保了數據的多樣性和版權合法性。

Make-An-Audio 2是一種基於擴散模型的文本到音頻生成技術，由浙江大學、字節跳動和香港中文大學的研究人員共同開發。該技術通過使用預訓練的大型語言模型(LLMs)解析文本，優化了語義對齊和時間一致性，提高了生成音頻的質量。它還設計了基於前饋Transformer的擴散去噪器，以改善變長音頻生成的性能，並增強時間信息的提取。此外，通過使用LLMs將大量音頻標籤數據轉換為音頻文本數據集，解決了時間數據稀缺的問題。

MusicLM是一個模型，可以根據文本描述生成高保真音樂。它可以生成24kHz的音頻，音樂風格和文本描述一致，並支持根據旋律進行條件生成。通過使用MusicCaps數據集，模型在音頻質量和與文本描述的一致性方面優於之前的系統。MusicLM可以應用於不同的場景，如生成音樂片段、根據畫作描述生成音樂等。