AudioLDMは、自然言語の説明から音声クリップを生成するテキストから音声への生成モデルである。このモデルは2025年に開発チームによるソーシャルメディアへの投稿と、arXivにアップロードされた技術論文を通じて発表された。開発者らは、モデルの重みと推論コードのオープンソース公開を計画していると述べたが、発表時点では具体的な日付は示されなかった。
このモデルは、生成AIと深層学習の進歩に基づいており、特に画像生成で成功を収めている潜在拡散アーキテクチャを活用している。自己回帰型やGANベースのアプローチに依存していた初期のテキストから音声へのシステムとは異なり、AudioLDMは圧縮された潜在空間で動作し、トレーニングと推論の両方における計算要件を削減する。発表されたバージョンは、トランスフォーマーベースのテキストエンコーダを使用して入力プロンプトを処理し、それらを音声デコーダの条件付け信号に変換すると報告されている。
アーキテクチャとトレーニング
AudioLDMのアーキテクチャは、テキストエンコーダ、潜在拡散バックボーン、波形合成用のボコーダの3つの主要コンポーネントで構成されている。トランスフォーマーアーキテクチャに基づくテキストエンコーダは、入力テキストを一連の埋め込みにマッピングする。U-Netの変種として実装された拡散バックボーンは、これらの埋め込みに条件付けられた潜在表現を反復的にノイズ除去する。最終段階では、ニューラルボコーダを使用して、ノイズ除去された潜在表現を生の音声波形に変換する。
モデルのトレーニングデータには、AudioCapsやClothoなどの公開データセットから得られた、ペアの音声テキストサンプルの大規模なコーパスが含まれており、自動生成されたキャプション付きの追加のウェブスクレイピング音声によって補完された。開発者らは、初期発表では正確なトレーニング時間数や正確なパラメータ数を開示しなかったが、モデルは128台のGPUクラスタで約2週間トレーニングされたと述べた。
機能とベンチマーク
arXiv論文では、著者らはAudioCapsとClothoベンチマークでの定量的結果を報告した。AudioLDMはAudioCapsで2.31、Clothoで3.02のFrechet Audio Distance（FAD）を達成し、両指標でAudioGenやTangoなどの以前の最先端モデルを上回った。モデルはまた、テキストと音声の整合性の尺度であるKLダイバージェンススコアでも競争力のあるパフォーマンスを示し、AudioCapsで1.47のスコアを達成した。
定性的評価では、AudioLDMが環境ノイズ、楽器、動物の鳴き声、人間の音声効果など、幅広い音を生成できることが示された。モデルは、持続時間、ラウドネス、ステレオ幅などの属性に基づく条件付き生成をサポートしていたが、これらの機能は初期リリースでは完全には文書化されていなかった。
他のモデルとの比較
AudioLDMは、機械学習におけるマルチモーダル生成システムへのより広範なトレンドの一部である。音楽に焦点を当て、階層的なVQ-VAEを使用するOpenAIのJukeboxとは異なり、AudioLDMは一般的な音声を扱い、より単純な潜在拡散アプローチを採用している。離散トークン空間で動作するGoogleのAudioLMと比較して、AudioLDMは連続的な潜在表現を生成し、より高速な推論を提供する可能性がある。開発者らは、AudioLDMの推論速度が単一のNVIDIA V100 GPU上でリアルタイムの約3.5倍であり、以前の拡散ベースの音声モデルと比較して大幅な改善であると述べた。
オープンソース計画と反響
この発表は、人工知能コミュニティ、特に音声生成に取り組む研究者の間でかなりの関心を集めた。計画されたオープンソースリリースは、多くの商用テキストから音声へのシステムがクローズドのままであるため、再現性への一歩と見なされた。開発者らは、コードがApache 2.0ライセンスの下でリリースされ、モデルの重みは当初は非商用研究用に利用可能になるが、この方針は変更される可能性があると示した。
ソーシャルメディアや開発者フォーラムでの初期のコミュニティの反応は、モデルの音質と論文の方法論の明確さを賞賛した。一部の研究者は、発表時点でデモページがないことが制限であると指摘したが、チームはコードリリースとともにインタラクティブなデモをホストすることを約束した。
制限と将来の作業
論文はいくつかの制限を認めた。AudioLDMは、「忙しい通りで吠える犬」など、複数の同時音源を含むプロンプトに対してアーティファクトを生成することがあった。モデルはまた、まれなまたは抽象的な概念に苦労し、20トークンより長いプロンプトではパフォーマンスが低下した。著者らは、対照学習によるテキストと音声の整合性の改善と、現在の10秒の最大を超えるより長い音声クリップをサポートするためのモデルの拡張に関する将来の作業を示唆した。
発表時点では、公式のバージョン番号は割り当てられておらず、モデルは論文では単に「AudioLDM」と呼ばれていた。開発者らは、微調整スクリプトと追加の評価ツールを備えた更新バージョンをオープンソースリポジトリでリリースする計画を立てていた。