AudioLDM은 자연어 설명으로부터 오디오 클립을 생성하는 텍스트-오디오 생성 모델이다. 이 모델은 2025년 개발 팀의 소셜 미디어 게시물과 arXiv에 업로드된 기술 논문을 통해 발표되었다. 개발자들은 모델 가중치와 추론 코드의 오픈소스 공개를 계획하고 있다고 밝혔지만, 발표 당시 구체적인 날짜는 제공되지 않았다.
이 모델은 Generative AI 및 Deep learning 분야의 발전을 기반으로 하며, 특히 이미지 생성에서 성공을 거둔 잠재 확산 아키텍처를 활용한다. 자동회귀 또는 GAN 기반 접근 방식에 의존했던 초기 텍스트-오디오 시스템과 달리, AudioLDM은 압축된 잠재 공간에서 작동하여 훈련 및 추론 중 계산 요구 사항을 줄인다. 발표된 버전은 트랜스포머 기반 텍스트 인코더를 사용하여 입력 프롬프트를 처리하고, 이를 오디오 디코더의 조건 신호로 변환한다고 알려졌다.
아키텍처 및 훈련
AudioLDM의 아키텍처는 텍스트 인코더, 잠재 확산 백본, 그리고 파형 합성을 위한 보코더의 세 가지 주요 구성 요소로 이루어져 있다. Transformer (architecture) 아키텍처를 기반으로 한 텍스트 인코더는 입력 텍스트를 임베딩 시퀀스로 매핑한다. U-Net 변형으로 구현된 확산 백본은 이러한 임베딩에 조건화된 잠재 표현을 반복적으로 노이즈 제거한다. 마지막 단계에서는 신경 보코더를 사용하여 노이즈가 제거된 잠재 표현을 원시 오디오 파형으로 변환한다.
모델의 훈련 데이터에는 AudioCaps 및 Clotho와 같은 공개 데이터 세트에서 가져온 것으로 알려진 대규모 오디오-텍스트 쌍 말뭉치가 포함되었으며, 자동 생성 캡션이 있는 추가 웹 스크래핑 오디오로 보완되었다. 개발자들은 초기 발표에서 정확한 훈련 시간 수나 정확한 매개변수 수를 공개하지 않았지만, 모델이 약 2주 동안 128개의 GPU 클러스터에서 훈련되었다고 밝혔다.
기능 및 벤치마크
arXiv 논문에서 저자들은 AudioCaps 및 Clotho 벤치마크에 대한 정량적 결과를 보고했다. AudioLDM은 AudioCaps에서 2.31, Clotho에서 3.02의 Frechet Audio Distance(FAD)를 달성하여 두 지표 모두에서 AudioGen 및 Tango와 같은 이전 최첨단 모델을 능가했다. 모델은 또한 텍스트-오디오 정렬의 척도인 KL 발산 점수에서 경쟁력 있는 성능을 보여주었으며, AudioCaps에서 1.47의 점수를 기록했다.
정성적 평가에 따르면 AudioLDM은 주변 소음, 악기, 동물 발성, 인간 음성 효과를 포함한 다양한 소리를 생성할 수 있었다. 모델은 지속 시간, 음량, 스테레오 폭과 같은 속성에 기반한 조건부 생성을 지원했지만, 이러한 기능은 초기 릴리스에서 완전히 문서화되지 않았다.
다른 모델과의 비교
AudioLDM은 Machine learning 분야에서 다중 모드 생성 시스템으로의 광범위한 추세의 일부이다. 음악에 초점을 맞추고 계층적 VQ-VAE를 사용하는 OpenAI의 Jukebox와 달리, AudioLDM은 일반 오디오를 처리하고 더 간단한 잠재 확산 접근 방식을 사용한다. 이산 토큰 공간에서 작동하는 Google의 AudioLM과 비교하여, AudioLDM은 연속 잠재 표현을 생성하여 더 빠른 추론을 제공할 수 있다. 개발자들은 AudioLDM의 추론 속도가 단일 NVIDIA V100 GPU에서 실시간보다 약 3.5배 빠르며, 이는 이전 확산 기반 오디오 모델에 비해 상당한 개선이라고 언급했다.
오픈소스 계획 및 반응
이 발표는 특히 오디오 생성 연구자들 사이에서 Artificial intelligence 커뮤니티에 상당한 관심을 불러일으켰다. 계획된 오픈소스 릴리스는 많은 상용 텍스트-오디오 시스템이 폐쇄적으로 유지되는 상황에서 재현성을 향한 단계로 여겨졌다. 개발자들은 코드가 Apache 2.0 라이선스로 공개될 것이며, 모델 가중치는 초기에 비상업적 연구용으로 제공될 것이라고 밝혔지만, 이 정책은 변경될 수 있다고 언급했다.
소셜 미디어와 개발자 포럼의 초기 커뮤니티 반응은 모델의 오디오 품질과 논문 방법론의 명확성을 칭찬했다. 일부 연구자들은 발표 당시 데모 페이지가 없다는 점이 한계라고 지적했지만, 팀은 코드 릴리스와 함께 대화형 데모를 호스팅하겠다고 약속했다.
한계 및 향후 작업
논문은 여러 한계를 인정했다. AudioLDM은 '바쁜 거리에서 짖는 개'와 같은 여러 동시 소리 소스를 포함하는 프롬프트에 대해 때때로 아티팩트를 생성했다. 모델은 또한 희귀하거나 추상적인 개념에 어려움을 겪었으며, 20개 토큰보다 긴 프롬프트에서는 성능이 저하되었다. 저자들은 대조 학습을 통한 텍스트-오디오 정렬 개선과 현재 10초 최대 길이를 넘어 더 긴 오디오 클립을 지원하도록 모델을 확장하는 것에 대한 향후 작업을 제안했다.
발표 시점에는 공식 버전 번호가 지정되지 않았으며, 모델은 논문에서 단순히 'AudioLDM'으로 언급되었다. 개발자들은 오픈소스 저장소에 미세 조정 스크립트와 추가 평가 도구가 포함된 업데이트 버전을 릴리스할 계획이었다.