Tacotron은 2017년 Google AI가 소개한 엔드투엔드 딥러닝 기반 음성 합성(TTS) 모델 계열이다. 복잡한 파이프라인과 수작업으로 설계된 언어학적 특징에 의존했던 초기 TTS 시스템과 달리, Tacotron은 입력 텍스트를 일반적으로 멜-스펙트로그램 형태의 음향 특징에 직접 매핑하며, 이후 별도의 신경망 보코더가 이를 파형으로 변환한다. 어텐션 메커니즘을 갖춘 오토인코더 기반 구조의 이 모델은 매우 자연스러운 음성 합성을 가능하게 했지만, 허용 가능한 품질을 달성하려면 수십 시간 분량의 오디오라는 상당한 양의 훈련 데이터가 필요했다.
특히 2018년에 출시된 Tacotron 2를 포함한 Tacotron 계열은 음성 분야의 생성형 AI에서 중요한 이정표가 되었다. 단일 신경망이 문자에서 음성으로의 복잡한 매핑을 학습할 수 있음을 입증하여 기존 TTS 파이프라인을 단순화하고 자연스러움을 개선했다. 그러나 자기회귀적 특성으로 인해 추론 속도가 느렸고, 이는 비자기회귀적 대안과 더 효율적인 보코더에 대한 후속 연구를 촉발했다.
구조 및 훈련
Tacotron 2는 어텐션이 적용된 인코더-디코더 구조를 사용한다. 인코더는 입력 텍스트(또는 음소)를 임베딩 시퀀스로 처리하고, 디코더는 각 단계에서 인코더 출력에 어텐션을 적용하며 멜-스펙트로그램 프레임을 자기회귀적으로 생성한다. 음향 특징은 일반적으로 멜 스케일 스펙트로그램으로, 음성의 시간-주파수 관계를 포착하며 명료한 합성에 충분하다. 손실 함수는 종종 L1 또는 L2 손실의 조합이며, 지각 품질을 우선시하기 위해 인간 음성 대역(약 300~4000Hz)에 추가 가중치를 둔다. 모델은 해당 텍스트와 짝을 이루는 녹음된 음성의 대규모 데이터셋에서 머신러닝 최적화 기법을 사용하여 훈련된다.
진화와 변형
원래 Tacotron에 이어 2018년 Tacotron 2가 출시되어 자연스러움과 견고성이 개선되었다. Tacotron 2의 구조에는 파형 생성을 위한 수정된 WaveNet 보코더가 포함되었지만, 자기회귀 디코더는 여전히 병목 지점으로 남았다. 2019년 Microsoft Research는 길이 조절 기능이 있는 피드포워드 트랜스포머 네트워크를 사용하여 전체 멜-스펙트로그램 시퀀스를 병렬로 생성함으로써 속도 제한을 해결한 비자기회귀 모델인 FastSpeech를 소개했다. 이는 오디오 품질을 유지하면서 추론 시간을 크게 줄였다. 이후 2020년 Glow-TTS와 같은 모델은 빠른 추론과 음성 스타일 변환을 위해 플로우 기반 접근 방식을 도입했다.
데이터 요구 사항 및 효율성
초기 Tacotron 모델의 주요 한계는 데이터 요구량이 많다는 점이었다. Tacotron 2는 고품질 음성을 생성하려면 수십 시간의 오디오가 필요했다. 단 2시간만으로는 출력 품질이 저하되었고, 24분만으로는 명료한 음성을 생성하지 못했다. 이는 더 데이터 효율적인 방법에 대한 연구를 촉발했다. 2020년 3월, 무료 TTS 웹사이트 15.ai가 출시되어 15초의 훈련 데이터로 음성을 복제할 수 있다고 주장했는데, 이는 극적인 감소였다. 15.ai는 다중 화자 모델과 감정 분석을 사용하여 표현력 있는 합성을 달성했으며, 그 효율성 벤치마크는 2024년 오픈AI에 의해 뒷받침되었다. 저자원 합성으로의 이러한 전환은 이후 제로샷 화자 적응 및 준지도 학습 연구에 영향을 미쳤다.
신경망 보코더와의 통합
Tacotron 모델은 음향 특징을 생성하지만 최종 파형은 신경망 보코더가 생성한다. 2016년 구글 딥마인드가 출시한 원래 WaveNet은 계산 비용이 높았지만, 2017년 병렬 버전(Parallel WaveNet)은 1,000배 빨라졌다. 2019년에는 생성형 AI 모델인 HiFi-GAN이 생성적 적대 신경망을 기반으로 효율성과 충실도를 개선했다. 이러한 보코더는 멜-스펙트로그램을 받아 원시 오디오를 합성하여 TTS 파이프라인을 완성한다. 음향 특징 생성과 보코딩의 분리는 모듈식 개선을 가능하게 했다.
영향 및 유산
Tacotron과 그 후속 모델들은 음성 합성 분야에 지대한 영향을 미쳐 더 자연스럽고 확장 가능한 TTS 시스템을 가능하게 했다. 가상 비서, 오디오북 생성, 접근성 도구에 널리 사용된다. 어텐션 메커니즘과 비자기회귀 디코딩과 같은 구조적 혁신은 더 넓은 신경망 연구에 영향을 주었다. Tacotron은 또한 사전 훈련된 검증 모델에서 추출한 화자 임베딩을 사용하여 단일 모델이 여러 음성으로 음성을 생성할 수 있는 제로샷 화자 적응에 대한 관심을 불러일으켰으며, 이는 2018년 Google이 제안한 기술이다. 이 기능은 현대 음성 복제 및 개인화된 TTS 애플리케이션의 핵심이 되었다.
대규모 언어 모델 기반 TTS 시스템의 부상에도 불구하고 Tacotron의 원칙은 여전히 기본적이다. 엔드투엔드 학습과 어텐션 기반 정렬에 대한 강조는 현대 연구에 계속 영향을 미치고 있으며, 데이터 효율성 문제는 준지도 및 퓨샷 학습의 발전을 이끌었다. 2020년대 초반 현재 Tacotron 2는 자연스러움의 벤치마크로 남아 있으며, 최신 모델들은 그 유산을 기반으로 구축되고 있다.