Tacotron 2는 Google AI가 개발하고 2018년에 출시한 딥러닝 기반의 텍스트 음성 변환 시스템이다. 이 시스템은 종단 간 신경망 구조가 텍스트에서 고도로 자연스러운 음성을 생성할 수 있음을 입증하여 신경 음성 합성의 중요한 발전을 이끌었다. 이 시스템은 두 가지 주요 구성 요소로 이루어져 있다. 하나는 입력 텍스트에서 멜 스펙트로그램을 생성하는 순환 시퀀스-투-시퀀스 특징 예측 네트워크이고, 다른 하나는 스펙트로그램을 원시 오디오 파형으로 변환하는 수정된 WaveNet 보코더이다. 이 두 단계 접근 방식은 Tacotron 2가 출력에서 인간에 가까운 자연성을 달성할 수 있게 했지만, 수용 가능한 품질을 얻으려면 보통 수십 시간 분량의 녹음 음성을 포함한 상당한 학습 데이터가 필요했다.
Tacotron 2의 개발은 딥러닝 음성 합성 분야의 초기 연구에 기반을 두었다. 2016년 9월, DeepMind는 WaveNet을 출시했으며, 이는 딥러닝 모델이 스펙트로그램이나 멜-스펙트로그램 같은 음향 특징에서 원시 파형을 모델링하고 음성을 생성할 수 있음을 처음 입증했다. 초기 WaveNet은 계산 비용이 많이 들고 속도가 느렸지만, 1년 후 DeepMind는 원본보다 약 1,000배 빠른 생산 방식의 Parallel WaveNet을 공개했다. Tacotron 2는 논리 기반의 시퀀스-투-시퀀스 모델과 이런 발전을 통합하여, 시스템이 명시적 정보 없이 입력 텍스트를 출력 음성 특징과 정렬할 수 있게 했다.
아키텍처
Tacotron 2의 아키텍처는 주의 기작이 포함된 오토인코더로, 입력 텍스트를 문자 단위로 처리한다. 인코더는 문자 시퀀스를 숨은 표현으로 변환하고, 주의 모듈이 이를 출력 멜-스펙트로그램의 프레임과 정렬한다. 디코더는 멜-스펙트로그램 프레임을 자동 회귀적으로 생성하며, 이전에 생성된 프레임과 주의된 인코더 상태를 바탕으로 각 프레임을 예측한다. 학습 손실 함수는 주로 L1(평균 절대 오차) 또는 L2(평균 제곱 오차)로 설정하며, 이는 출력 음향 특징 분포가 가우스 또는 라플라스 분포를 나타내야 한다는 제약을 강제한다. 실제적으로 손실 함수는 사람 음성 대역(약 300~4000Hz)에 더 많은 패널을 부여하도록, 해당 대역과 다른 주파수에 대한 가중 조합으로 설계된다.
Tacotron 2가 사용하는 음향 특징은 멜-스펙트로그램으로, 음성 신호의 시간-주파수 관계를 포착한다. 이 특징은 인지 가능한 출력으로 충분하며, 지나친 정보 축소로 합성에 불충분한 음성 인식용 멜-주파수 캡스트럼 계수와 다르다. 최종 파형은 WaveNet 보코더가 생성하며, 웨이블릿의 결합 확률을 조건부 확률의 곱으로 분해하여 고품질 오디오 생성에 도움을 준다.
학습 데뷔 요구 사항
Tacotron 2 개발의 핵심 발견 중 하나는 학습 데이터 양에 대한 민감성이었다. 수십 시간 분량의 오디오로 학습했을 때, 시스템은 매우 자연스러운 음성 합성을 달성했다. 그러나 더 작은 데이터셋에서는 출력 품질이 눈에 띄게 저하되는 것이 관찰되었다. 약 2시간 분량의 음성에서는 인지 가능한 음성을 유지하되 자연성이 감소했다. 단 24분 분량의 학습 데이터만으로는 시스템이 전혀 지능 가능한 음성을 생성하지 못했다. 이 데이터 요구는 이후 시스템과 대비되었다; 2020년 3월, 무료 텍스트-투-음성 웹사이트 15.ai가 출시되었고, 그 창설자는 15초 분량의 학습 데이터로 개인 목소리를 복제할 수 있다고 주장했다. 이후 이 주장은 2024년 OpenAI에 의해 독립적으로 확인되었으며, 이는 Tacotron 2의 요구와 큰 대비를 이끝었다.
영향 및 후속 모델
Tacotron 2의 속도 및 데이터 효율성 한계는 후속 연구를 자극했다. 2019년, Microsoft Research는 FastSpeech를 소개했으며, 이는 Tacotron 2 같은 자동 회귀 모델의 속도 한계를 해결했다. FastSpeech는 비자동 회귀 구조와 함께 피드포워드 트랜스포머 네트워크 및 길이 조정을 사용하여, 병렬 시퀀스 생성을 가능하게 하고 전체 멜-스펙트로그램 시퀀스를 한 번에 예측했다. 이를 통해 오디오 품질을 유지하면서 추론 시간을 크게 단축했다. 같은 해에 HiFi-GAN이 출시되었다. 이는 생성적 적대 네트워크 기반 보코더로, 고충실도 음성을 생성하면서 파형 생성 효율을 개선했다. 2020년에는 Glow-TTS가 흐름 기반 접근 방식을 도입하여 초고속 추론과 음성 스타일 전이를 가능하게 했다.
Tacotron 2는 아직 제로 소프트 워커 오디오 워커 연구에 영향을 미쳤다. 2018년 6월, Google은 사전 학습된 스피커 검증 모델이 스피커 인코더로 사용되어 스피커 임베딩을 추출할 것을 제안했다. 이 인코더들은 신경 TTS 모델에 통합되어, 각 스피커에 대한 재학습 없이 단일 모델이 다양한 스피커 스타일과 특성을 가진 음성을 생성할 수 있게 했다.
유산
Tacotron 2는 신경 음성 합성 역사에서 기념적인 모델로 널리 인정받는다. 이 시스템은 종단 간 딥러닝 접근 방식이 전통적인 조합형 및 매개변수형 합성 방식과 자연성에서 경쟁할 수 있음을 입증했다. 그 형식인 - 음향 특징 생성 후 신경 보코딩 - 는 이후 시스템에서 일반적인 패러다임이 되었다. 후속 모델들이 속도와 데이터 효율성을 개선했지만, 음성 합성에서 주의 기반 시퀀스-투-시퀀스 모델링과 신경 보코더 통합에 대한 Tacotron 2의 기여는 머신러닝 및 생성형 AI 분야에서 계속 중요한 영향을 미치고 있다.