WaveNet Vocoder는 Deep learning 모델 아키텍처로, Google DeepMind가 개발하여 원시 오디오 파형을 생성한다. 2016년 9월에 소개되었으며, 텍스트-음성 변환(TTS) 시스템을 위해 자연스러운 음성을 생성하도록 설계되어, 초기 연결 및 파라메트릭 합성기의 로봇 같은 품질을 해결했다. 이 모델은 샘플 수준에서 오디오 신호를 직접 처리하며, 각 샘플을 이전의 모든 샘플을 기반으로 예측하는데, 이를 자기회귀 생성이라고 한다. 핵심 혁신은 팽창된 인과 합성곱(dilated causal convolutions)을 사용하는 것으로, 이를 통해 네트워크는 매우 큰 수용 영역을 가질 수 있어 오디오의 장거리 의존성을 포착하면서도 순환 네트워크에 비해 계산 효율성을 유지한다. WaveNet Vocoder는 많은 현대 TTS 파이프라인에서 기본 구성 요소가 되었으며, 중간 음향 특징(예: 멜-스펙트로그램)을 최종 파형으로 변환하는 신경 보코더로 자주 사용된다.
원래 WaveNet 논문인 "WaveNet: A Generative Model for Raw Audio"는 DeepMind 연구자들(Aaron van den Oord, Sander Dieleman, Karen Simonyan 포함)에 의해 발표되었다. 이 모델은 Google TTS 말뭉치와 같은 대규모 음성 데이터셋으로 훈련되었으며, 기존 방법보다 주관적 자연스러움에서 상당한 개선을 보여주었다. 블라인드 청취 테스트에서 WaveNet으로 생성된 음성은 연결 및 파라메트릭 시스템보다 훨씬 자연스러운 것으로 평가되었지만, 여전히 인간 녹음에는 미치지 못했다. 이 아키텍처는 음악과 같은 다른 오디오 유형을 모델링하는 능력도 입증되었지만, 주요 응용 분야는 음성 합성에 남아 있었다.
아키텍처 및 메커니즘
WaveNet Vocoder는 지수적으로 증가하는 팽창 계수를 가진 합성곱 레이어 스택으로 구축된다. 각 레이어는 인과 합성곱을 적용하는데, 이는 시간 단계 t에서의 출력이 시간 단계 t까지의 입력에만 의존하여 오디오의 시간적 순서를 보존한다는 것을 의미한다. 팽창 계수(예: 1, 2, 4, 8, ..., 512)는 수용 영역이 깊이에 따라 지수적으로 성장하게 하여, 수천 개의 샘플에 걸친 의존성을 포착할 수 있게 한다. 예를 들어, 10개의 레이어와 최대 512의 팽창 계수를 사용하면 수용 영역은 1024개의 샘플에 걸치며, 16kHz 샘플링 속도에서 64밀리초의 오디오에 해당한다.
각 합성곱 레이어는 PixelCNN의 것과 유사한 게이트 활성화 유닛을 사용하여 복잡한 의존성을 학습하는 데 도움을 준다. 게이트 활성화는 tanh(W_f x) sigmoid(W_g x)로 정의되며, 여기서 는 합성곱을 나타낸다. 이 게이팅 메커니즘은 네트워크가 정보 흐름을 제어할 수 있게 하여 훈련 안정성과 출력 품질을 향상시킨다. 모델은 또한 잔차 연결과 스킵 연결을 통합하여 훈련 중 기울기 흐름을 촉진하고 네트워크가 더 깊은 표현을 학습하는 데 도움을 준다.
훈련 및 추론
WaveNet Vocoder 훈련은 훈련 오디오 데이터의 로그 우도를 최대화하는 것을 포함한다. 출력 레이어는 8비트 뮤-로 컴팬딩 오디오 샘플을 나타내는 256개의 가능한 값에 대한 소프트맥스를 사용한다. 뮤-로 컴팬딩은 저진폭 신호에 더 많은 양자화 레벨을 할당하는 비선형 변환으로, 음성에 지각적으로 더 중요하다. 훈련 중 모델은 실제 오디오 샘플을 입력으로 받고, 각 시간 단계에서 손실이 계산된다.
추론은 자기회귀적이다: 모델은 한 번에 하나의 샘플을 생성하고, 자체 출력을 다음 단계의 입력으로 다시 공급한다. 이 순차적 생성은 계산 집약적이며, 각 샘플은 네트워크를 통한 전체 순방향 패스가 필요하다. 16kHz에서 1초 오디오 클립의 경우 16,000개의 순차적 단계를 의미한다. 추론 속도를 높이기 위해 연구자들은 중간 활성화 캐싱("fast WaveNet"으로 알려짐) 및 "Parallel WaveNet"(2017)에서 제안된 것과 같은 병렬 생성 방법(정규화 흐름을 사용한 교사-학생 프레임워크)과 같은 기술을 개발했다. 이러한 최적화는 현대 하드웨어에서 실시간 합성을 가능하게 했다.
텍스트-음성 변환에서의 응용
WaveNet Vocoder는 TTS 파이프라인에서 최종 단계로 가장 일반적으로 사용된다. 일반적인 아키텍처는 텍스트를 언어적 특징으로 변환하는 프론트엔드, 중간 표현(예: 멜-스펙트로그램 또는 선형 스펙트로그램)을 예측하는 음향 모델, 그리고 이러한 특징을 파형으로 변환하는 보코더를 포함한다. WaveNet Vocoder는 컴팩트한 음향 특징에서 고충실도 오디오를 생성할 수 있어 자연스러운 운율과 화자 특성을 보존하므로 이 역할에서 탁월하다.
여러 상용 및 오픈 소스 TTS 시스템이 WaveNet 기반 보코더를 채택했다. 예를 들어, Google의 Cloud Text-to-Speech 서비스는 자연스러움으로 알려진 WaveNet 음성을 제공한다. 이 아키텍처는 수정된 WaveNet을 보코더로 사용하는 Tacotron 2와 같은 이후 모델에도 영향을 미쳤다. 오픈 소스 커뮤니티에서는 일본 연구자 r9y9의 "WaveNet Vocoder" 저장소와 같은 구현이 연구 및 개발에 널리 사용되었다. 이러한 구현은 종종 영어와 일본어를 포함한 다양한 언어에 대한 사전 훈련된 모델을 제공한다.
영향 및 유산
WaveNet Vocoder의 도입은 음성 합성에서 중요한 전환을 표시하며, 연결 및 파라메트릭 방법에서 신경 종단 간 접근 방식으로 이동했다. 그 성공은 원시 오디오에 대한 심층 생성 모델의 힘을 입증했으며, SampleRNN, WaveRNN 및 LPCNet과 같은 후속 아키텍처에 영감을 주었다. 팽창된 인과 합성곱의 개념은 오디오 소스 분리 및 음악 생성과 같은 다른 영역에서도 채택되었다.
WaveNet Vocoder는 또한 자기회귀 모델이 고차원 데이터를 생성할 수 있는 방법을 보여줌으로써 Generative AI의 더 넓은 분야에 기여했다. 게이트 활성화 및 잔차 연결과 같은 기술은 많은 다른 신경망 설계에 통합되었다. Transformer (architecture) 기반 보코더(예: HiFi-GAN 및 MelGAN)와 같은 최신 모델이 등장했지만, WaveNet Vocoder는 품질의 벤치마크이자 분야의 기본 참조로 남아 있다.
한계 및 발전
품질에도 불구하고 WaveNet Vocoder는 주목할 만한 한계가 있다. 자기회귀 생성은 느리므로 특수 하드웨어나 알고리즘 최적화 없이는 실시간 배포가 어렵다. 모델은 또한 훈련에 상당한 계산 리소스가 필요하며, 종종 여러 GPU와 며칠의 훈련 시간이 필요하다. 또한 뮤-로 컴팬딩은 약간의 왜곡을 도입하는데, 이는 음성에는 허용 가능하지만 고충실도 음악에는 이상적이지 않을 수 있다.
후속 연구는 이러한 문제를 해결했다. Parallel WaveNet(2017)은 역 자기회귀 흐름을 사용한 비자기회귀 생성 방법을 도입하여 GPU에서 실시간 합성을 달성했다. ClariNet 및 WaveGlow와 같은 다른 접근 방식은 효율성과 품질을 더욱 개선했다. 이러한 발전은 생산 시스템에서 원래 WaveNet Vocoder를 대체했지만, 그 원리는 현대 신경 보코더 설계에 여전히 영향력이 있다.