WaveNet은 원시 오디오를 생성하기 위한 심층 신경망이다. 이는 런던에 본사를 둔 AI 기업 DeepMind의 연구자들이 만들었다. 2016년 9월 논문에서 설명된 이 기술은 실제 음성 녹음으로 훈련된 신경망 방법을 사용하여 파형을 직접 모델링함으로써 비교적 사실적인 인간형 목소리를 생성할 수 있다. 미국 영어와 중국어 테스트에서 이 시스템이 구글의 기존 최고 텍스트 음성 변환(TTS) 시스템을 능가하는 것으로 보고되었지만, 2016년 기준으로 텍스트 음성 변환 합성은 여전히 실제 인간 음성보다 덜 설득력 있었다. WaveNet의 원시 파형 생성 능력은 음악을 포함한 모든 종류의 오디오를 모델링할 수 있음을 의미한다.
역사
텍스트에서 음성을 생성하는 것은 Apple의 Siri, Microsoft의 Cortana, Amazon Alexa 및 Google Assistant와 같은 소프트웨어의 인기 덕분에 점점 더 일반적인 작업이 되었다. 대부분의 시스템은 인식 가능한 소리와 단어를 형성하기 위해 음향 조각을 함께 연결하는 기술의 변형을 사용한다. 가장 일반적인 것은 연결형 TTS라고 불린다. 이는 단일 화자에서 녹음된 대규모 음성 조각 라이브러리로 구성되며, 이를 연결하여 완전한 단어와 소리를 생성한다. 결과는 비정상적인 운율과 어조로 부자연스럽게 들린다. 녹음 라이브러리에 의존하기 때문에 음성을 수정하거나 변경하기도 어렵다.
파라메트릭 TTS로 알려진 또 다른 기술은 수학적 모델을 사용하여 소리를 재현한 다음 단어와 문장으로 조립한다. 소리를 생성하는 데 필요한 정보는 모델의 매개변수에 저장된다. 출력 음성의 특성은 모델 입력을 통해 제어되며, 음성은 일반적으로 보코더로 알려진 음성 합성기를 사용하여 생성된다. 이 역시 부자연스러운 오디오를 초래할 수 있다.
설계 및 지속적인 연구
배경
WaveNet은 심층 컨볼루션 신경망(CNN)으로 알려진 피드포워드 신경망 유형이다. WaveNet에서 CNN은 원시 신호를 입력으로 받아 한 번에 하나의 샘플씩 출력을 합성한다. 이는 μ-law 컴팬딩 변환으로 인코딩되고 256개의 가능한 값으로 양자화된 신호 값의 소프트맥스(즉, 범주형) 분포에서 샘플링하여 수행한다. 이 접근 방식은 네트워크가 입력 데이터의 계층적 표현을 학습하는 Deep learning 원리에 뿌리를 두고 있다.
초기 개념 및 결과
2016년 9월 DeepMind 연구 논문 WaveNet: A Generative Model for Raw Audio에 따르면, 네트워크는 영어와 중국어 음성의 실제 파형을 입력받았다. 이러한 파형이 네트워크를 통과하면서 오디오 파형이 시간에 따라 어떻게 진화하는지 설명하는 일련의 규칙을 학습한다. 훈련된 네트워크는 초당 16,000개 샘플로 새로운 음성 유사 파형을 생성하는 데 사용될 수 있다. 이러한 파형에는 현실적인 호흡과 입술 소리가 포함되지만 어떤 언어에도 부합하지 않는다.
WaveNet은 서로 다른 목소리를 정확하게 모델링할 수 있으며, 입력의 억양과 어조가 출력과 상관관계를 가진다. 예를 들어 독일어로 훈련되면 독일어 음성을 생성한다. 이 능력은 WaveNet이 음악과 같은 다른 입력을 받으면 출력이 음악적이 될 수 있음을 의미한다. 출시 당시 DeepMind는 WaveNet이 클래식 음악처럼 들리는 파형을 생성할 수 있음을 보여주었다. 이러한 다용성은 전통적인 Machine learning 음성 응용 프로그램을 넘어선 잠재력을 강조한다.
콘텐츠(음성) 교체
2018년 6월 논문 Disentangled Sequential Autoencoder에 따르면, DeepMind는 WaveNet을 오디오 및 음성 "콘텐츠 교체"에 성공적으로 사용했다. 네트워크는 오디오 녹음의 음성을 원본 녹음의 텍스트와 기타 특징을 유지하면서 다른 기존 음성으로 교체할 수 있다. "우리는 또한 오디오 시퀀스 데이터에 대해 실험한다. 우리의 분리된 표현은 음성 내용에 조건을 두면서 화자 정체성을 서로 변환할 수 있게 한다." (p. 5) "오디오의 경우, 이는 남성 화자를 여성 화자로 또는 그 반대로 변환할 수 있게 한다 [...]." (p. 1) 논문에 따르면, 프로그램이 개별 특징을 학습한 다음 만족스러운 품질로 한 음성에서 다른 음성으로 변환을 수행하려면 소스 및 대상 음성의 기존 음성 녹음이 최소 두 자릿수 시간(약 50시간) 필요하다. 저자들은 "[모델의 장점은 동적 특징과 정적 특징을 분리한다는 점이다 [...]." (p. 8), 즉 WaveNet은 한 음성에서 다른 음성으로 변환하는 동안 유지해야 하는 말한 텍스트와 전달 방식(변조, 속도, 음높이, 분위기 등)을 구별할 수 있고, 한편으로는 교체해야 하는 소스 및 대상 음성의 기본 특징을 구별할 수 있다고 강조한다.
2019년 1월 후속 논문 Unsupervised speech representation learning using WaveNet autoencoders는 "콘텐츠 교체"를 위해 동적 및 정적 특징의 적절한 자동 인식과 구별을 향상시키는 방법을 자세히 설명하며, 특히 기존 오디오 녹음에서 음성 교체를 포함하여 더 신뢰할 수 있게 만든다. 2018년 9월(최신 수정 2019년 1월)의 또 다른 후속 논문 Sample Efficient Adaptive Text-to-Speech는 DeepMind가 WaveNet을 통해 기존 음성을 샘플링하는 데 필요한 최소 실제 녹음량을 "단지 몇 분의 오디오 데이터"로 줄이면서 고품질 결과를 유지했다고 밝혔다.
음성 복제 능력은 WaveNet이 살아있는 사람과 죽은 사람의 목소리를 모방할 수 있는 능력에 대한 윤리적 우려를 제기했다. 2016년 BBC 기사에 따르면, 유사한 음성 복제 기술(예: Adobe Voco)을 개발하는 기업들은 위조를 방지하기 위해 인간이 들을 수 없는 워터마킹을 삽입할 계획이며, 예를 들어 엔터테인먼트 산업 목적을 충족하는 음성 복제는 법의학 증거 방법과 전자 ID 장치를 속이는 데 필요한 것보다 훨씬 낮은 복잡성을 가지며 다른 방법을 사용할 것이라고 주장하므로, 자연 음성과 엔터테인먼트 산업 목적으로 복제된 음성은 기술적 분석으로 쉽게 구별할 수 있다.
응용
출시 당시 DeepMind는 WaveNet이 실제 세계 응용 프로그램에 사용하기에는 너무 많은 계산 처리 능력이 필요하다고 말했다. 2017년 10월 기준으로 Google은 더 나은 음성 품질과 함께 1,000배의 성능 향상을 발표했다. 그 후 WaveNet은 모든 Google 플랫폼에서 미국 영어와 일본어용 Google Assistant 음성을 생성하는 데 사용되었다. 2017년 11월, DeepMind 연구자들은 "실시간보다 20배 이상 빠른 고충실도 음성 샘플 생성" 방법을 자세히 설명하는 연구 논문을 발표했으며, 이를 "Probability Density Distillation"이라고 불렀다. 2018년 5월 연례 I/O 개발자 컨퍼런스에서 새로운 Google Assistant 음성이 제공되며 WaveNet으로 가능해졌다고 발표되었다. WaveNet은 음성 배우 샘플의 원시 오디오를 모델링하여 음성 모델을 만드는 데 필요한 오디오 녹음 수를 크게 줄였다. 이러한 발전은 WaveNet을 오디오용 Generative AI의 핵심 혁신으로 자리매김했으며, 이후 Neural network 기반 합성 작업에 영향을 미쳤다.