FastSpeech는 2019년 Microsoft Research에서 개발한 딥러닝 기반 음성 합성(text-to-speech) 모델이다. 이 모델은 비자기회귀(non-autoregressive) 방식의 피드포워드 트랜스포머 아키텍처를 사용하여 입력 텍스트를 멜 스펙트로그램으로 직접 병렬 변환한다. 이는 Tacotron 2와 같은 이전 모델들이 각 프레임을 순차적으로 생성하던 방식과 대비된다. 이러한 병렬 디코딩 방식은 추론 속도를 크게 향상시켜 실시간 및 대규모 음성 합성 애플리케이션에 적합하다.
이 모델은 길이 조정(length regulation) 메커니즘을 통해 텍스트 임베딩을 대상 스펙트로그램 프레임과 정렬하며, HiFi-GAN과 같은 별도의 보코더(vocoder)를 사용하여 스펙트로그램을 청취 가능한 파형으로 변환한다. FastSpeech는 Deep learning 기반 음성 합성 분야의 이정표로 평가받으며, 이전의 자기회귀 시스템들이 가진 속도 병목 현상을 해결하면서도 자연스러운 음질을 유지했다.
이후 연구에서는 FastSpeech 2 및 FastSpeech 2s와 같은 변형 모델이 개발되어, 지속 시간을 직접 예측하고 외부 정렬 모델의 필요성을 제거함으로써 견고성을 높이고 학습 파이프라인을 단순화했다. FastSpeech의 설계는 학계와 산업계의 많은 후속 음성 합성 시스템에 영향을 미쳤으며, 병렬 디코딩이 계산 비용 없이도 자기회귀 모델에 필적하는 품질을 달성할 수 있음을 입증했다.
FastSpeech의 아키텍처는 Transformer (architecture) 프레임워크를 기반으로 하며, 어텐션 메커니즘을 활용하여 텍스트와 음향 특징 간의 관계를 모델링한다. 이 모델은 Generative AI의 더 넓은 분야 내에서 작동하며, 신경망이 합성 음성이라는 새로운 데이터를 생성하는 방식을 보여준다.
FastSpeech의 학습은 일반적으로 쌍으로 구성된 텍스트-오디오 데이터셋을 사용하며, 인간 음성 주파수 범위(약 300~4000Hz)에서 지각 품질을 강조하는 손실 함수를 사용한다. 이 접근 방식은 Google DeepMind의 WaveNet과 Google AI의 Tacotron 2와 같은 초기 딥러닝 음성 합성 연구에 기반을 두고 있으며, 이러한 모델들이 원시 파형과 멜 스펙트로그램을 효과적으로 모델링할 수 있음을 보여주었지만 높은 계산 비용이 수반되었다.
반면 FastSpeech는 자기회귀 의존성을 제거하여 모든 출력 프레임을 동시에 계산할 수 있게 함으로써, 추론 시간을 실제로 한 자릿수 이상 줄였다. 이를 통해 소비자 하드웨어에서의 배포와 대화형 애플리케이션에서의 사용이 가능해졌다. FastSpeech는 비자기회귀 음성 합성 및 병렬 시퀀스 생성 연구에 지속적인 영향을 미쳤으며, 현대 신경 보코더 및 음향 모델의 기초 참조점으로 남아 있다.
FastSpeech는 Microsoft Research의 팀(Yi Ren, Yangjun Ruan, Xu Tan 등)에 의해 개발되었으며, 2019년 주요 머신러닝 학회에서 발표되었다. 소스 코드와 사전 학습된 모델은 공개적으로 제공되어 커뮤니티의 폭넓은 채택과 추가 혁신을 촉진했다. 2019년 기준으로, 이 모델의 설계와 학습 방법론은 다양한 상용 및 오픈소스 음성 합성 시스템에 통합되어 실용적 영향을 입증했다. 이 접근 방식은 또한 Machine learning의 다른 영역에서도 나타나는 병렬 비자기회귀 생성으로의 전환을 강조하며, 자연어 처리 분야 전반에 걸친 추세를 반영한다.