음성 합성은 인간의 음성을 인공적으로 생성하는 기술이다. 이러한 목적에 사용되는 컴퓨터 시스템을 음성 합성기라고 하며, 소프트웨어 또는 하드웨어 제품으로 구현될 수 있다. 텍스트 음성 변환(TTS) 시스템은 일반 언어 텍스트를 음성으로 변환하며, 다른 시스템은 음성 표기와 같은 기호적 언어 표현을 음성으로 렌더링한다. 역과정은 음성 인식이다.
합성 음성은 데이터베이스에 저장된 녹음 음성 조각을 연결하여 생성될 수 있다. 시스템은 저장된 음성 단위의 크기에 따라 다르다. 음소 또는 이중음소를 저장하는 시스템은 가장 넓은 출력 범위를 제공하지만 명료성이 부족할 수 있다. 특정 사용 영역에서는 전체 단어나 문장을 저장하여 고품질 출력을 가능하게 한다. 대안으로, 합성기는 성도 및 기타 인간 음성 특성의 모델을 통합하여 완전히 "합성된" 음성 출력을 만들 수 있다.
음성 합성기의 품질은 인간 음성과의 유사성과 명확하게 이해될 수 있는 능력으로 판단된다. 이해 가능한 텍스트 음성 변환 프로그램은 시각 장애인이나 읽기 장애가 있는 사람들이 가정용 컴퓨터에서 쓰여진 단어를 들을 수 있게 한다. 음성 합성기를 포함한 최초의 컴퓨터 운영 체제는 1974년 Unix였으며, Unix speak 유틸리티를 통해 구현되었다. 2000년에는 Microsoft Sam이 Windows 2000 운영 체제 및 이후 Windows XP 시스템에 포함된 내레이터 접근성 기능에서 사용되는 기본 텍스트 음성 변환 음성 합성기였다.
텍스트 음성 변환 시스템의 구조
텍스트 음성 변환 시스템(또는 "엔진")은 프론트엔드와 백엔드의 두 부분으로 구성된다. 프론트엔드는 두 가지 주요 작업을 수행한다. 첫째, 숫자와 약어와 같은 기호를 포함하는 원시 텍스트를 쓰여진 단어에 해당하는 형태로 변환한다. 이 과정은 종종 텍스트 정규화, 전처리 또는 토큰화라고 불린다. 그런 다음 프론트엔드는 각 단어에 음성 표기를 할당하고, 텍스트를 구, 절, 문장과 같은 운율 단위로 나누고 표시한다. 단어에 음성 표기를 할당하는 과정을 텍스트-음소 또는 자소-음소 변환이라고 한다. 음성 표기와 운율 정보는 함께 프론트엔드가 출력하는 기호적 언어 표현을 구성한다.
백엔드는 종종 합성기라고 불리며, 기호적 언어 표현을 소리로 변환한다. 특정 시스템에서 이 부분은 목표 운율(피치 윤곽, 음소 지속 시간)의 계산을 포함하며, 이는 출력 음성에 적용된다. 이 2단계 설계는 모듈식 개발을 가능하게 하여, 언어 분석이 음향 생성과 독립적으로 개선될 수 있다.
역사적 발전
전자 신호 처리의 발명 훨씬 이전부터 일부 사람들은 인간 음성을 모방하는 기계를 만들려고 시도했다. 또한 교황 실베스터 2세(1003년 사망), 알베르투스 마그누스(1198–1280), 로저 베이컨(1214–1294)과 관련된 "청동 머리"의 존재에 대한 전설도 있었다.
1779년, 독일-덴마크 과학자 크리스티안 고틀리프 크라첸슈타인은 러시아 제국 과학 예술 아카데미가 발표한 대회에서 다섯 개의 장모음 소리(국제 음성 기호 표기: [aː], [eː], [iː], [oː] 및 [uː])를 생성할 수 있는 인간 성도 모델을 구축하여 1등상을 수상했다. 그 뒤를 이어 헝가리 프레스부르크의 볼프강 폰 켐펠렌이 1791년 논문에서 설명한 풀무 작동식 "음향-기계 음성 기계"가 나왔다. 이 기계는 혀와 입술 모델을 추가하여 모음뿐만 아니라 자음도 생성할 수 있었다. 1837년, 찰스 휘트스톤은 폰 켐펠렌의 설계를 기반으로 "말하는 기계"를 제작했고, 1846년에는 조셉 파버가 "유포니아"를 전시했다. 1923년, 파게트는 휘트스톤의 설계를 부활시켰다.
1930년대에 벨 연구소는 음성을 기본 톤과 공명으로 자동 분석하는 보코더를 개발했다. 호머 더들리는 보코더 작업을 바탕으로 키보드 작동식 음성 합성기인 보더(Voice Demonstrator)를 개발하여 1939년 뉴욕 세계 박람회에서 전시했다.
프랭클린 S. 쿠퍼와 하스킨스 연구소의 동료들은 1940년대 후반에 패턴 재생기를 구축하고 1950년에 완성했다. 이 하드웨어 장치에는 여러 버전이 있었으며 현재 하나만 남아 있다. 이 기계는 음성의 음향 패턴을 스펙트로그램 형태로 소리로 다시 변환한다. 이 장치를 사용하여 앨빈 리버만과 동료들은 음성 세그먼트(자음과 모음) 지각에 대한 음향 단서를 발견했다.
전자 및 컴퓨터 기반 시스템
최초의 컴퓨터 기반 음성 합성 시스템은 1950년대 후반에 시작되었다. 노리코 우메다 등은 1968년 일본 전자 기술 종합 연구소에서 최초의 일반 영어 텍스트 음성 변환 시스템을 개발했다. 1961년, 물리학자 존 래리 켈리 주니어와 동료 루이스 거스트먼은 IBM 7090 컴퓨터를 사용하여 음성을 합성했으며, 이는 벨 연구소 역사에서 가장 주목할 만한 사건 중 하나였다. 켈리의 음성 녹음 합성기(보코더)는 맥스 매튜스의 음악 반주와 함께 노래 "데이지 벨"을 재현했다. 우연히도 아서 C. 클라크는 머레이 힐 시설에서 친구이자 동료인 존 피어스를 방문하고 있었다. 클라크는 이 시연에 깊은 인상을 받아 소설 《2001: 스페이스 오디세이》의 각본에서 절정 장면에 사용했는데, HAL 9000 컴퓨터가 우주비행사 데이브 보우먼이 그것을 종료시키면서 같은 노래를 부른다. 순수 전자 음성 합성의 성공에도 불구하고 기계식 음성 합성기에 대한 연구는 계속되고 있다.
선형 예측 코딩(LPC)은 음성 코딩의 한 형태로, 1966년 나고야 대학의 이타쿠라 후미타다와 일본 전신전화(NTT)의 사이토 슈조의 작업으로 개발이 시작되었다. LPC 기술의 추가 개발은 1970년대 벨 연구소의 비슈누 S. 아탈과 만프레드 R. 슈뢰더에 의해 이루어졌다. LPC는 나중에 1978년부터 Speak & Spell 장난감에 사용된 텍사스 인스트루먼트 LPC 음성 칩과 같은 초기 음성 합성기 칩의 기초가 되었다.
1975년, 이타쿠라 후미타다는 NTT에서 고압축 음성 코딩을 위한 선 스펙트럼 쌍(LSP) 방법을 개발했다. 1975년부터 1981년까지 이타쿠라는 LSP 방법을 기반으로 한 음성 분석 및 합성 문제를 연구했다. 1980년, 그의 팀은 LSP 기반 음성 합성기 칩을 개발했다. LSP는 음성 합성 및 코딩에 중요한 기술이며, 1990년대에는 거의 모든 국제 음성 코딩 표준에서 필수 구성 요소로 채택되어 모바일 채널과 인터넷을 통한 디지털 음성 통신 향상에 기여했다.
1975년, MUSA가 출시되었으며 최초의 음성 합성 시스템 중 하나였다. 이는 독립형 컴퓨터 하드웨어와 이탈리아어를 읽을 수 있는 전문 소프트웨어로 구성되었다. 1978년에 출시된 두 번째 버전은 "아카펠라" 스타일로 이탈리아어를 노래할 수도 있었다.
1980년대와 1990년대의 주요 시스템은 MIT의 데니스 클랫의 작업에 크게 기반한 DECtalk 시스템과 벨 연구소 시스템이었다. 후자는 자연어 처리 기술을 광범위하게 사용한 최초의 다국어 및 언어 독립적 시스템 중 하나였다.
현대적 접근 방식 및 응용
기계 학습과 심층 학습의 부상으로 음성 합성은 신경망 기반 방법으로 전환되었다. 신경망은 텍스트에서 음성으로의 복잡한 매핑을 직접 모델링할 수 있으며, 종종 이전의 연결 또는 포먼트 기반 시스템보다 더 자연스러운 출력을 생성한다. 이러한 현대 시스템은 종종 트랜스포머 아키텍처를 활용하며, 이는 대규모 언어 모델의 기초이기도 하며, 언어와 운율의 장거리 의존성을 포착한다.
현대 텍스트 음성 변환 엔진은 소비자 기기, 내비게이션 시스템 및 가상 비서에 널리 배포된다. 애플, 삼성, 구글 딥마인드와 같은 회사는 제품에 고급 합성을 통합했다. 이 기술은 또한 운영 체제의 접근성 기능을 지원하여 시각 장애인을 위한 화면 판독기를 가능하게 한다. 2020년대 현재, 연구는 감정 표현력 향상, 음성 복제 및 대화형 응용을 위한 실시간 합성에 계속 초점을 맞추고 있다.
평가 및 과제
음성 합성기 평가는 주관적 청취 테스트와 객관적 지표를 모두 포함한다. 주관적 테스트는 자연스러움과 명료성을 측정하며, 종종 평균 의견 점수를 사용한다. 객관적 측정은 음향 특징을 비교하거나 자동 음성 인식을 사용하여 명료성을 평가할 수 있다. 다양한 언어, 방언 및 말하기 스타일을 처리하고, 기기 내 배포를 위한 계산 비용을 줄이는 데 과제가 남아 있다. 또한 음성 스푸핑 및 복제 음성의 오용 가능성으로 인해 윤리적 고려 사항이 발생하며, 이는 생성 AI 커뮤니티에서 지속적인 논의를 촉발하고 있다.