음성 인식은 자동 음성 인식(ASR)이라고도 하며, 음성 오디오를 문자 텍스트로 변환한다. 이는 텍스트 음성 변환의 입력 측 대응물이자 대화형 AI, 음성 비서, 받아쓰기 소프트웨어, 자동 자막 시스템의 기초 구성 요소이다.
역사
1970년대와 1980년대의 초기 음성 인식 시스템은 수작업으로 설계된 음향 특징과 은닉 마르코프 모델을 결합하여 사용했는데, 이는 음성의 순차적이고 시간에 따라 변하는 구조를 표현하는 데 적합한 통계 모델로, 종종 n-gram 언어 모델과 함께 사용되어 그럴듯한 단어 시퀀스를 제한했다. 이러한 시스템은 상당한 도메인별 튜닝이 필요했으며, 억양, 배경 소음, 학습 데이터에 없는 어휘에 어려움을 겪었다. 2010년대에는 딥러닝으로의 전환이 이루어졌는데, 먼저 개별 파이프라인 구성 요소를 신경망으로 대체한 후, 별도의 음향 및 언어 모델 파이프라인 없이 원시 또는 경미하게 처리된 오디오를 텍스트로 직접 매핑하는 완전한 종단 간 신경 아키텍처로 이동했다. 특히 순환 신경망 기반 시퀀스 모델과 2017년 이후에는 트랜스포머 기반 시스템이 두드러졌다.
현대 시스템
OpenAI의 위스퍼는 2022년 오픈소스로 출시되어 널리 채택된 범용 ASR 시스템이 되었으며, 오디오와 대본이 쌍으로 구성된 대규모의 다양한 다국어 데이터셋으로 학습되었고, 언어별 미세 조정 없이도 억양, 배경 소음, 여러 언어에 걸쳐 강력한 성능을 보여주는 것으로 유명하다. 위스퍼와 다른 연구소의 유사 시스템은 일반적으로 더 큰 멀티모달 AI 파이프라인, 음성 비서, 회의 기록 제품 내의 구성 요소로 사용되며, 그 출력은 종종 요약이나 번역과 같은 다운스트림 자연어 처리 작업에 공급된다.
기법
현대 ASR 시스템은 일반적으로 오디오를 학습된 표현의 시퀀스로 처리하는 인코더와 텍스트를 자동 회귀 방식으로 생성하는 디코더를 사용하며, 이는 시퀀스-투-시퀀스 모델 및 기계 번역 시스템과 밀접하게 관련된 아키텍처 패턴이다. 학습은 대규모의 쌍으로 구성된 오디오-텍스트 데이터셋에 크게 의존하며, 대본이 제공되기 전에 유용한 표현을 학습하는 레이블이 없는 오디오에 대한 자기 지도 학습 사전 학습은 레이블이 제한된 언어의 성능을 개선하는 중요한 기법이 되었으며, 이는 자연어 처리 및 컴퓨터 비전의 유사한 접근 방식과 평행을 이룬다.
응용 및 한계
음성 인식은 실시간 자막, 스마트폰에 내장된 음성 비서, 받아쓰기 소프트웨어, 콜센터 분석, 청각 장애인 및 난청 사용자를 위한 접근성 도구의 기반이 된다. 정확도에서 큰 진전이 있었음에도 불구하고, ASR 시스템은 학습 데이터가 적은 억양, 방언, 언어에 걸쳐 여전히 고르지 못한 성능을 보이며, 이는 상용 시스템에서 알고리즘 편향의 문서화된 원인이다. 배경 소음, 겹치는 화자, 의학 또는 법률 용어와 같은 도메인별 어휘도 여전히 오류의 원인으로 남아 있으며, 시스템은 특수 배포를 위해 맞춤 어휘로 자주 미세 조정되거나 보완된다. 평가는 일반적으로 단어 오류율에 중점을 두지만, 이 단일 지표는 인구 통계 그룹 및 발화 조건에 따른 고르지 못한 성능을 가릴 수 있다.