Wav2Vec은 2019년 9월 Facebook AI Research(현재 Meta AI의 일부) 연구진이 소개한 자가 지도 음성 표현 학습을 위한 Machine learning 프레임워크이다. 이 모델은 사전 학습 중 전사된 음성 데이터를 요구하지 않고 원시 파형에서 직접 범용 오디오 특징을 학습한다. 이 접근 방식은 레이블이 지정된 음성 말뭉치의 부족을 해결하기 위해 훨씬 더 풍부한 레이블이 없는 오디오를 활용한다.
원래 Wav2Vec 아키텍처는 다층 합성곱 신경망을 사용하여 원시 오디오를 잠재 표현으로 인코딩한 다음, 과거 맥락에서 미래 시간 단계를 예측하는 대조 손실을 따른다. 이 사전 학습 목표는 모델이 음성의 음운 및 음향적 규칙성을 포착하도록 강제한다. 사전 학습 후, 학습된 표현은 자동 음성 인식(ASR)과 같은 하위 작업에 대해 비교적 작은 레이블 데이터셋으로 미세 조정될 수 있으며, 전적으로 레이블된 데이터로 학습된 모델과 비교하여 경쟁력 있는 결과를 달성한다.
아키텍처 및 학습
초기 Wav2Vec 모델(v1)은 16kHz 오디오 파형을 초당 100개의 특징 벡터로 처리하는 5개의 합성곱 레이어로 구성된 인코더 네트워크로 구성되었다. 12개의 합성곱 레이어를 가진 컨텍스트 네트워크는 약 210밀리초의 수용 영역에 걸쳐 이러한 특징을 집계했다. 학습은 노이즈 대조 추정에서 영감을 받은 기법인 동일한 발화에서 추출된 음성 샘플과 실제 미래 샘플을 구별하는 대조 손실을 사용했다.
2020년 6월, 후속 모델인 Wav2Vec 2.0은 Transformer (architecture) 기반 컨텍스트 네트워크와 양자화 모듈을 도입했다. 인코더는 합성곱으로 유지되었지만, 컨텍스트 네트워크는 20ms 보폭의 25ms 창에서 작동하는 12개 레이어와 8개 어텐션 헤드를 가진 트랜스포머가 되었다. Wav2Vec 2.0은 또한 잠재 표현을 유한 코드북으로 이산화하는 제품 양자화 레이어를 추가하여 모델이 연속 및 이산 음성 단위를 모두 학습할 수 있게 했다. 이 버전은 LibriSpeech 벤치마크에서 최첨단 결과를 달성하여 10분의 레이블된 데이터만으로 클린 테스트 세트에서 단어 오류율을 1.8%, 기타 테스트 세트에서 3.3%로 줄였다.
자가 지도 학습 패러다임
Wav2Vec은 현대 Deep learning의 초석이 된 더 넓은 범주의 자가 지도 학습에 속한다. 레이블된 예제를 요구하는 지도 방법과 달리, 자가 지도 접근 방식은 데이터 자체에서 의사 레이블을 생성한다. 음성의 경우, 이는 오디오 신호의 마스킹되거나 미래 부분을 예측하는 것을 의미한다. Wav2Vec의 성공은 원시 파형이 전이 가능한 표현을 학습하기에 충분한 구조를 포함하고 있음을 입증했으며, 이는 Large language model이 레이블이 없는 텍스트에서 학습하는 방식과 유사하다.
Wav2Vec 2.0의 사전 학습 목표는 잠재 특징 범위의 일부(일반적으로 50%)를 마스킹하고 트랜스포머가 해당 마스킹된 위치에 대한 양자화된 대상을 예측하도록 학습시키는 것이다. NLP의 마스킹된 언어 모델링과 유사한 이 마스킹된 예측 작업은 모델이 장거리 음향 맥락을 통합하도록 강제한다. 이 접근 방식은 이전 방법에 비해 레이블된 데이터의 필요성을 최대 100배까지 줄여 저자원 언어에 실용적으로 만들었다.
영향 및 응용
Wav2Vec은 음성 처리 연구 및 산업 응용에 상당한 영향을 미쳤다. 이는 자가 지도 목표를 개선한 HuBERT 및 WavLM과 같은 후속 모델의 기반을 제공했다. 이 프레임워크는 특히 레이블된 데이터가 부족한 시나리오에서 음성 비서, 전사 서비스 및 언어 학습 도구를 위한 프로덕션 시스템에 채택되었다.
이 모델은 또한 Artificial intelligence에서 사전 학습된 기반 모델의 더 넓은 추세에 기여했다. 그 성공은 대규모 레이블이 없는 말뭉치에 대한 사전 학습 후 미세 조정이 표준 패러다임이 된 컴퓨터 비전 및 NLP의 발전과 병행했다. Wav2Vec은 수동으로 설계된 특징(예: 멜-주파수 켑스트럼 계수) 대신 원시 파형으로 작업할 수 있는 능력으로 파이프라인을 단순화하고 다양한 음향 조건에서 견고성을 향상시켰다.
한계 및 확장
강점에도 불구하고 Wav2Vec에는 한계가 있다. 원래 모델은 사전 학습에 상당한 계산 리소스가 필요했지만, 공개된 체크포인트는 최종 사용자에게 이러한 부담을 완화했다. 표현은 주로 ASR에 최적화되어 있으며 화자 검증이나 감정 인식과 같은 다른 작업에는 추가 적응 없이 완벽하게 전이되지 않을 수 있다. 이 모델은 또한 16kHz의 고정 입력 샘플링 속도를 가정하는데, 이는 전화 또는 압축 오디오에 제약이 될 수 있다.
Wav2Vec의 확장에는 2021년에 출시된 53개 언어로 학습된 다국어 학습용 Wav2Vec 2.0 변형이 포함된다. 또 다른 확장인 XLS-R은 436,000시간 이상의 오디오로 128개 언어로 접근 방식을 확장하여 자가 지도 음성 모델이 다양한 언어 계열에 걸쳐 일반화될 수 있음을 입증했다. 이러한 개발은 Wav2Vec을 NLP의 초기 트랜스포머 모델과 비교할 수 있는 영향력 있는 음성 AI의 기초 기여로 자리매김했다.
유산
Wav2Vec의 도입은 음성 인식 연구의 전환점을 표시하여 분야를 순수 지도 접근 방식에서 자가 지도 사전 학습으로 전환시켰다. 그 원리는 상업용 음성 API와 Hugging Face Transformers 및 fairseq와 같은 오픈 소스 툴킷에 통합되었다. 모델의 성공은 또한 음악 및 생체 의학 신호를 포함한 다른 양식에 대한 자가 지도 학습 연구를 촉진하여, 원시 데이터에 명시적 레이블 없이 활용될 수 있는 풍부한 잠재 구조가 포함되어 있다는 아이디어를 강화했다.