HuBERT(Hidden-Unit BERT)는 2021년 Meta AI 연구진이 도입한 음성 표현을 위한 자기 지도 학습 프레임워크입니다. 이는 자연어 처리의 BERT와 유사한 마스킹 예측 목적을 활용하지만, 이산적인 텍스트 토큰이 아닌 연속적인 오디오 신호를 처리합니다. 음향 특징을 의사 레이블로 클러스터링함으로써, HuBERT는 전사 데이터 없이도 강건한 음성 표현을 학습하며, 현대 음성 처리의 기초 모델로 자리 잡았습니다.
이 모델은 2021년 IEEE 국제 음향, 음성 및 신호 처리 학회(ICASSP)에서 발표된 논문 "HuBERT: Self-Supervised Speech Representation Learning by Masked Prediction of Hidden Units"에서 자세히 설명되었습니다. 개발은 Wei-Ning Hsu, Benjamin Bolte, Yao-Hung Hubert Tsai, Kushal Lakhotia, Ruslan Salakhutdinov, Abdelrahman Mohamed가 주도했습니다. HuBERT는 곧 자기 지도 음성 모델의 벤치마크가 되었으며, 이후 WavLM 및 data2vec과 같은 아키텍처에 영향을 미쳤습니다.
아키텍처 및 훈련
HuBERT는 표준 Transformer (architecture) 인코더를 사용하여 짧은 오디오 프레임에서 추출된 원시 파형 특징(일반적으로 멜 주파수 캡스트럴 계수 또는 로그-멜 필터뱅크)을 처리합니다. 훈련 과정은 두 가지 교대 단계를 포함합니다: 첫째, 현재 모델의 중간 표현을 k-means로 클러스터링하여 숨은 단위 레이블을 생성합니다; 둘째, 마스킹된 시간 단계에 대해 이러한 레이블을 예측하도록 트랜스포머를 훈련합니다. 이 반복적 개선을 통해 모델은 점차 더 추상적이고 음운적으로 의미 있는 단위를 학습할 수 있습니다.
wav2vec 2.0과 같은 대조적 방법과 달리, HuBERT는 네거티브 샘플링에 의존하지 않습니다. 대신 클러스터 할당에 대한 교차 엔트로피 손실을 사용하여 훈련을 단순화하고 안정성을 향상시킵니다. 마스킹 전략은 연속 프레임의 범위를 무작위로 마스킹하여 모델이 주변 맥락에서 누락된 정보를 추론하도록 강제하며, 이는 Deep learning 접근 방식의 핵심 요소입니다.
응용 및 영향
HuBERT의 표현은 다양한 음성 작업에 널리 채택되었습니다. 자동 음성 인식(ASR)에서 레이블된 데이터로 HuBERT를 미세 조정하면 최첨단 결과를 달성하며, 특히 전사된 오디오가 부족한 저자원 환경에서 두드러집니다. 또한 화자 검증, 감정 인식 및 언어 식별에서도 뛰어난 성능을 보이며, 학습된 특징이 음운 및 운율 정보를 모두 포착합니다.
인식 외에도 HuBERT는 생성 모델을 지원합니다. 예를 들어, Meta의 AudioGen 및 MusicGen 시스템은 HuBERT 임베딩을 조건 신호로 사용하여 현실적인 음성과 음악을 생성합니다. 또한 HuBERT는 음성 번역 및 음성 변환에 사용되어 범용 오디오 인코더로서의 다양성을 입증합니다.
레이블 없는 데이터에서 학습할 수 있는 모델의 능력은 인간 주석에 대한 의존도를 줄이는 Artificial intelligence의 광범위한 추세와 일치합니다. 그 성공은 다국어 및 교차 언어 음성 모델에 대한 연구를 촉진했으며, 여기서 HuBERT의 클러스터링 메커니즘은 언어 간 음운 단위 정렬에 도움을 줍니다.
변형 및 확장
다양한 요구를 해결하기 위해 HuBERT의 여러 변형이 출시되었습니다. 약 9,500만 개의 파라미터를 가진 HuBERT Base는 효율성에 최적화되어 표준 기준선으로 사용됩니다. 3억 1,700만 개의 파라미터를 가진 HuBERT Large는 더 많은 계산 비용으로 더 높은 정확도를 제공합니다. 모델은 추론 시간을 줄이면서 대부분의 성능을 유지하는 증류 버전도 제공됩니다.
확장에는 데이터 증강을 통합하여 노이즈 강건성을 개선한 Robust HuBERT와 HuBERT를 fairseq 툴킷에 통합하여 연구 및 배포에 접근 가능하게 만든 것이 포함됩니다. 클러스터링 단계는 이후 작업에서 온라인 클러스터링을 사용하여 별도의 k-means 패스를 피하는 방식으로 개선되었지만, 원래의 2단계 접근 방식이 가장 널리 사용됩니다.
다른 모델과의 비교
HuBERT는 Meta의 또 다른 자기 지도 음성 모델인 wav2vec 2.0과 자주 비교됩니다. wav2vec 2.0이 대조 학습과 양자화된 타깃을 사용하는 반면, HuBERT의 클러스터된 숨은 단위에 대한 마스킹 예측은 더 직접적인 감독 신호를 제공합니다. 실증 연구에 따르면 HuBERT는 일반적으로 ASR 벤치마크에서 wav2vec 2.0을 능가하며, 특히 제한된 레이블 데이터에서 두드러집니다. 그러나 wav2vec 2.0은 일부 작업에서 여전히 경쟁력이 있으며, 둘 사이의 선택은 특정 요구 사항에 따라 달라집니다.
Machine learning의 더 넓은 맥락에서 HuBERT는 BERT와 같은 마스킹 언어 모델과 개념적 유사성을 공유하지만, 연속 신호에 대한 적용은 입력 표현 및 타겟 생성의 새로운 처리를 요구했습니다. 이는 마스크 오토인코더(MAE)가 유사한 철학을 채택하는 컴퓨터 비전과 같은 다른 영역에서 유사한 접근 방식을 촉발했습니다.
한계 및 향후 방향
강점에도 불구하고 HuBERT에는 한계가 있습니다. k-means 클러스터링 단계는 미세한 음향 세부 정보를 버릴 수 있는 이산적 병목을 도입하여, 고충실도 재구성이 필요한 작업에 영향을 줄 수 있습니다. 훈련은 계산 집약적이며, 대규모 GPU 클러스터와 광범위한 레이블 없는 오디오 데이터 세트가 필요합니다. 또한 도메인별 데이터로 미세 조정하지 않으면 강한 억양 또는 잡음이 있는 음성에서 성능이 저하됩니다.
미래 연구는 명시적 클러스터링을 피하는 완전 종단 간 자기 지도 모델 개발, 희소 주의 메커니즘을 통한 효율성 개선, 오디오와 시각 단서를 결합한 다중 모달 입력으로 HuBERT 확장을 목표로 합니다. 2025년 현재, HuBERT는 음성 표현 학습의 초석으로 남아 있으며, Google DeepMind 및 Nokia Bell Labs와 같은 연구소의 기여를 포함하여 학계와 산업계에서 지속적인 개선이 이루어지고 있습니다.
참고 자료 및 가용성
원래 HuBERT 구현은 fairseq 라이브러리를 통해 제공되며, MIT 라이선스로 공개되었습니다. 코드는 PyTorch와 호환되며 기존 음성 처리 파이프라인에 쉽게 통합할 수 있습니다. Base, Large 및 X-Large 체크포인트는 공개적으로 다운로드할 수 있으며, X-Large 모델은 Libri-Light 데이터셋의 약 6만 시간의 레이블 없는 오디오로 사전 훈련되어 약 10억 개의 파라미터를 포함합니다. 이러한 접근성은 빠른 채택을 촉진하고 다양한 언어와 음향 조건에서 모델의 강건성에 대한 광범위한 평가를 가능하게 했습니다.