컴퓨터 청각은 인공지능의 하위 분야로, 오디오 정보의 자동 분석과 이해를 다룬다. 이는 기계가 소리에 대해 인식하고, 표현하며, 추론하는 계산 방법을 포함하며, 머신 러닝, 디지털 신호 처리, 그리고 심리음향학의 원리를 활용한다. 음성 인식이 음성 언어를 문자로 변환하는 데 초점을 맞추는 것과 달리, 컴퓨터 청각은 단일 음악 음에서부터 번잡한 거리의 소음에 이르기까지 청각 사건의 전체 스펙트럼을 처리하고, 그로부터 의미 있는 의미론적 내용을 추출하는 것을 목표로 한다.
이 용어는 1990년대 후반에 컴퓨터 비전에 대응하는 개념으로 등장했으며, 지능형 시스템에서 청각이 시각만큼 중요하다는 점을 강조했다. 초기 연구는 멜 주파수 켑스트럼 계수와 영교차율 같은 수작업으로 설계된 특징에 집중했지만, 2010년대 딥 러닝의 등장으로 원시 파형이나 스펙트로그램에서의 종단 간 학습으로 패러다임이 전환되었다. 현대 컴퓨터 청각 시스템은 가상 비서와 보청기에서부터 자율 주행 차량과 산업 모니터링에 이르는 응용 분야에 배치되고 있다.
핵심 작업과 표현
컴퓨터 청각은 여러 표준 작업을 다룬다. 자동 음성 인식은 음성 단어를 텍스트로 변환하며, 신경망과 트랜스포머 아키텍처의 발전으로 극적인 진전을 보였다. 음악 정보 검색은 코드 추정, 비트 추적, 장르 분류와 같은 작업을 포함하며, 시간적 구조와 화성적 내용을 모두 모델링해야 한다. 환경 소리 분류는 사이렌, 유리 깨지는 소리, 새 울음소리 같은 비언어적, 비음악적 소리를 식별하며, 종종 스펙트로그램 이미지에 합성곱 신경망을 사용한다.
핵심 과제는 오디오 표현의 선택이다. 원시 파형은 고차원이며 미세한 시간적 세부 사항과 광범위한 스펙트럼 구조를 모두 포함한다. 일반적인 대안으로는 단시간 푸리에 변환 스펙트로그램, 멜 스펙트로그램, 상수-Q 변환이 있으며, 각각 시간과 주파수 해상도를 다르게 절충한다. 오토인코더나 대조 학습으로 생성된 학습 표현도 특정 도메인의 통계적 속성에 적응할 수 있어 인기를 얻고 있다.
딥 러닝 아키텍처
딥 러닝의 부상은 컴퓨터 청각을 변혁했다. 이미지용으로 개발된 합성곱 신경망은 스펙트로그램에 적용되어 시간과 주파수를 축으로 하는 2차원 입력으로 처리되었다. ResNet과 U-Net 같은 아키텍처는 소스 분리와 오디오 잡음 제거 같은 작업에 사용되었다. 순환 신경망, 특히 장단기 메모리 유닛은 한때 순차 오디오 모델링의 표준이었지만, 트랜스포머와 그 변형에 크게 대체되었다.
2017년에 도입된 트랜스포머는 오디오 시퀀스의 장거리 의존성을 포착할 수 있는 자기 주의 메커니즘을 가져왔다. Google DeepMind와 Meta에서 각각 개발된 wav2vec 2.0과 HuBERT 같은 모델은 대규모 레이블 없는 오디오 말뭉치에 대한 자기 지도 학습을 사용해 강력한 표현을 생성한다. 이러한 사전 학습 모델은 상대적으로 적은 레이블 데이터로 특정 작업에 미세 조정될 수 있으며, 이 패러다임은 이 분야의 표준이 되었다. 멀티 헤드 주의 메커니즘은 모델이 음높이, 리듬, 음색 같은 오디오의 서로 다른 측면에 동시에 집중할 수 있게 한다.
훈련과 최적화
오디오 모델 훈련은 독특한 과제를 제시한다. 오디오 데이터는 종종 길어서 메모리와 계산을 신중하게 처리해야 한다. 시간 늘리기, 음높이 이동, 배경 잡음 추가를 포함한 데이터 증강 같은 기법은 일반화를 개선하는 데 중요하다. 배치 정규화와 레이어 정규화는 훈련을 안정화하는 데 도움이 되며, 드롭아웃과 모델 가지치기는 과적합과 계산 비용을 줄이는 데 사용된다.
최적화는 일반적으로 Adam 같은 확률적 경사 하강법의 변형에 의존하며, 학습률 스케줄은 워밍업 후 감소한다. 손실 함수는 작업에 따라 다르다: 분류에는 교차 엔트로피, 음성 인식에는 연결주의 시간 분류, 음높이 추정 같은 회귀 작업에는 평균 제곱 오차가 사용된다. 커리큘럼 학습은 모델을 먼저 쉬운 예제로 훈련시키는 방식으로, 복잡한 오디오 작업에서 수렴을 개선하는 것으로 나타났다.
응용 분야와 시스템
컴퓨터 청각은 많은 상용 제품에 내장되어 있다. Amazon Alexa와 Apple Siri 같은 가상 비서는 음성 인식과 화자 식별에 의존한다. 음악 스트리밍 서비스는 추천과 자동 태깅에 오디오 분석을 사용한다. 의료 분야에서 컴퓨터 청각은 기침 소리를 분석하여 호흡기 질환을 진단하고, 수면 무호흡증을 모니터링하는 데 도움을 준다. 자율 주행 차량은 마이크를 사용하여 구급차 사이렌을 감지하며, 시각 센서를 보완한다.
산업 응용 분야에는 기계의 이상 소리를 듣는 예측 유지보수와 유리 깨짐이나 연기 경보기를 인식하는 스마트 홈 기기가 포함된다. 창의적 분야에서 컴퓨터 청각은 자동 음악 전사, 리믹싱 도구, 생성 오디오 모델을 지원한다. MIT CSAIL, Stanford AI Lab, Berkeley AI Research 같은 기관의 연구 그룹은 Sony AI와 Nokia Bell Labs 같은 산업 연구소와 협력하여 경계를 계속 확장하고 있다.
과제와 미래 방향
진전에도 불구하고 컴퓨터 청각은 상당한 장애물에 직면해 있다. 실제 세계의 잡음과 잔향에 대한 견고성은 여전히 제한적이며, 모델은 보지 못한 녹음 조건의 데이터에서 테스트될 때 종종 실패한다. 이 분야는 또한 해석 가능성과 씨름하고 있다: 모델이 특정 소리를 특정 방식으로 분류하는 이유를 설명하기 어렵고, 이는 안전이 중요한 응용 분야에서 문제가 된다. 공공 장소에서 오디오 데이터를 수집할 때 개인 정보 보호 문제가 발생하며, 음성 복제와 딥페이크 오디오의 윤리적 사용에 대한 논쟁이 계속되고 있다.
미래 방향에는 오디오를 시각 및 텍스트 정보와 결합하는 다중 모달 학습과, 모델이 이전 소리를 잊지 않고 새로운 소리에 적응하는 지속 학습이 포함된다. 대규모 언어 모델과 오디오 인코더의 통합은 활발한 연구 영역으로, 시스템이 자연어로 소리를 설명하거나 오디오 내용에 대한 질문에 답할 수 있게 한다. AWS Trainium과 Groq 가속기 같은 특수 칩으로 하드웨어가 개선됨에 따라, 엣지 기기에서의 실시간 컴퓨터 청각이 더 실현 가능해지고 있으며, 보청기, 웨어러블, 로봇 공학에 새로운 가능성을 열고 있다.