은닉 마르코프 모델(HMM)은 시스템이 관찰되지 않는(은닉) 상태를 가진 마르코프 과정을 따르고, 각 상태가 확률 분포에 따라 관찰 가능한 출력을 생성한다고 가정하는 통계적 모델이다. 이 모델은 두 개의 확률적 과정, 즉 은닉 상태 시퀀스 X와 관찰 가능한 시퀀스 Y로 정의되며, 임의의 시점에서 Y의 결과는 현재 상태 X에만 의존하고 과거 상태나 관찰에는 의존하지 않는다. 이러한 조건부 독립성 속성은 근본 원인이 직접 보이지 않는 순차 데이터를 분석하는 데 HMM을 다루기 쉽게 만든다.
HMM은 열역학, 통계 역학, 물리학, 화학, 경제학, 금융, 신호 처리, 정보 이론, 패턴 인식 등 다양한 분야에 널리 적용된다. 구체적인 사용 사례로는 음성 인식, 필기 인식, 제스처 인식, 품사 태깅, 악보 추적, 부분 방전 분석, 생물정보학이 있다. 이 프레임워크는 관찰된 시퀀스에서 은닉 상태를 추론하고 데이터에서 모델 매개변수를 추정하는 원리적인 방법을 제공한다.
수학적 정의
공식적으로, X_n과 Y_n을 n ≥ 1에 대한 이산 시간 확률적 과정이라고 하자. 쌍 (X_n, Y_n)은 X_n이 직접 관찰할 수 없는 마르코프 과정이고, 모든 n ≥ 1, 모든 시퀀스 x_1, ..., x_n, 모든 보렐 집합 A에 대해 확률 P(Y_n ∈ A | X_1 = x_1, ..., X_n = x_n)이 P(Y_n ∈ A | X_n = x_n)과 같을 때 은닉 마르코프 모델이다. 이 조건은 시간 n에서의 관찰이 같은 시간의 은닉 상태에만 의존함을 보장한다. X_t와 Y_t가 연속 시간 과정이고 시간 t_0에서의 관찰이 주어진 모든 과거 상태에서 X_{t_0}에만 의존하는 연속 시간 유사체도 존재한다.
매개변수 추정
HMM 매개변수 추정은 일반적으로 최대 우도 추정을 사용한다. 선형 체인 HMM의 경우 기대값 최대화(EM) 알고리즘의 특수한 경우인 바움-웰치 알고리즘이 일반적으로 사용된다. 이 반복 절차는 현재 매개변수가 주어졌을 때 기대 충분 통계량을 계산하는 단계(E-단계)와 기대 로그 우도를 최대화하도록 매개변수를 업데이트하는 단계(M-단계)를 번갈아 수행한다. 알고리즘은 우도 함수의 국소 최대값으로 수렴하지만 전역 최적성은 보장되지 않는다. 실제로는 여러 무작위 초기화를 사용하여 결과를 개선하는 경우가 많다.
추론 알고리즘
매개변수 추정 외에도 HMM은 추론을 위한 알고리즘이 필요하다. 전방 알고리즘은 모델이 주어졌을 때 관찰된 시퀀스의 확률을 계산하며, 모델 비교에 유용하다. 비터비 알고리즘은 주어진 관찰 시퀀스를 생성한 가장 가능성 있는 은닉 상태 시퀀스를 찾으며, 음성 인식과 같은 디코딩 작업에 널리 사용된다. 전방-후방 알고리즘은 각 시간 단계에서 각 은닉 상태의 사후 확률을 계산하여 평활화 및 분할과 같은 작업을 가능하게 한다. 이러한 알고리즘은 모두 다항 시간에 실행되므로 HMM은 많은 응용 분야에서 계산적으로 효율적이다.
시퀀스 모델링에서의 응용
HMM은 특히 딥러닝의 부상 이전에 시퀀스 모델링의 기초가 되었다. 음성 인식에서 HMM은 음소를 은닉 상태로, 음향 관찰을 출력으로 모델링한다. 생물정보학에서는 유전자 찾기, 단백질 2차 구조 예측, 서열 정렬에 사용된다. 자연어 처리에서 HMM은 품사 태깅과 개체명 인식에 적용되었다. Transformer (architecture) 모델과 Neural network 아키텍처와 같은 현대적 접근 방식이 많은 영역에서 HMM을 크게 대체했지만, HMM은 데이터가 제한적이거나 해석 가능성과 확률적 보장이 중요한 문제에서 여전히 가치가 있다. 또한 더 복잡한 Sequence-to-Sequence (Seq2Seq) 모델과 Generative AI 시스템으로의 개념적 다리 역할을 한다.
현대 머신러닝과의 관계
HMM은 잠재 변수에 대한 확률적 추론에 초점을 맞춘다는 점에서 Machine learning 및 Artificial intelligence와 개념적 뿌리를 공유한다. 바움-웰치 알고리즘은 이후 Deep learning 최적화 기법에 영향을 주었고, 은닉 상태의 개념은 Large language model 아키텍처에 지속된다. 그러나 HMM은 고정된 마르코프 구조와 이산 상태를 가정하는 반면, Transformer (architecture)와 같은 현대 모델은 명시적 상태 전환 없이 유연한 표현을 학습한다. 그럼에도 불구하고 HMM은 음성 인식을 위해 HMM과 신경망을 결합하는 하이브리드 시스템과 시간적 의존성이 중요한 Reinforcement learning 영역에서 여전히 사용된다. 수학적 명확성은 확률적 모델링과 Unsupervised learning 연구에 계속 정보를 제공한다.
한계와 확장
HMM은 장거리 의존성을 제한하는 마르코프 가정과 고차원 관찰 공간으로의 확장 어려움을 포함한 알려진 한계가 있다. 확장에는 상태 지속 시간을 명시적으로 모델링할 수 있는 은닉 준마르코프 모델과 다중 스케일 구조를 포착하는 계층적 HMM이 포함된다. 연속 관찰 공간에서는 방출 확률에 가우시안 혼합 모델이 자주 사용된다. 이러한 확장은 일부 약점을 해결하지만 계산 복잡성을 증가시킨다. 2020년대 현재 HMM은 통계와 신호 처리에서 표준 도구로 남아 있지만, 시퀀스 모델링에서의 지배력은 Deep learning 방법에 의해 가려졌다.