은닉 마르코프 모델(HMM)은 관측 결과가 기저의 관찰 불가능한 과정에 의존하는 일련의 관측값을 설명하는 데 사용되는 통계적 모델이다. 확률 이론에서 HMM은 관측값이 잠재(또는 은닉) 마르코프 과정(종종 X로 표기)에 의존하는 마르코프 모델이다. 이 모델은 X의 결과에 알려진 방식으로 의존하는 관측 가능한 과정 Y를 요구한다. X를 직접 관찰할 수 없으므로 목표는 Y를 관찰하여 X의 상태를 학습하는 것이다. 마르코프 모델이라는 정의에 따라 HMM은 시간 t0에서의 Y의 결과가 시간 t0에서의 X의 결과에 의해서만 영향을 받아야 하며, t0 이전의 X와 Y의 결과는 X가 시간 t0에 주어졌을 때 t0의 Y에 대해 조건부 독립이어야 한다는 추가 요구 사항을 가진다. HMM의 매개변수 추정은 최대 우도 추정을 사용하여 수행할 수 있으며, 선형 사슬 HMM의 경우 바움-웰치 알고리즘이 일반적으로 사용된다.
은닉 마르코프 모델은 열역학, 통계 역학, 물리학, 화학, 경제학, 금융, 신호 처리, 정보 이론 및 패턴 인식을 포함한 여러 분야에서의 응용으로 잘 알려져 있다. 구체적인 용도로는 음성 인식, 필기 인식, 제스처 인식, 품사 태깅, 악보 추적, 부분 방전 및 생물정보학이 있다.
공식 정의
X_n과 Y_n을 n ≥ 1인 이산 시간 확률 과정이라고 하자. 쌍 (X_n, Y_n)은 X_n이 직접 관찰할 수 없는(따라서 "은닉") 마르코프 과정이고, X의 전체 이력이 주어졌을 때 Y_n의 조건부 확률이 모든 n ≥ 1, 모든 수열 x_1, ..., x_n 및 모든 보렐 집합 A에 대해 P(Y_n ∈ A | X_1 = x_1, ..., X_n = x_n) = P(Y_n ∈ A | X_n = x_n)을 만족하면 은닉 마르코프 모델이다. 이 조건은 시간 n에서의 관측값이 시간 n의 은닉 상태에만 의존하고 이전 은닉 상태에는 의존하지 않음을 보장한다.
연속 시간 과정의 경우, 쌍 (X_t, Y_t)는 X_t가 직접 관찰할 수 없는 마르코프 과정이고, t0까지의 X의 전체 경로가 주어졌을 때 시간 t0에서의 Y의 확률이 t0에서의 X만 주어졌을 때의 확률과 같으면(P(Y_t0 ∈ A | {X_t ∈ B_t for t ≤ t0}) = P(Y_t0 ∈ A | X_t0)) 은닉 마르코프 모델이다. 이는 이산 시간 정의를 연속 시간으로 일반화한다.
핵심 구성 요소
HMM은 일반적으로 세 가지 매개변수 집합으로 특징지어진다. 첫째, 초기 상태 분포는 은닉 과정이 각 가능한 상태에서 시작할 확률을 지정한다. 둘째, 전이 확률은 마르코프 속성에 따라 은닉 상태가 시간에 따라 어떻게 진화하는지 설명한다. 셋째, 방출 확률은 현재 은닉 상태가 주어졌을 때 각 가능한 출력을 관찰할 가능성을 제공한다. 이러한 구성 요소는 함께 은닉 및 관측 가능한 수열의 결합 분포를 정의한다.
은닉 상태 자체는 마르코프 사슬을 형성하며, 이는 새 상태로 이동할 확률이 이전 상태가 아닌 현재 상태에만 의존함을 의미한다. 관측 가능한 과정은 은닉 상태가 주어졌을 때 조건부 독립이며, 이는 추론과 학습을 단순화한다.
추론 및 학습
HMM의 핵심 문제 중 하나는 추론이다. 관측 수열이 주어졌을 때 가장 가능성 있는 은닉 상태 수열을 결정하는 것이다. 비터비 알고리즘은 이 목적을 위해 사용되는 동적 프로그래밍 방법으로, 단일 최적 상태 수열을 찾는다. 또 다른 추론 작업은 모델이 주어졌을 때 관측 수열의 확률을 계산하는 것이며, 이는 전방 알고리즘을 사용하여 수행할 수 있다. 전방-후방 알고리즘은 각 시간 지점에서 각 상태에 있을 사후 확률을 계산하며, 평활화와 같은 작업에 유용하다.
매개변수 추정은 일반적으로 최대 우도 추정을 통해 수행된다. 선형 사슬 HMM의 경우 기대값 최대화(EM) 알고리즘의 특수한 경우인 바움-웰치 알고리즘은 관측 데이터의 우도를 최대화하기 위해 모델 매개변수를 반복적으로 업데이트한다. 이 알고리즘은 현재 매개변수가 주어졌을 때 기대 충분 통계량을 계산하는 것과 이러한 기대값을 최대화하도록 매개변수를 재추정하는 것을 번갈아 수행한다.
역사적 발전
HMM은 1960년대 후반과 1970년대 초반에 레너드 바움과 동료들의 연구에 뿌리를 두고 있으며, 그들은 전방-후방 알고리즘과 바움-웰치 알고리즘을 개발했다. 이론적 기초는 로이드 웰치와 같은 연구자들에 의해 더욱 정교화되었다. 1980년대에 HMM은 특히 Xerox PARC와 같은 기관의 연구를 통해 음성 인식에서 두각을 나타냈다. 이 모델은 Deep learning 및 Neural network 접근법이 부상하기 전에 Machine learning에서 순차 데이터를 위한 표준 도구가 되었다.
1990년대와 2000년대에 HMM은 유전자 찾기, 단백질 구조 예측 및 서열 정렬을 위한 생물정보학에서 널리 적용되었다. 또한 품사 태깅 및 개체명 인식을 위한 자연어 처리에서 중요해졌다. 이 모델은 이후 계층적 HMM 및 결합 HMM과 같은 다양한 방식으로 확장되어 더 복잡한 의존성을 처리했다.
응용
HMM은 다양한 문제에 적용되어 왔다. 음성 인식에서는 은닉 음소 상태에 의해 생성된 음향 특징의 수열을 모델링한다. 필기 및 제스처 인식에서는 획이나 움직임의 시간적 역학을 포착한다. 생물정보학에서는 유전자 예측 및 단백질 패밀리 모델링에 사용된다. 금융에서는 강세장과 약세장과 같은 경제 시계열의 국면을 모델링할 수 있다. 신호 처리에서는 음성 향상 및 활동 인식에 사용된다.
현대 Artificial intelligence에서 Transformer (architecture) 기반 모델이 지배적임에도 불구하고 HMM은 해석 가능성과 소규모 데이터가 중요한 작업에서 여전히 관련성이 있다. 또한 HMM을 Neural network 분류기와 결합한 하이브리드 모델과 같은 더 복잡한 시스템의 구성 요소로도 사용된다. HMM의 단순성과 수학적 다루기 쉬움은 확률적 모델링의 기초 도구로 만든다.
한계 및 확장
HMM은 은닉 과정이 마르코프적이고 관측값이 은닉 상태가 주어졌을 때 조건부 독립이라고 가정한다. 이러한 가정은 복잡한 실제 데이터에 대해 제한적일 수 있다. 확장에는 은닉 상태가 여러 이전 상태에 의존하는 고차 HMM과 외생 변수를 통합하는 입력-출력 HMM이 포함된다. 은닉 준마르코프 모델은 각 상태의 가변 지속 시간을 허용하여 표준 HMM의 일반적인 한계를 해결한다.
현대 Machine learning의 맥락에서 HMM은 종종 순환 신경망 및 Transformer (architecture) 모델과 비교되며, 이들은 더 긴 범위의 의존성을 포착할 수 있다. 그러나 HMM은 해석 가능성과 소규모 데이터 세트로 작업할 수 있는 능력에서 이점을 제공한다. HMM은 특히 계산 생물학 및 음성 처리 분야에서 여전히 활발한 연구 영역으로 남아 있다.