기대-최대화(EM) 알고리즘은 통계학에서 모델이 관찰되지 않은 잠재 변수에 의존하는 통계적 모델의 모수에 대한 최대 가능도 또는 최대 사후 확률 추정을 찾기 위해 사용되는 반복적 방법입니다. 이는 혼합 모델이나 데이터에 결측값이 포함된 경우와 같이 모수에 대한 방정식을 직접 풀 수 없을 때 특히 유용합니다.
EM 반복은 기대(E) 단계와 최대화(M) 단계를 번갈아 수행합니다. 기대 단계는 현재 모수 추정값이 주어졌을 때 완전한 데이터의 기대 로그 가능도를 계산하고, 최대화 단계는 해당 기대 로그 가능도를 최대화하여 모수를 업데이트합니다. 이렇게 업데이트된 모수 추정값은 다음 기대 단계에서 사용되며, 수렴할 때까지 이 과정이 반복됩니다. 이 알고리즘은 가능도 함수의 국소 최대값 또는 안장점으로 수렴하는 것이 보장되지만, 반드시 전역 최대값으로 수렴하는 것은 아닙니다.
역사적 발전
EM 알고리즘은 1977년 Arthur Dempster, Nan Laird, Donald Rubin의 논문에서 공식적으로 명명되고 설명되었으며, 이후 DLR 논문으로 알려졌습니다. 이 연구는 이 방법을 통계 분석의 핵심 도구로 확립했습니다. 그러나 더 이른 시기의 연구자들도 특정 사례에서 이 기법을 제안했습니다.
한 선구자는 대립 유전자 빈도를 추정하기 위해 Cedric Smith가 개발한 유전자 계수 방법이었습니다. H.O. Hartley도 1958년에 초기 버전을 제안했고, Hartley와 Hocking은 1977년에 이를 확장했습니다. Rolf Sundberg는 Per Martin-Löf 및 Anders Martin-Löf와의 협력 이후 그의 논문과 후속 논문에서 지수족에 대한 상세한 처리를 제공했습니다.
1977년 DLR 논문은 이러한 초기 방법들을 일반화하고 광범위한 문제 클래스에 대한 수렴 분석을 개괄했습니다. 그러나 그 분석에는 결함이 있었고, 1983년 C. F. Jeff Wu가 지수족 외부에서도 수렴을 확립하는 올바른 수렴 증명을 발표했습니다.
핵심 아이디어와 상호 연결 방정식
잠재 변수가 있는 통계적 모델에서 최대 가능도 추정은 일반적으로 두 체인 모두를 포함하는 방정식을 푸는 것을 요구합니다. 모수에 대한 해는 잠재 변수의 값을 필요로 하고, 잠재 변수는 모수를 필요로 하므로, 분석적으로 풀 수 없는 상호 의존적인 시스템이 발생합니다.
EM 알고리즘은 한 세트의 값(종종 모수에 대한 임의의 추측)을 초기화하고 추정 단계를 번갈아 수행함으로써 이를 해결합니다. 예를 들어, 현재 모수를 기반으로 잠재 변수를 추정한 다음, 해당 잠재 변수를 사용하여 모수를 업데이트하고, 두 세트가 고정점으로 수렴할 때까지 이 주기를 반복할 수 있습니다. 직관적으로 단순하지만, 이 방법은 입증된 수렴 속성을 가지고 있습니다. 최종 지점에서 가능도의 도함수는 0에 접근합니다.
응용 및 한계
일반적인 응용은 각 관찰된 데이터 포인트가 관찰되지 않은 혼합 성분에 속하는 가우시안 혼합의 모수를 추정하는 것입니다. EM은 결측 데이터가 있는 다중 선형 회귀에도 사용될 수 있으며, Machine learning, Artificial intelligence 및 잠재 구조가 있는 기타 분야와 같은 다양한 영역에 걸쳐 적용되는 경우가 많습니다.
한 가지 한계는 EM이 전역 최대값보다는 국소 최대값으로 수렴할 수 있고, 일부 가능도는 특이점을 가질 수 있다는 것입니다. 예를 들어, 혼합 모델에서 성분에 0 분산이 할당되면 비합리적인 최대값을 가진 해가 발생할 수 있으며, 이는 문제가 있지만 반복 절차의 알려진 결과입니다.
확장 및 실용적 참고 사항
기대-조건부 최대화(ECM) 알고리즘 또는 몬테카를로 EM과 같은 EM의 확장은 잠재적 수렴 문제나 계산 복잡성을 해결합니다. 실제로 EM은 관찰된 데이터가 불완전하더라도 완전한 데이터 가능도가 주변 가능도보다 최적화하기 더 쉬울 때 선택됩니다. 이는 잠재 변수가 있는 모수를 추정하는 기본적인 방법으로 남아 있으며, 통계학에서 광범위한 관련성을 가지고 있습니다.
참고 문헌
DLR 논문의 이름과 1983년 Wu의 수렴 분석은 현대적 공식화를 정의합니다. Christopher Bishop (패턴 인식 및 기계 학습) 및 Chris Bishop과 같은 저자의 교과서는 EM을 확률적 모델링 및 기타 학습 알고리즘의 더 넓은 주제와 연결하는 상세한 처리를 제공합니다.