기대값 최대화(EM) 알고리즘은 잠재(관찰되지 않은) 변수가 있는 모델에서 매개변수의 최대 가능도 추정치를 찾기 위한 반복적 통계 방법이다. 가우시안 혼합 모델(GMM)은 모든 데이터 포인트가 알려지지 않은 매개변수를 가진 유한한 수의 가우시안 분포의 혼합에서 생성된다고 가정하는 확률 모델이다. EM 알고리즘은 GMM을 적합시키는 표준 접근 방식으로, 기대 단계(E-단계)와 최대화 단계(M-단계)를 수렴할 때까지 번갈아 수행한다. 이 기법은 기계 학습의 많은 응용 분야, 즉 클러스터링, 밀도 추정, 이상 탐지의 기반이 된다.
EM 알고리즘은 1977년 Arthur Dempster, Nan Laird, Donald Rubin의 논문에서 공식적으로 소개되었지만, 통계 문헌에는 더 이른 버전이 존재했다. GMM 자체는 1894년 Karl Pearson이 혼합 모델에 대한 초기 연구로 거슬러 올라가며, 그는 적률법을 사용하여 두 구성 요소의 가우시안 혼합을 게 데이터에 적합시켰다. EM과 GMM의 결합은 현대 심층 학습 접근 방식보다 앞선 비지도 학습의 초석이 되었으며, 현대 인공 지능 시스템에서도 여전히 관련성을 유지하고 있다.
수학적 공식화
K개의 구성 요소를 가진 GMM은 데이터 포인트 x의 확률 밀도를 K개의 가우시안 밀도의 가중 합으로 모델링한다: p(x) = sum_{k=1}^K pi_k * N(x | mu_k, Sigma_k), 여기서 pi_k는 혼합 계수(합이 1), mu_k는 평균 벡터, Sigma_k는 공분산 행렬이다. 잠재 변수 z는 각 관측값을 생성한 구성 요소를 나타낸다. EM 알고리즘은 두 단계를 반복한다. E-단계에서는 현재 매개변수 추정치가 주어졌을 때 각 구성 요소가 각 데이터 포인트를 생성했을 사후 확률(책임도)을 계산한다. M-단계에서는 책임도를 가중치로 사용하여 기대 완전 데이터 로그 가능도를 최대화함으로써 매개변수(pi_k, mu_k, Sigma_k)를 업데이트한다. 이 알고리즘은 각 반복에서 가능도가 감소하지 않음을 보장하며, 지역 최적점에 수렴한다.
기계 학습에서의 응용
기계 학습에서 GMM은 각 포인트가 다양한 확률로 모든 클러스터에 속하는 소프트 클러스터링을 위한 유연한 도구로 사용되며, k-means와 같은 하드 클러스터링 방법과는 다르다. GMM은 이미지 분할, 음성 인식, 이상 탐지에 사용된다. 예를 들어, 컴퓨터 비전에서 GMM은 비디오 감시의 배경 픽셀을 모델링한다. 음성 처리에서 GMM은 신경망 기반 시스템으로 대체되기 전에 음향 특징을 모델링했다. EM 알고리즘은 또한 은닉 마르코프 모델(특수 사례인 Baum-Welch 알고리즘을 통해)과 일반 통계 모델의 결측 데이터 처리에도 나타난다.
현대 AI와의 관계
심층 학습이 많은 고차원 작업에서 GMM을 대체했지만, EM 알고리즘은 개념적으로 여전히 영향력이 있다. EM의 변형은 기계 번역의 단어 정렬을 위한 기대값 최대화와 같은 작업에서 대규모 언어 모델 훈련에 사용된다. 추론과 최적화를 번갈아 수행하는 이 알고리즘의 원리는 변분 오토인코더 및 기타 잠재 변수 모델에 나타난다. MIT CSAIL 및 스탠포드 AI 연구소와 같은 기관의 연구자들은 EM의 이론적 보장과 효율성을 계속 연구하고 있다. 실제로 GMM은 화자 검증 및 금융 위험 모델링과 같은 작업을 위한 생산 시스템에서 여전히 배포되며, 종종 생성 AI 기법과 함께 사용된다.
확장 및 변형
여러 확장이 EM의 한계, 즉 느린 수렴과 초기화에 대한 민감성을 해결한다. 확률적 EM 및 증분 EM은 미니 배치를 사용하여 매개변수를 업데이트하여 확장성을 향상시킨다. 변분 베이즈 EM은 매개변수를 확률 변수로 취급하여 완전한 사후 분포를 제공한다. k-평균 알고리즘은 동일한 등방성 공분산을 가진 GMM에 대한 하드 할당 한계로 볼 수 있다. 고차원 데이터의 경우 대각 또는 묶인 공분산 행렬이 매개변수 수를 줄인다. 기대 전파 및 몬테카를로 EM 변형은 다루기 어려운 적분을 처리한다. 이러한 발전은 EM이 인공 지능 시대에 관련성을 유지하게 하며, 종종 더 복잡한 모델의 기준선 또는 구성 요소로 사용된다.
실용적 고려 사항
GMM에 EM을 구현하려면 구성 요소 수 K를 선택해야 하며, 종종 베이즈 정보 기준(BIC) 또는 교차 검증과 같은 정보 기준을 사용한다. 초기화는 k-means 결과 또는 무작위 시드를 사용할 수 있다. 알고리즘은 지역 최적점에 수렴할 수 있으므로 여러 번 재시작하는 것이 일반적이다. 로그 가능도를 사용하고 정규화로 특이 공분산 행렬을 처리하여 수치적 안정성을 향상시킨다. scikit-learn과 같은 현대 소프트웨어 라이브러리에서 GMM에 대한 EM은 효율적인 선형 대수 루틴으로 구현된다. 이 알고리즘의 반복당 시간 복잡도는 전체 공분산에 대해 O(NKD^2)이며, 여기서 N은 포인트 수, D는 차원 수로, 중간 규모 데이터 세트에 적합하다. 대규모 문제의 경우 AWS Trainium 및 기타 특수 하드웨어가 행렬 연산을 가속화할 수 있지만, EM은 일반적으로 종단 간 기계 학습 파이프라인에서 병목 현상이 아니다.
역사적 맥락
EM 알고리즘의 개발은 결측 데이터가 흔한 유전학 및 표본 조사의 문제에서 동기가 부여되었다. 그 공식화는 요인 분석 및 혼합 모델을 위한 여러 초기 반복 방법을 통합했다. 1977년 논문은 통계학에서 가장 많이 인용된 논문 중 하나가 되었다. 수십 년 동안 EM은 천문학(은하 분포 추정), 경제학(소득 분포 모델링), 생물학(유전자 발현 클러스터링)과 같은 다양한 분야에 적용되었다. 그 단순성과 이론적 우아함은 Christopher Bishop 등의 저서를 포함한 기계 학습 및 통계 교과서의 표준 주제가 되었다. 심층 학습의 부상에도 불구하고 EM과 GMM은 명확한 잠재 구조와 중간 차원을 가진 문제, 특히 데이터 과학자 도구 상자의 필수 도구로 남아 있다.