최대우도추정(MLE)은 통계학에서 확률분포의 알려지지 않은 매개변수를 추정하는 기본적인 방법이다. 핵심 아이디어는 가정된 통계 모형 하에서 관측된 데이터를 가장 그럴듯하게 만드는 매개변수 값을 선택하는 것이다. 이는 매개변수의 함수로서 주어진 데이터를 관측할 확률을 나타내는 우도 함수를 구성하고, 이 함수를 최대화하는 매개변수 값을 찾는 방식으로 이루어진다. MLE는 일치성과 효율성 같은 바람직한 성질 덕분에 기계 학습, 계량경제학, 인공지능 등 여러 분야에서 널리 적용된다.
이 개념은 20세기 초 로널드 피셔 경이 처음 개발했으며, 카를 프리드리히 가우스 등 이전 학자들의 연구를 바탕으로 삼았다. 피셔는 1912년 논문에서 이 방법을 공식적으로 소개했고, 이후 출판물에서 이를 확장하여 이론적 토대를 확립했다. 이 방법은 1920년대와 1930년대에 통계적 추론의 초석으로 부상했으며, 고전적 및 현대적 데이터 분석 모두에서 표준 도구로 남아 있다.
수학적 공식화
확률밀도함수(또는 질량함수) \(f(x; \theta)\)를 갖는 확률분포에서 추출된 독립적이고 동일하게 분포된 관측값 \(x_1, x_2, \ldots, x_n\)이 주어졌을 때, 여기서 \(\theta\)는 알려지지 않은 매개변수 벡터이며, 우도 함수는 다음과 같이 정의된다:
\[ L(\theta) = \prod_{i=1}^n f(x_i; \theta) \]
실제로는 우도의 자연로그를 사용하는 것이 더 편리한 경우가 많다. 이를 로그우도라고 하며, 곱을 합으로 변환하고 미분을 단순화하기 때문이다:
\[ \ell(\theta) = \log L(\theta) = \sum_{i=1}^n \log f(x_i; \theta) \]
최대우도추정값 \(\hat{\theta}\)은 \(\ell(\theta)\)를 최대화하는 \(\theta\)의 값이며, 일반적으로 \(\theta\)에 대한 로그우도의 도함수를 0으로 설정하고 결과 방정식을 풀어 찾는다. 많은 일반적인 분포에서는 닫힌 형태의 해가 존재하지만, 다른 경우에는 경사 상승법이나 뉴턴-랩슨 알고리즘과 같은 수치 최적화 방법이 필요하다.
성질 및 정당성
MLE 추정량은 특정 정규성 조건이 충족될 때 여러 바람직한 점근적 성질을 갖는다. 이들은 일치성을 가지며, 즉 표본 크기가 증가함에 따라 추정값이 확률적으로 실제 매개변수 값에 수렴한다. 또한 점근적으로 정규성을 가지며, 추정량의 분포가 실제 매개변수를 중심으로 한 정규분포에 접근하고, 크라메르-라오 하한이 설명하는 최저 분산을 달성하는 점근적 효율성을 갖는다. 이러한 성질 덕분에 MLE는 많은 통계적 응용에서 선호되는 선택이다.
그러나 MLE는 유한 표본에서 편향될 수 있으며, 그 성능은 가정된 모형의 정확성에 달려 있다. 모형이 잘못 지정되면 추정값이 일치하지 않을 수 있다. 또한 매개변수가 많은 복잡한 모형에서는 우도 표면에 여러 국소 최대값이 존재할 수 있어 신중한 최적화 전략이 필요하다.
기계 학습에서의 응용
기계 학습에서 MLE는 많은 지도 및 비지도 학습 알고리즘의 기초 역할을 한다. 예를 들어, 로지스틱 회귀는 관측된 이진 결과의 우도를 최대화하여 계수를 추정한다. 마찬가지로 신경망 훈련은 종종 최대우도 원리를 사용하며, 손실 함수는 모형의 출력 분포 하에서 데이터의 음의 로그우도에 해당한다. 소프트맥스 출력을 사용하는 분류 작업에서는 이는 교차 엔트로피 손실을 최소화하는 것과 동일하다.
심층 학습에서 MLE는 생성형 AI 시스템을 포함한 생성 모형 훈련의 기반이 된다. 변분 오토인코더와 정규화 흐름은 우도 또는 그 하한을 명시적으로 최대화한다. 오픈AI와 앤트로픽이 개발한 대규모 언어 모형은 다음 토큰 예측 작업에서 최대우도추정을 사용하여 훈련되며, 목표는 관측된 토큰 시퀀스의 확률을 최대화하는 것이다.
확장 및 변형
MLE의 한계를 해결하기 위한 여러 확장이 있다. 최대사후확률(MAP) 추정은 사전 정보를 통합하여 사후 분포를 최대화하며, 이는 우도 곱하기 사전 확률에 비례한다. 릿지 또는 라쏘 회귀와 같은 페널티 우도 방법은 과적합을 방지하기 위해 로그우도에 정규화 항을 추가한다. 기대값 최대화(EM) 알고리즘은 잠재 변수가 있는 모형을 처리하며, 기대값을 계산하고 우도를 최대화하는 두 단계 과정을 반복한다.
베이즈 접근법은 MLE와 구별되지만 종종 우도 함수를 구성 요소로 사용한다. 점 추정을 제공하는 MLE와 달리 베이즈 추론은 매개변수에 대한 완전한 사후 분포를 제공한다. 이러한 차이에도 불구하고 MLE는 균등 사전 확률을 사용하는 베이즈 추정의 특수한 경우로 볼 수 있다.
역사적 발전
이 방법의 기원은 18세기로 거슬러 올라가며, 다니엘 베르누이와 이후 가우스가 특정 문제에 유사한 아이디어를 사용했다. 그러나 일반적인 프레임워크를 공식화한 것은 로널드 피셔였으며, 1912년 논문 "주파수 곡선 적합을 위한 절대 기준에 관하여"에서였다. 피셔의 1920년대 후속 연구는 우도 원리와 최대우도 추정량의 성질을 확립했다. 이 방법은 1922년 그의 영향력 있는 논문 "이론 통계학의 수학적 기초에 관하여"가 출판된 후 널리 채택되었다. 이후 MLE는 통계학 교육과정의 표준 주제이자 과학 연구의 실용적 도구가 되었다.
계산적 고려 사항
많은 실제 응용에서 우도 함수는 해석적 최대화가 너무 복잡하다. 경사 기반 방법과 같은 수치 최적화 기법이 사용된다. 기계 학습 프레임워크에서 자동 미분은 매개변수에 대한 로그우도의 기울기를 효율적으로 계산할 수 있게 하여 수백만 개의 매개변수를 가진 모형의 확장 가능한 훈련을 가능하게 한다. GPU 및 AWS 트레이니엄 칩과 같은 특수 하드웨어는 이러한 계산을 가속화하여 대규모 모형의 MLE 기반 훈련을 실현 가능하게 한다.
오래된 방법임에도 불구하고 MLE는 여전히 활발한 연구 분야로, 강건 추정, 고차원 설정, 정보 이론과의 연결에 대한 지속적인 연구가 진행 중이다. 그 단순성과 이론적 보장 덕분에 통계학과 현대 인공지능 모두에서 계속 관련성을 유지하고 있다.