경험적 위험 최소화(ERM)은 기계 학습의 핵심 원리로, 유한한 훈련 예제 집합에서 계산된 평균 손실을 최소화하여 예측 모델을 선택하도록 안내한다. 이는 관측된 데이터에 모델을 적합시키는 직관적인 아이디어를 공식화하며, 딥 러닝 및 기타 통계적 학습 접근법에서 사용되는 많은 알고리즘의 기반이 된다. 이 개념은 1960년대에 통계학자와 컴퓨터 과학자들, 특히 Vapnik과 Chervonenkis의 연구에서 명확히 표현되었으며, 그들은 ERM이 효과적인 시기를 이해하기 위한 이론적 프레임워크도 개발했다.
ERM에서 목표는 사전 정의된 가설 공간에서 훈련 데이터에 대한 손실 함수의 평균으로 정의되는 경험적 위험을 최소화하는 함수를 찾는 것이다. 이는 실제 데이터 분포에 대한 지식을 요구하는 기대 위험 최소화의 이상과 대조된다. 해당 분포는 알 수 없으므로 ERM은 훈련 샘플을 대리로 사용한다. 경험적 위험과 기대 위험의 차이는 통계적 학습 이론의 핵심 관심사이며, 이는 가설 공간의 복잡성과 훈련 예제 수에 의존하는 경계로 이어진다.
공식 정의
\(n\)개의 독립적이고 동일하게 분포된 샘플 \((x_i, y_i)\)로 구성된 훈련 집합, 실제 값이 \(y\)일 때 \(\hat{y}\)를 예측하는 비용을 측정하는 손실 함수 \(L(\hat{y}, y)\), 그리고 후보 함수의 가설 공간 \(\mathcal{H}\)가 주어졌을 때, 경험적 위험은 다음과 같다:
\[ R_{\text{emp}}(h) = \frac{1}{n} \sum_{i=1}^n L(h(x_i), y_i) \]
경험적 위험 최소화기는 모든 \(h \in \mathcal{H}\)에 대해 \(R_{\text{emp}}(h)\)를 최소화하는 가설 \(\hat{h}\)이다. 이는 유한 차원 최적화 문제이며, 현대 실무에서는 아담 최적화기 또는 기타 SGD 변형과 같은 반복적 방법을 사용하여 해결되는 경우가 많다.
역사적 배경
ERM의 공식화는 1960년대 Vladimir Vapnik과 Alexey Chervonenkis에 기인하며, 그들은 가설 공간의 용량을 특성화하기 위해 VC 차원 개념을 도입했다. 그들의 연구는 통계적 학습 이론의 기초를 마련했으며, 이는 ERM이 일관성 있는 조건, 즉 샘플 크기가 증가함에 따라 경험적 위험 최소화기가 가설 공간에서 가능한 최상의 모델에 접근하는 조건을 제공한다. 이 이론적 토대는 이후 교과서와 강의를 통해 기계 학습 커뮤니티에서 대중화되었으며, 여전히 이 분야의 초석으로 남아 있다.
다른 학습 원리와의 관계
ERM은 다른 학습 패러다임과 밀접하게 관련되어 있다. 예를 들어, 최대 우도 추정은 손실 함수가 음의 로그 우도일 때 ERM의 특수한 경우로 볼 수 있다. 가중치 감쇠와 같은 정규화 기법은 모델 복잡성을 제어하기 위해 페널티 항을 추가하여 ERM 목적 함수를 수정하며, 이는 훈련 데이터 적합과 일반화 사이의 절충으로 이어진다. 대조적으로, 베이즈 추론은 모델 매개변수를 확률 변수로 취급하고 데이터에 기반하여 신념을 업데이트하며, 이는 ERM을 통한 점 추정보다 더 포괄적인 접근법으로 볼 수 있다.
현대 딥 러닝에서 ERM은 신경망 모델, 특히 대규모 언어 모델에 사용되는 트랜스포머 기반 아키텍처의 기본 훈련 목표이다. 그러나 모델과 데이터의 엄청난 규모는 과적합 및 신중한 정규화의 필요성과 같은 실질적인 문제를 초래했다. 드롭아웃, 배치 정규화, 데이터 증강과 같은 기법은 일반 ERM이 달성하는 것 이상으로 일반화를 개선하기 위해 자주 사용된다.
실용적 고려 사항
실제로 ERM은 그래디언트 기반 최적화를 사용하여 구현된다. 손실 함수의 선택은 작업에 따라 달라진다: 회귀의 경우 평균 제곱 오차, 분류의 경우 교차 엔트로피와 같은 손실 함수가 일반적이다. 최적화 과정은 경험적 위험을 줄이기 위해 모델 매개변수를 반복적으로 업데이트하는 것을 포함하며, 종종 확률적 그래디언트 하강의 변형을 사용한다. 주요 하이퍼파라미터에는 학습률 스케줄로 조정할 수 있는 학습률과 배치 크기가 포함된다. 그래디언트 클리핑은 특히 순환 네트워크에서 그래디언트 폭발을 방지하기 위해 때때로 사용된다.
ERM의 주요 문제 중 하나는 과적합으로, 모델이 훈련 데이터에서는 잘 작동하지만 보이지 않는 데이터에서는 성능이 저하되는 현상이다. 이는 가설 공간이 샘플 크기에 비해 클 때 특히 두드러진다. 이를 완화하기 위해 실무자들은 정규화, 조기 중지, 교차 검증을 사용한다. 또 다른 우려는 ERM이 훈련 데이터가 실제 분포를 대표한다고 가정한다는 점이며, 이 가정이 위반되면 결과 모델이 편향될 수 있다.
이론적 통찰
통계적 학습 이론은 ERM의 일반화 오류에 대한 경계를 제공한다. 유한 가설 공간의 경우, 경험적 위험과 기대 위험의 차이는 Hoeffding 부등식을 사용하여 경계를 정할 수 있다. 무한 가설 공간의 경우 VC 차원이 중요한 역할을 한다. 이러한 경계는 일반적으로 가설 공간의 복잡성에 따라 증가하고 훈련 예제 수에 따라 감소한다. 그러나 현대 딥 러닝에서는 매개변수 수가 훈련 포인트 수를 초과하는 경우가 많지만 모델은 여전히 잘 일반화되며, 이는 새로운 이론적 조사를 촉발한 현상이다.
최근 연구는 과매개변수화된 모델이 ERM으로 훈련될 때 일반화할 수 있는 이유를 탐구하며, 암묵적 정규화 및 로터리 티켓 가설과 같은 개념으로 이어졌다. 이러한 통찰은 아직 완전한 이론을 생산하지 못했지만, 고전적 학습 이론과 현대 실무 사이의 격차를 강조한다.