머신러닝에서의 불확실성 추정은 모델 예측의 신뢰도를 정량화하는 과정을 의미한다. 이는 데이터 내재적 무작위성에서 비롯되는 우연적 불확실성과 모델 지식 부족에서 발생하는 인식론적 불확실성을 구분한다. 이러한 구분은 의료 진단, 자율 주행, 금융 예측처럼 모델 출력에 의존하는 결정이 필요한 응용 분야에서 중요하다. 불확실성을 추정함으로써 시스템은 낮은 신뢰도의 예측을 표시하고, 인간 검토를 유발하거나 그에 따라 동작을 조정할 수 있다.
이 개념은 오랫동안 계산 과학 및 공학에서 사용되어 온 불확실성 정량화(UQ)라는 더 넓은 분야에서 비롯되었다. UQ는 종종 통계적 및 확률적 방법을 사용하여 계산 모델과 실제 실험 모두의 불확실성을 특성화하는 것을 목표로 한다. 머신러닝에서 불확실성 추정은 모델이 종종 과신하고 제대로 보정되지 않는 딥러닝의 부상과 함께 두드러지게 되었다. 기법은 베이지안 신경망부터 앙상블 방법 및 보정 절차에 이르기까지 다양하다.
불확실성의 원천
머신러닝 모델의 불확실성은 전통적인 UQ의 그것과 유사하게 여러 원천에서 발생할 수 있다. 매개변수 불확실성은 제한된 데이터에서 추정된 신경망의 가중치처럼 모델 매개변수가 정확히 알려지지 않을 때 발생한다. 매개변수적 불확실성은 인식 작업의 센서 노이즈 같은 입력 변수의 변동성에서 비롯된다. 구조적 불확실성(모델 부적합성이라고도 함)은 모델 아키텍처나 가정이 실제 함수를 완벽하게 포착하지 못할 때 발생한다. 알고리즘적 불확실성은 확률적 경사 하강법이나 유한 정밀도 산술 같은 훈련 또는 추론의 수치적 근사에서 비롯된다. 실험적 불확실성은 훈련 데이터 레이블의 노이즈를 반영하며, 보간 불확실성은 훈련 분포에서 멀리 떨어진 입력에 대해 예측할 때 발생한다.
우연적 불확실성과 인식론적 불확실성
머신러닝에서 가장 일반적인 분류 체계는 불확실성을 두 가지 범주로 나눈다. 라틴어 'alea'(주사위)에서 유래한 우연적 불확실성은 데이터에 내재된 줄일 수 없는 무작위성이다. 예를 들어, 이미지 분류에서 두 개의 동일한 이미지가 레이블 오류나 모호한 내용으로 인해 다른 레이블을 가질 수 있다. 이 불확실성은 더 많은 데이터를 수집해도 줄일 수 없다. 그리스어 'episteme'(지식)에서 유래한 인식론적 불확실성은 모델이나 데이터에 대한 지식 부족으로 인한 줄일 수 있는 불확실성이다. 이는 더 많은 훈련 데이터를 수집하거나, 모델 아키텍처를 개선하거나, 더 나은 추론 방법을 사용함으로써 감소시킬 수 있다. 실제로 두 유형은 종종 공존하며, 이를 분리하는 것이 불확실성 추정의 핵심 목표이다.
베이지안 방법
베이지안 추론은 인식론적 불확실성 추정을 위한 원칙적인 프레임워크를 제공한다. 베이지안 신경망에서는 단일 가중치 집합을 학습하는 대신, 훈련 데이터가 주어졌을 때 가중치에 대한 사후 분포를 계산한다. 이 사후 분포는 매개변수 불확실성을 포착하며, 예측은 이 분포에 대해 적분하여 이루어진다. 그러나 현대 심층 신경망에 대한 정확한 베이지안 추론은 계산이 불가능하므로 근사가 사용된다. 변분 추론은 사후 분포를 더 간단한 분포로 근사하는 반면, 마르코프 연쇄 몬테카를로(MCMC) 방법은 사후 분포에서 샘플링한다. 일반적인 정규화 기법인 드롭아웃은 2016년 Yarin Gal이 보여준 것처럼 베이지안 근사로 해석될 수 있으며, 아키텍처 변경 없이 기존 모델에서 불확실성 추정을 가능하게 한다.
앙상블 방법
앙상블 방법은 명시적 베이지안 추론에 대한 실용적인 대안을 제공한다. 다른 초기화나 데이터 부분 집합으로 여러 모델을 훈련함으로써, 예측 간의 분산은 인식론적 불확실성의 추정치를 제공한다. 2017년 Balaji Lakshminarayanan 등이 도입한 딥 앙상블은 잘 보정된 불확실성 추정치를 생성하고 단일 모델보다 우수한 성능을 보이는 것으로 입증되었다. 앙상블 구성원의 예측 분포는 불확실성을 나타내는 반면, 평균 예측은 최종 출력으로 사용된다. 앙상블은 단순성과 효과성 때문에 실제로 널리 사용되지만, 추가 계산 비용이 필요하다.
보정 및 평가
불확실성 추정은 잘 보정된 경우에만 유용하며, 이는 예측 확률 0.8이 80%의 경우에 정확해야 함을 의미한다. 보정은 일반적으로 신뢰도 다이어그램과 기대 보정 오차(ECE) 같은 지표를 사용하여 측정된다. 현대 신경망은 특히 교차 엔트로피 손실과 배치 정규화 같은 기법으로 훈련될 때 종종 잘못 보정된다. 온도 스케일링은 사후 보정 방법으로, 정확도를 변경하지 않고 소프트맥스 온도를 조정하여 보정을 개선한다. 다른 방법으로는 플랫 스케일링과 등장 회귀가 있다. 불확실성 추정 평가에는 브라이어 점수, 음의 로그 우도, 신뢰 구간의 범위 같은 지표도 포함된다.
딥러닝 응용
불확실성 추정은 안전이 중요한 응용 분야에서 중요하다. 자율 주행에서 Waymo와 Tesla Autopilot 같은 시스템은 센서 데이터에 의존할지 또는 인간 개입을 요청할지 결정할 때 불확실성을 사용한다. 의료 영상에서 불확실성은 방사선 전문의가 검토할 사례의 우선순위를 정하는 데 도움을 준다. 자연어 처리에서 OpenAI와 Anthropic 같은 대규모 언어 모델은 응답에서 불확실성을 표현할 수 있지만, 보정은 여전히 과제로 남아 있다. 불확실성은 모델이 레이블링을 위해 가장 불확실한 샘플을 선택하는 능동 학습과 탐색을 안내하는 강화 학습에서도 역할을 한다.
과제 및 향후 방향
진전에도 불구하고 딥러닝에서의 불확실성 추정은 여러 과제에 직면해 있다. 확장성은 베이지안 방법과 앙상블이 계산 비용이 많이 들기 때문에 주요 문제이다. 적대적 예제는 불확실성 추정을 속여 과신하게 만들 수 있다. 훈련 데이터와 다른 테스트 데이터가 발생하는 분포 이동은 특히 탐지하기 어렵다. 연구는 앙상블과 베이지안 근사를 결합한 하이브리드 접근 방식과 모델 선택 및 의사 결정에 불확실성을 사용하는 방법을 탐구하고 있다. 모델이 더 중요한 영역에 배포됨에 따라 강건한 불확실성 추정은 점점 더 중요해질 것이다.