머신러닝에서 보정(calibration)은 모델이 예측한 확률이 실제로 관찰된 사건의 빈도와 얼마나 일치하는지를 나타내는 정도를 의미한다. 완벽하게 보정된 모델은, 예를 들어 0.8의 신뢰도를 가진 모든 예측에 대해 사건이 80%의 경우에서 발생하는 모델이다. 이러한 속성은 정확도(accuracy)와는 구별된다. 모델은 정확도가 높지만 보정이 잘 안 될 수 있으며, 그 반대의 경우도 가능하다. 보정은 의학, 금융, 자율 주행과 같은 분야에서 특히, 확률적 출력을 의사 결정, 위험 평가, 불확실성 전달에 사용하는 모든 시스템에 있어 중요한 품질 지표이다.
이 개념은 확률적 예보가 오랫동안 표준 관행이었던 통계학과 기상학에 깊은 뿌리를 두고 있다. Machine learning의 맥락에서 보정은 모델이 단순한 클래스 레이블을 생성하는 것에서 확률 추정치를 생성하는 방식으로 전환되면서, 특히 Deep learning 및 Neural network 구조의 부상과 함께 두각을 나타내기 시작했다. 현대의 Large language model 및 기타 생성 시스템도 토큰 수준의 확률이 사실적 정확성이나 사용자 만족도의 실제 가능성을 반영하지 못하는 경우가 많아 보정 문제에 직면한다.
보정 곡선과 지표
보정을 시각화하는 주요 도구는 신뢰도 다이어그램(reliability diagram)이라고도 불리는 보정 곡선(calibration curve)이다. 이 플롯은 예측을 신뢰도(예: 0.0-0.1, 0.1-0.2, ...)에 따라 구간(bin)으로 나눈 다음, 각 구간 내에서 평균 예측 확률을 양성 결과의 실제 빈도와 대비하여 표시한다. 완벽하게 보정된 모델은 (0,0)에서 (1,1)로 이어지는 대각선을 생성한다. 이 대각선에서의 편차는 과신(예측 확률이 실제 빈도를 초과하는, 선 아래의 점) 또는 과소신뢰(선 위의 점)를 나타낸다.
여러 스칼라 지표가 보정 오차를 정량화한다. 가장 일반적인 것은 ECE(Expected Calibration Error)로, 구간(bin)별 정확도와 신뢰도 간의 절대 차이의 가중 평균을 계산한다. 관련 지표인 MCE(Maximum Calibration Error)는 최악의 구간 편차에 초점을 맞추며, 단일 과신 예측이 치명적일 수 있는 안전 중요 응용 분야에서 특히 관련이 있다. 또 다른 지표인 브라이어 점수(Brier score)는 보정과 세분화(refinement) 구성 요소로 분해되어 확률적 예측 품질에 대한 포괄적인 평가를 제공한다.
보정 곡선과 지표
보정을 시각화하는 주요 도구는 신뢰도 다이어그램(reliability diagram)이라고도 불리는 보정 곡선(calibration curve)이다. 이 그림은 예측을 신뢰도(예: 0.0-0.1, 0.1-0.2, ...)에 따라 구간으로 나눈 다음, 각 구간 내에서 평균 예측 확률을 양성 결과의 경험적 빈도와 대조하여 플롯한다. 완벽하게 보정된 모델은 (0,0)에서 (1,1)로 이어지는 대각선을 생성한다. 이 대각선에서의 편차는 과신(예측 확률이 실제 빈도를 초과하는, 선 아래의 점) 또는 과소신(선 위의 점)을 나타낸다.
여러 스칼라 지표가 보정 오류를 정량화한다. 가장 일반적인 것은 ECE(Expected Calibration Error)로, 구간별 정확도와 신뢰도 간의 절대 차이의 가중 평균을 계산한다. 관련 지표인 MCE(Maximum Calibration Error)는 최악의 구간 편차에 초점을 맞추며, 단일 과신 예측이 치명적일 수 있는 안전 중요 애플리케이션에서 특히 중요하다. 또 다른 지표인 브라이어 점수(Brier score)는 보정 및 세분화 구성 요소로 분해되어 확률적 예측 품질에 대한 포괄적인 평가를 제공한다.
보정 불량의 원인
보정 불량은 현대 머신러닝에 내재된 여러 요인에서 발생한다. 심층 신경망과 같은 과도하게 매개변수화된 모델은 훈련 데이터를 암기하고 노이즈에 적합할 수 있으므로 과신하는 경향이 있으며, 이로 인해 예측 확률이 지나치게 극단적으로 나타난다. 교차 엔트로피와 같은 손실 함수의 사용은 출력이 0 또는 1에 가까워지도록 장려하여 이러한 효과를 악화시킨다. 또한 Data Augmentation 기법과 Batch Normalization은 로짓의 분포를 왜곡하여 보정을 더욱 저하시킬 수 있다.
또 다른 중요한 원인은 분포 변화(distribution shift)이다. 훈련 분포에서 보정된 모델은 실제 애플리케이션에서 다른 분포의 데이터에 배포될 때 보정이 어긋날 수 있으며, 이는 실제 시나리오에서 흔히 발생한다. 예를 들어, 과거 금융 데이터로 훈련된 모델은 시장 체제 변화 중에 보정이 잘 안 될 수 있다. 모델 아키텍처의 복잡성도 역할을 한다. Residual Network (ResNet)와 Transformer (architecture) 기반 모델은 더 단순한 아키텍처와 다른 보정 속성을 보이는 경우가 많다.
보정 방법
보정을 개선하기 위해 다양한 사후 처리(post-hoc) 및 훈련 시점(training-time) 방법이 개발되었다. 가장 일반적인 사후 처리 기법은 Temperature Scaling으로, 소프트맥스 함수를 적용하기 전에 로짓(logit)을 온도 T로 나누는 방식이다. 이 매개변수는 검증 세트에서 음의 로그 우도를 최적화하여 학습된다. 온도 스케일링은 단순하고 효과적이며, 모델의 예측 클래스를 변경하지 않으면서 신뢰도만 조정한다. 이는 보정 연구의 표준 기준선이 되었다.
다른 사후 처리 방법으로는 로짓에 로지스틱 회귀를 적용하는 플랫 스케일링(Platt scaling)과 예측 확률을 경험적 빈도에 매핑하는 비모수적 접근법인 등장 회귀(isotonic regression)가 있다. 이러한 방법은 더 유연하지만 더 많은 데이터가 필요하며 정규화가 없으면 과적합될 수 있다. 다중 클래스 문제의 경우, 행렬 스케일링과 벡터 스케일링이 로짓 벡터에 대한 아핀 변환을 적용하여 이러한 아이디어를 확장한다.
훈련 시간 접근법은 보정을 학습 과정에 통합한다. 그러한 방법 중 하나는 라벨 스무딩(label smoothing)으로, 하드 0/1 라벨을 소프트 타깃으로 대체하여 모델이 과도한 확신을 갖지 않도록 방지한다. 또 다른 방법은 초점 손실(focal loss)로, 잘 분류된 예제의 가중치를 낮추어 모델이 더 어려운 사례에 집중하도록 유도하고 더 잘 보정된 확률을 생성한다. 가중치 감쇠(weight decay) 및 Dropout과 같은 정규화 기법도 과적합을 줄여 간접적으로 보정을 개선한다.
대규모 언어 모델의 보정
Large language model은 독특한 보정 문제를 제시한다. 이러한 모델은 토큰 단위로 텍스트를 생성하며, 개별 토큰에 할당된 확률은 생성된 응답의 사실적 정확성에 대한 신뢰도와 직접적으로 일치하지 않는다. 예를 들어, 모델은 높은 확률을 사실적으로는 틀리지만 일관된 문장을 형성하는 토큰 시퀀스에 할당할 수 있다. 이 현상은 종종 "환각(hallucination)"이라고 불리며, 보정 불량과 밀접하게 연관된다.
연구자들은 모델에게 자연어로 신뢰도를 표현하도록 요청하고(예: "저는 90% 확신합니다"), 이러한 언어화된 신뢰도를 경험적 정확도에 매핑하는 것을 포함한 다양한 LLM 보정 방법을 탐구해 왔다. 다른 접근 방식은 보정 목표에 대한 미세 조정이나 더 신뢰할 수 있는 불확실성 추정을 위한 모델 앙상블 사용을 포함한다. 그러나 LLM에서의 보정은 토큰 확률과 의미적 정확성 간의 관계가 완전히 이해되지 않았기 때문에 여전히 열린 연구 문제로 남아 있다.
응용 및 중요성
보정은 모델 신뢰도를 기반으로 결정을 내리는 위험도가 높은 도메인에서 중요하다. 의료 진단에서 질병의 90% 확률을 예측하는 모델은 90%의 경우에서 정확해야 한다. 그렇지 않으면 임상의가 잘못된 정보에 기반하여 판단할 수 있다. 자율 주행에서 장애물 존재에 대해 과신하는 인식 시스템은 제동 부족으로 이어질 수 있다. 금융에서는 보정된 확률이 위험 관리와 포트폴리오 최적화에 필수적이다.
강화 학습 및 순차적 의사 결정에서는 가치 추정과 행동 확률의 보정이 탐험-활용(exploration-exploitation) 트레이드오프에 영향을 미친다. 능동 학습(active learning)에서는 모델이 레이블링할 데이터 포인트를 선택할 때 보정된 불확실성 추정이 가장 정보가 풍부한 예시를 식별하는 데 사용된다. 마찬가지로 Model Pruning 및 모델 압축에서는 모델 크기 축소 후에도 신뢰할 수 있는 신뢰도 추정을 유지하기 위해 보정이 필요하다.
다른 개념과의 관계
보정은 다른 불확실성 정량화 개념과 밀접하게 관련되지만 구별된다. 알레토릭(aleatoric) 불확실성은 데이터의 내재적 무작위성을 의미하고, 인식론적(epistemic) 불확실성은 모델 매개변수에 대한 지식 부족에서 발생한다. 보정은 두 유형의 불확실성을 결합한 전체 예측 분포의 속성이다. 모델은 이러한 불확실성 원인을 개별적으로 분해하지 않으면서도 전반적으로 잘 보정될 수 있다.
평가 및 추가 읽을거리
보정을 평가하려면 홀드아웃 데이터셋이 필요하며, 보정 지표를 정확도와 함께 보고하는 것이 권장된다. 보정 오류를 줄이기 위한 다양한 방법과 이론적 배경에 대한 포괄적인 소개는 Chuan Guo 외(2017)의 논문 "On Calibration of Modern Neural Networks"를 참조할 수 있다. 또한, "Calibration and Sharpness"에 대한 Ali Rahimi 등의 연구는 이론적 통찰을 제공한다. 실용적인 지침은 scikit-learn 문서의 확률 보정 섹션에서 찾을 수 있다. 이 분야는 지속적으로 새로운 방법과 통찰을 생산하고 있으므로, 실무자는 최신 연구를 따라가는 것이 중요하다.
결론
보정은 확률적 머신러닝 모델의 기본 속성으로, 신뢰도 점수가 신뢰할 수 있도록 보장한다. 이는 정확도와 구별되며 측정과 개선을 위한 전용 방법이 필요하다. 단순한 사후 처리 스케일링부터 복잡한 훈련 시간 접근법까지, 좋은 보정을 달성하기 위한 다양한 기법이 존재한다. 모델의 능력이 향상되고 배포가 확대됨에 따라, 신뢰할 수 있는 불확실성 추정을 추구하는 것은 책임 있는 AI 개발의 핵심 요소로 남을 것이다.