Expected Calibration Error(ECE)는 모델의 신뢰도 예측의 보정 오류를 정량화하는 데 사용되는 지표입니다. 분류 작업에서 잘 보정된 모델은 예측 확률(신뢰도)이 실제 정확도 빈도와 일치해야 합니다. 예를 들어, 모델이 80%의 신뢰도를 할당한 모든 예측 중 약 80%는 정확해야 합니다. ECE는 예측을 구간(bin)으로 나누어 신뢰도와 정확도 간 절대 차이의 가중 평균을 측정하며, 값이 낮을수록 더 좋은 단일 스칼라 값을 제공합니다.
ECE는 과신 또는 과소신뢰 예측이 잘못된 의사 결정으로 이어질 수 있는 Machine learning 및 Artificial intelligence의 고위험 응용 분야에서 특히 중요합니다. 이는 과적합이나 복잡한 아키텍처 사용으로 인해 보정이 종종 불량한 Neural network 분류기, Deep learning 모델 및 Large language model을 평가하는 데 널리 사용됩니다.
공식 정의
ECE는 신뢰도 점수를 기준으로 예측을 M개의 동일한 간격의 구간으로 분할하여 계산합니다. 각 구간 B_m에 대해 평균 신뢰도(conf)와 평균 정확도(acc)가 계산됩니다. ECE는 이러한 평균 간 절대 차이의 가중 합이며, 가중치는 각 구간의 샘플 수에 비례합니다. 공식은 ECE = sum_{m=1}^{M} (|B_m| / N) * |acc(B_m) - conf(B_m)|이며, 여기서 N은 총 샘플 수입니다. 이 공식은 샘플이 더 많은 구간이 전체 오류에 더 많이 기여하도록 보장합니다.
구간 수 M의 선택은 하이퍼파라미터로, 실제로는 일반적으로 10 또는 15로 설정됩니다. 적응형 구간화 또는 커널 밀도 추정과 같은 대체 구간화 전략이 구간 너비에 대한 민감도를 줄이기 위해 제안되었지만, 고정 너비 구간화는 단순성과 해석 가능성으로 인해 표준으로 남아 있습니다.
머신 러닝에서의 보정
보정은 정확도와 구별됩니다. 모델은 신뢰도 점수가 실제 확률을 반영하지 않으면 정확도가 높아도 보정이 불량할 수 있습니다. 예를 들어, 이미지 분류에 학습된 Residual Network (ResNet)는 95%의 정확도를 달성할 수 있지만 많은 정확한 예측에 99%의 신뢰도를, 잘못된 예측에 70%의 신뢰도를 할당하여 높은 ECE를 초래할 수 있습니다. 반대로, 정확도가 낮은 모델도 신뢰도가 각 구간의 정확도와 일치하면 완벽하게 보정될 수 있습니다.
현대 Deep learning 모델, 특히 교차 엔트로피와 같은 Loss Functions로 학습된 모델은 과신하는 경향이 있습니다. 이 현상은 2017년 Chuan Guo와 동료들의 연구에서 체계적으로 문서화되었으며, 더 깊은 아키텍처와 더 나은 정확도가 종종 더 나쁜 보정과 상관관계가 있음을 보여주었습니다. 이 연구는 또한 사후 보정 방법으로 Temperature Scaling을 도입했으며, 이는 여전히 인기 있는 기준선으로 남아 있습니다.
다른 지표와의 관계
ECE는 여러 보정 지표 중 하나입니다. Brier 점수는 예측 확률과 이진 결과 간의 평균 제곱 오차를 측정하여 보정과 정제를 결합합니다. 신뢰도 다이어그램(reliability diagram)은 정확도를 신뢰도에 대해 플로팅하는 시각적 도구로, 보정 오류의 질적 관점을 제공합니다. ECE는 신뢰도 다이어그램을 단일 숫자로 요약하여 모델 비교를 쉽게 하지만, 보정 오류의 방향(과신 대 과소신뢰)에 대한 정보는 손실됩니다.
또 다른 관련 지표는 Maximum Calibration Error(MCE)로, 가중 평균이 아닌 구간 간 최대 절대 차이를 취합니다. MCE는 안전에 민감한 응용 분야와 같이 최악의 경우 보정이 중요한 경우 유용합니다. 그러나 ECE는 이상치에 대한 견고성으로 인해 연구 논문에서 더 일반적으로 보고됩니다.
대규모 언어 모델에서의 응용
Generative AI 및 Large language model의 부상과 함께 ECE는 자연어 처리 작업에서 보정을 평가하기 위해 적응되었습니다. OpenAI, Anthropic, Google DeepMind가 개발한 모델과 같은 모델은 종종 토큰 수준 확률을 생성하며, 이를 집계하여 답변에 대한 신뢰도 점수를 형성할 수 있습니다. 그러나 이러한 모델의 보정은 잘 보정된 확률을 명시적으로 장려하지 않는 목표로 학습되고 출력 공간이 방대하기 때문에 어렵습니다.
최근 연구에 따르면 대규모 언어 모델은 특히 사실적 질문 응답 작업에서 응답에 과신하는 경우가 많습니다. 연구자들은 보정 인식 목표로 미세 조정하거나 Reinforcement Learning from AI Feedback (RLAIF)(AI 피드백에서 강화 학습)를 사용하여 신뢰도를 정확도와 정렬하는 것과 같은 보정 개선 방법을 제안했습니다. ECE는 인간 평가 및 기타 확률적 지표와 함께 이러한 연구에서 평가 지표로 자주 사용됩니다.
보정 방법
ECE를 줄이기 위한 여러 기술이 존재합니다. Temperature Scaling은 softmax 함수를 적용하기 전에 로짓을 학습된 온도 매개변수로 나누는 사후 처리 방법입니다. 이는 모델의 예측을 변경하지 않지만 신뢰도 분포를 조정합니다. 다른 사후 방법에는 Top-P (Nucleus) Sampling 및 Top-K Sampling이 있으며, 주로 생성에 사용되지만 확률 분포를 변경하여 보정에도 영향을 줄 수 있습니다.
학습 중 방법에는 보정 오류를 페널티하는 손실 함수에 정규화 항을 추가하거나, Batch Normalization 및 Dropout을 보정을 암시적으로 개선하는 방식으로 사용하는 것이 포함됩니다. label-smoothing은 대상 분포를 부드럽게 하는 또 다른 일반적인 기술로, 정확도를 약간 희생하면서 종종 더 나은 보정으로 이어집니다. 신경망의 경우 Weight Initialization 및 Learning Rate Scheduling 선택도 보정에 영향을 줄 수 있지만, 그 효과는 덜 직접적입니다.
한계 및 비판
ECE에는 알려진 한계가 있습니다. 구간화 선택은 보고된 값에 크게 영향을 미칠 수 있으며, 다른 구간 수는 다른 결론으로 이어질 수 있습니다. 또한 ECE는 신뢰도 분포에 민감합니다. 대부분의 예측이 단일 구간에 속하면 지표가 덜 유익해집니다. 일부 연구자들은 이러한 문제를 해결하기 위해 클래스별 ECE 또는 정적 보정 오류와 같은 대체 지표를 제안했지만, 널리 채택되지는 않았습니다.
또 다른 비판은 ECE가 오분류 비용에 관계없이 모든 오류를 동등하게 취급한다는 것입니다. 의료 진단이나 자율 주행과 같은 응용 분야에서는 드물지만 중요한 클래스의 보정 오류 신뢰도가 일반적인 오류보다 더 해로울 수 있습니다. ECE는 이러한 비대칭성을 포착하지 않으므로 실무자는 도메인별 지표로 보완하는 경우가 많습니다.
실용적 고려 사항
ECE를 보고할 때 구간 수와 정확도 계산 방법을 지정하는 것이 중요합니다. 다중 클래스 문제의 경우 ECE는 일반적으로 각 클래스를 이진 문제로 취급하고 평균을 내거나 클래스 간 최대 신뢰도를 사용하여 계산됩니다. 실제로 scikit-learn 및 PyTorch와 같은 많은 라이브러리는 ECE 계산을 위한 내장 함수를 제공하지만 구현이 약간 다를 수 있으므로 결과를 비교할 때 주의해야 합니다.
ECE는 모델 선택 및 모니터링에도 사용됩니다. 예를 들어, Amazon Web Services 및 Google Cloud 머신 러닝 파이프라인에서 ECE를 시간에 따라 추적하여 모델 보정의 드리프트를 감지할 수 있습니다. 마찬가지로 Microsoft Azure 및 Oracle Cloud Infrastructure 배포에서 보정 지표는 데이터 분포가 변경됨에 따라 모델이 신뢰할 수 있는 상태를 유지하도록 보장하는 데 사용됩니다.
향후 방향
보정에 대한 연구는 특히 Transformer (architecture) 기반 모델 및 Multi-Head Attention 아키텍처의 맥락에서 계속 진행 중입니다. 새로운 방법은 지정된 커버리지 확률로 예측 집합을 생성하는 적합 예측(conformal prediction)과 같은 보정 보장을 제공하는 것을 목표로 합니다. 이러한 접근 방식은 ECE와 상호 보완적이며 더 견고한 불확실성 정량화를 제공할 수 있습니다.
Artificial intelligence 시스템이 더 중요한 영역에 배포됨에 따라 ECE와 같은 보정 지표의 중요성은 증가할 가능성이 높습니다. 표준화된 벤치마크와 보고 관행의 개발은 모델이 정확할 뿐만 아니라 신뢰도 추정에서 신뢰할 수 있도록 보장하는 데 도움이 될 것입니다.