교정 오차(Calibration error)는 머신 러닝 모델의 예측 신뢰도 점수가 실제 정확도와 얼마나 일치하는지를 정량화하는 지표이다. 완벽하게 교정된 모델에서 80%의 신뢰도로 결과를 예측할 때, 그 결과는 약 80%의 확률로 발생해야 한다. 교정 오차는 확률적 예측의 신뢰성을 평가하는 데 필수적이며, 특히 의료 진단, 자율 주행, 금융 예측과 같은 고위험 응용 분야에서 중요하다. 교정이 불량하면 과신 또는 과소신 예측으로 이어져 Artificial intelligence 시스템에 대한 신뢰를 훼손할 수 있다.
교정의 개념은 통계학과 기상학에서 유래했으며, 예보관들은 오랫동안 확률 추정치를 관측된 빈도와 일치시키기 위해 노력해 왔다. 현대 머신 러닝에서 교정은 Deep learning 모델, 특히 Neural network이 체계적인 교정 오류를 보이면서 주목받게 되었다. 연구자들은 분류 작업에서 훈련된 심층 네트워크가 종종 과신 예측을 생성한다는 것을 발견했는데, 이는 신뢰도 점수가 실제 정확도보다 높다는 것을 의미한다. 이러한 현상은 Large language model과 같은 크고 복잡한 모델에서 특히 두드러지며, 이 모델들은 높은 신뢰도로 유창하지만 부정확한 응답을 생성할 수 있다.
교정 오차 측정
교정 오차의 가장 일반적인 지표는 기대 교정 오차(Expected Calibration Error, ECE)이다. ECE는 신뢰도 점수를 기반으로 예측을 구간(bin)으로 나누고 각 구간 내 정확도와 신뢰도 간 절대 차이의 가중 평균을 계산한다. N개의 예측 데이터셋에서 각 예측이 신뢰도 p_i와 정확성 c_i(정확하면 1, 아니면 0)를 가질 때, ECE는 다음과 같이 계산된다:
ECE = Σ_{m=1}^{M} (|B_m| / N) * |acc(B_m) - conf(B_m)|
여기서 M은 구간 수, B_m은 구간 m의 예측 집합, acc(B_m)은 평균 정확성, conf(B_m)은 평균 신뢰도이다. ECE가 낮을수록 교정이 더 좋다는 것을 나타낸다. 또 다른 지표인 최대 교정 오차(Maximum Calibration Error, MCE)는 구간 간 최악의 편차를 포착하며, 단일 과신 예측이 위험할 수 있는 경우에 유용하다.
교정은 신뢰도 다이어그램(reliability diagram)을 통해 시각화할 수도 있는데, 이는 정확도를 신뢰도에 대해 플롯한다. 완벽하게 교정된 모델은 대각선을 생성한다. 대각선 위의 편차는 과신을 나타내고, 아래의 편차는 과소신을 나타낸다.
교정 오류의 원인
현대 모델에서 교정 오차에 기여하는 여러 요인이 있다. 심층 네트워크에서 흔한 과매개변수화(overparameterization)는 모델이 훈련 데이터를 암기하게 하여 보지 못한 예제에 대해 과신 예측을 초래한다. Loss Functions과 같은 교차 엔트로피 사용은 모델이 정확한 클래스의 확률을 증가시키도록 장려하며, 종종 신뢰도 점수를 1로 밀어 올린다. 또한 불균형 데이터셋에서 훈련하면 교정이 왜곡될 수 있으며, 모델이 다수 클래스에 대해 과신하게 될 수 있다.
Large language model에서 교정은 생성 작업의 특성으로 인해 더욱 복잡해진다. 이 모델들은 토큰 확률을 생성하지만, 전체 응답에 대한 신뢰도는 직접적으로 제공되지 않는다. 연구자들은 종종 생성된 시퀀스의 확률이나 모델의 자체 보고된 확신도를 사용하지만, 이러한 측정은 교정이 잘 안 될 수 있다. 훈련 데이터의 방대한 규모와 작업의 다양성 또한 도메인 전반에 걸쳐 일관된 교정을 유지하기 어렵게 만든다.
교정 기법
교정을 개선하기 위해 여러 방법이 개발되었다. 사후 교정(post-hoc calibration) 방법은 모델 가중치를 수정하지 않고 훈련 후 모델의 출력을 조정한다. 가장 널리 사용되는 방법은 온도 스케일링(temperature scaling)으로, Temperature Scaling의 변형으로 소프트맥스 함수를 적용하기 전에 로짓을 학습된 스칼라 온도로 나눈다. 온도 스케일링은 간단하고 효과적이며 모델의 예측 클래스를 변경하지 않고 신뢰도만 변경한다. 많은 Neural network 아키텍처에서 ECE를 크게 줄이는 것으로 입증되었다.
다른 사후 방법으로는 모델 출력에 로지스틱 회귀를 적용하는 Platt 스케일링과 비모수 단조 함수를 피팅하는 등장 회귀(isotonic regression)가 있다. 이러한 방법은 이진 분류에 특히 유용하지만 다중 클래스 설정으로 확장할 수 있다.
훈련 중에는 라벨 스무딩(label smoothing)과 같은 정규화 기법을 사용하여 교정을 개선할 수 있는데, 이는 대상 분포를 부드럽게 하고 모델이 과도하게 확신하는 것을 방지한다. Data Augmentation과 Batch Normalization도 일부 설정에서 교정에 긍정적인 영향을 미치는 것으로 관찰되었다. Large language model의 경우 인간 피드백 기반 강화 학습(RLHF)과 같은 기법이 모델의 신뢰도를 인간 판단과 정렬함으로써 교정을 간접적으로 개선할 수 있지만, 이는 보장되지 않는다.
대규모 언어 모델에서의 교정
OpenAI, Anthropic, Google DeepMind에서 개발된 Large language model은 종종 교정 오류를 보인다. 예를 들어, 모델은 사실적 질문에 높은 신뢰도로 답변할 수 있지만 틀릴 수 있다. 이는 사용자가 결정을 내리기 위해 모델의 확신에 의존할 수 있기 때문에 특히 우려된다. 연구에 따르면 더 큰 모델이 반드시 더 잘 교정되는 것은 아니며, 어떤 경우에는 확장이 과신 증가로 인해 교정을 악화시킬 수 있다.
LLM의 교정을 개선하기 위해 여러 접근 방식이 제안되었다. 한 가지 방법은 "확실하지 않습니다" 또는 "70% 확신합니다"와 같은 자연어로 불확실성을 표현하도록 모델에 요청하는 것이다. 그러나 모델은 이러한 지시를 안정적으로 따르지 않을 수 있다. 또 다른 접근 방식은 평균 토큰 확률과 같은 모델의 내부 확률을 신뢰도 점수로 사용하는 것이지만, 이는 긴 응답에 대해 오해를 불러일으킬 수 있다. 일부 연구는 교정 중심 데이터셋에 대한 미세 조정이나 모델 앙상블 사용이 교정을 개선할 수 있다고 발견했다.
응용 및 시사점
교정 오차는 다양한 도메인에서 중요한 시사점을 가진다. 의료에서 질병 위험을 예측하는 AI 시스템은 임상의가 정보에 입각한 결정을 내릴 수 있도록 잘 교정된 확률을 가져야 한다. 자율 주행에서 장애물 감지에 대한 인식 시스템의 신뢰도는 안전에 영향을 미친다. 금융에서 신용 위험 모델은 금리를 설정하기 위해 정확한 확률 추정치가 필요하다. 교정이 불량하면 모델이 잘못된 예측에 과신하여 보행자를 감지하지 못하는 자율 주행 차량과 같은 치명적인 결과를 초래할 수 있다.
Generative AI의 맥락에서 교정은 신뢰 구축에 중요하다. 챗봇과 가상 비서 사용자는 모델이 불확실할 때를 알아야 한다. 교정이 잘못된 모델은 높은 신뢰도로 잘못된 정보를 퍼뜨려 피해를 증폭시킬 수 있다. 따라서 교정은 AI 안전 및 신뢰성 연구의 활발한 영역이다.
과제 및 향후 방향
진전에도 불구하고 교정은 여전히 어려운 문제로 남아 있다. 온도 스케일링과 같은 사후 방법은 로짓과 확률 사이의 고정된 관계를 가정하지만, 이는 다양한 데이터 분포에서 유지되지 않을 수 있다. 분포 외 데이터에 대한 교정은 특히 어렵다. 모델은 훈련 중에 보지 못한 입력에 대해 과신하는 경향이 있기 때문이다. 연구자들은 불확실성 정량화 기법을 사용하여 분포 이동 하에서 모델을 교정하는 방법을 탐구하고 있다.
Large language model의 경우 교정은 개방형 생성에 사용되며 정확성의 개념이 모호하기 때문에 복잡하다. "정확한" 응답을 정의하는 것이 항상 명확하지 않아 교정을 측정하기 어렵다. 향후 연구는 작업별 교정 지표와 모델의 맥락에 적응할 수 있는 방법 개발에 초점을 맞출 수 있다.
또 다른 방향은 교정을 훈련 과정 자체에 통합하는 것이다. 교정을 사후 수정으로 취급하는 대신, 모델은 교정 오류를 명시적으로 페널티하는 목표로 훈련될 수 있다. 이는 본질적으로 교정된 모델로 이어져 추가 단계의 필요성을 줄일 수 있다.
결론
교정 오차는 AI 시스템의 신뢰성을 평가하는 기본 지표이다. 이는 모델의 신뢰도와 실제 정확도 간의 정렬을 측정하며, 신뢰할 수 있는 의사 결정에 필수적이다. 현대 모델, 특히 심층 네트워크와 대규모 언어 모델은 종종 교정 오류를 겪지만, 이 문제를 완화하는 다양한 기법이 존재한다. AI가 중요한 도메인에 계속 배포됨에 따라 좋은 교정을 보장하는 것은 연구자와 실무자 모두에게 핵심 우선순위로 남을 것이다.