모델 캘리브레이션은 머신러닝에서 중요한 측면으로, 모델이 예측한 신뢰도와 실제 정확도 사이의 정렬을 의미한다. 잘 캘리브레이션된 모델은 정확성의 가능성을 정확히 반영하는 확률 추정치를 생성한다. 예를 들어, 모델이 일련의 예측에 70%의 확률을 할당한다면, 해당 예측의 약 70%는 정확해야 한다. 캘리브레이션이 좋지 않으면 과신 또는 과소신뢢한 예측으로 이어질 수 있으며, 이는 의료 진단, 자율 주행, 금융 예측과 같은 고위험 애플리케이션에서 특히 문제가 된다.
캘리브레이션은 정확성과는 구별된다. 모델은 정확도가 높지만 캘리브레이션이 좋지 않을 수 있으며, 그 반대의 경우도 가능하다. 예를 들어, 항상 다수 클래스를 90%의 신뢰도로 예측하는 모델은 정확도가 높을 수 있지만, 실제 양성 비율이 50%에 불과하다면 캘리브레이션이 좋지 않을 수 있다. 반대로, 정확도가 낮은 모델도 신뢰도 점수가 실제 성능을 정확히 반영한다면 잘 캘리브레이션될 수 있다. 따라서 캘리브레이션은 특히 예측 확률에 기반한 결정을 내릴 때 모델 신뢰성을 평가하는 필수 지표이다.
캘리브레이션 측정
캘리브레이션을 정량화하는 데 사용되는 여러 지표가 있다. 가장 일반적인 것은 기대 캘리브레이션 오류(ECE)로, 구간별 신뢰도와 정확도 간의 가중 평균 차이를 계산한다. 모델의 예측은 신뢰도 점수에 따라 구간으로 그룹화되며, 각 구간 내 평균 신뢰도와 실제 정확도 간의 절대 차이가 계산된다. ECE가 낮을수록 캘리브레이션이 더 좋다는 것을 의미한다. 또 다른 지표는 브라이어 점수로, 예측 확률과 실제 결과 간의 평균 제곱 오차를 측정한다. 브라이어 점수는 캘리브레이션과 분해능을 결합하여 확률적 예측 품질에 대한 포괄적인 측정을 제공한다.
신뢰도 다이어그램은 캘리브레이션을 평가하는 시각적 도구이다. 이 플롯은 예측 신뢰도(x축)와 실제 정확도(y축) 간의 관계를 보여준다. 완벽하게 캘리브레이션된 모델은 대각선을 생성한다. 이 선에서 벗어나면 캘리브레이션 오류를 나타내며, 대각선 위의 점은 과소신뢢을, 아래의 점은 과신을 나타낸다.
캘리브레이션 오류의 원인
캘리브레이션 오류는 다양한 원인에서 발생할 수 있다. 특히 교차 엔트로피 손실로 훈련된 현대 딥 뉴럴 네트워크는 종종 과신을 보인다. 이러한 경향은 모델 용량, 훈련 기간, 정규화 기법 사용과 같은 요인에 의해 악화된다. 예를 들어, 많은 매개변수를 가진 대규모 데이터셋에서 훈련된 모델은 훈련 데이터를 암기하여 보지 못한 예제에 대해 과신적인 예측을 할 수 있다. 또한 데이터 불균형은 모델이 다수 클래스에 대해 과신하고 소수 클래스에 대해 과소신뢢하게 만들 수 있다.
또 다른 기여 요인은 분류 네트워크에서 소프트맥스 활성화의 사용이다. 소프트맥스 출력은 합이 1이 되고 확률로 해석될 수 있지만, 본질적으로 캘리브레이션되지는 않는다. 네트워크의 로짓이 소프트맥스를 통과할 때 실제 불확실성을 반영하지 않는 값을 생성할 수 있다. 이 문제는 명시적인 캘리브레이션 목표 없이 교차 엔트로피 손실을 최소화하도록 훈련되는 딥러닝 모델에서 특히 두드러진다.
캘리브레이션 기법
모델을 재훈련하지 않고 캘리브레이션을 개선하기 위해 여러 사후 처리 방법이 개발되었다. 가장 널리 사용되는 것은 온도 스케일링으로, 소프트맥스를 적용하기 전에 로짓을 조정하는 단일 스칼라 매개변수(온도)를 도입하는 간단하면서도 효과적인 기법이다. 온도는 검증 세트에서 음의 로그 우도 또는 ECE를 최소화하도록 최적화된다. 온도 스케일링은 모델의 정확도를 유지하면서 캘리브레이션을 개선하므로 실제로 널리 선택된다.
다른 방법으로는 모델 출력에 로지스틱 회귀를 적용하는 플랫 스케일링과 신뢰도 점수에서 캘리브레이션된 확률로의 비모수적 단조 매핑을 학습하는 등장 회귀가 있다. 등장 회귀는 온도 스케일링보다 더 유연하지만 검증 세트가 작으면 과적합될 수 있다. 다중 클래스 문제의 경우 행렬 스케일링과 벡터 스케일링은 로짓에 아핀 변환을 적용하여 온도 스케일링을 확장한다.
사후 처리 외에도 훈련 중에 캘리브레이션을 통합할 수 있다. 하드 레이블을 소프트 타깃으로 대체하는 라벨 스무딩과 같은 기법은 캘리브레이션을 개선하는 것으로 나타났다. 엔트로피 정규화 또는 포컬 손실과 같은 정규화 방법도 더 잘 캘리브레이션된 예측을 장려할 수 있다. 또한 여러 모델의 예측을 평균화하는 앙상블 방법은 분산 감소로 인해 더 잘 캘리브레이션된 출력을 생성하는 경향이 있다.
대규모 언어 모델에서의 캘리브레이션
GPT-4, Claude, Gemini와 같은 대규모 언어 모델(LLM)은 캘리브레이션을 AI 연구의 최전선으로 가져왔다. 이러한 모델은 질문 응답, 추론, 의사 결정 지원에 자주 사용되며, 여기서 신뢰도 점수가 중요하다. 그러나 LLM은 악명 높게 캘리브레이션이 좋지 않으며, 응답에서 자주 과신을 보인다. 예를 들어, 모델은 사실적으로 틀린 답변에 95%의 신뢰도를 주장할 수 있다.
LLM의 캘리브레이션을 개선하기 위해 여러 접근 방식이 제안되었다. 일반적인 방법 중 하나는 모델에게 자연어로 불확실성을 표현하도록 프롬프트하는 것, 예를 들어 신뢰도 수준을 진술하도록 요청하는 것이다. 그러나 이 접근 방식은 모델이 정확히 내성하지 못할 수 있으므로 신뢰할 수 없다. 또 다른 기법은 샘플링 기반 방법으로, 모델이 여러 응답을 생성하고 이러한 응답의 일관성을 신뢰도의 대리로 사용하는 것이다. 모델이 샘플 간에 유사한 답변을 생성하면 더 신뢰할 가능성이 높다.
온도 스케일링과 같은 사후 캘리브레이션 방법은 생성 중 소프트맥스 온도를 조정하여 LLM에도 적용할 수 있다. 그러나 이는 모델의 로짓에 대한 접근이 필요하며, API 기반 모델에서는 사용할 수 없을 수 있다. 이러한 모델의 경우 검증 세트에서 모델의 정확도를 평가하고 신뢰도 임계값을 그에 따라 조정하여 캘리브레이션을 수행할 수 있다.
애플리케이션 및 시사점
캘리브레이션은 안전이 중요한 영역에서 특히 중요하다. 예를 들어 의료 분야에서 질병의 확률을 예측하는 진단 모델은 임상의가 정보에 입각한 결정을 내릴 수 있도록 잘 캘리브레이션되어야 한다. 과신적인 예측은 진단 누락이나 불필요한 치료로 이어질 수 있다. 마찬가지로 자율 주행에서 객체 감지 모델은 충돌을 피하기 위해 신뢰할 수 있는 신뢰도 점수를 제공해야 한다. 금융에서 신용 점수 모델은 위험을 관리하기 위해 채무 불이행 확률을 정확히 추정해야 한다.
캘리브레이션은 모델 해석 가능성과 신뢰에도 역할을 한다. 사용자는 정확한 불확실성 추정치를 제공하는 모델을 더 신뢰할 가능성이 높다. 이는 인간이 개입할 시기를 결정하기 위해 모델 신뢰도에 의존하는 인간-루프 시스템에서 특히 관련이 있다. 캘리브레이션이 좋지 않으면 이러한 신뢰가 훼손되어 모델 예측에 대한 과신 또는 과소신뢢으로 이어질 수 있다.
또한 캘리브레이션은 불확실성 하에서의 의사 결정에 필수적이다. 예를 들어 강화 학습에서 에이전트는 다양한 행동의 성공 확률을 추정해야 한다. 캘리브레이션이 잘못된 에이전트는 과도한 위험을 감수하거나 지나치게 신중해져 성능을 저하시킬 수 있다. 따라서 캘리브레이션은 모든 머신러닝 시스템에서 정확성과 함께 평가되어야 하는 기본 속성이다.
과제 및 향후 방향
진보에도 불구하고 완벽한 캘리브레이션을 달성하는 것은 여전히 어려운 일이다. 모델은 종종 특정 데이터셋에서 캘리브레이션되며, 데이터 분포가 이동하면 캘리브레이션이 저하될 수 있다. 분포 변화 하에서 캘리브레이션을 유지하기 위해 도메인 적응 기법이 탐구되고 있다. 또한 ECE와 같은 캘리브레이션 지표는 구간 선택에 대한 민감성과 같은 한계가 있다. 연구자들은 이러한 문제를 해결하기 위해 클래스별 ECE 또는 적응형 캘리브레이션 오류와 같은 더 강력한 지표를 개발하고 있다.
또 다른 과제는 시퀀스나 그래프와 같은 구조적 예측을 출력하는 모델을 캘리브레이션하는 것이다. 예를 들어 기계 번역에서 번역된 문장에 대한 모델의 신뢰도는 단일 스칼라가 아니라 토큰에 대한 분포이다. 이러한 설정으로 캘리브레이션을 확장하는 것은 활발한 연구 영역이다.
향후 작업은 대규모 모델에 대해 계산적으로 효율적이고 확장 가능한 캘리브레이션 방법을 개발하는 데 초점을 맞출 수 있다. 또한 단순한 신뢰도 점수를 넘어서는 불확실성 정량화, 예를 들어 베이지안 뉴럴 네트워크와 딥 앙상블에 대한 관심이 증가하고 있다. 이러한 접근 방식은 더 풍부한 불확실성 추정치를 제공하지만 구현이 더 복잡한 경우가 많다.
요약하면, 모델 캘리브레이션은 신뢰할 수 있는 머신러닝의 핵심 구성 요소이다. 이는 모델의 신뢰도가 실제 정확도를 반영하도록 보장하여 더 안전하고 신뢰할 수 있는 AI 시스템을 가능하게 한다. AI가 중요한 애플리케이션에 계속 배포됨에 따라 캘리브레이션의 중요성은 더욱 커질 것이다.