기본율(base rate)은 특정 사례나 증거와 무관하게, 관련 참조 모집단 내에서 사건, 속성 또는 범주의 기본 빈도 또는 확률을 의미한다. 확률론과 통계학에서 기본율은 베이즈 추론에서 사전 확률로 작용하며, 새로운 데이터를 고려하기 전 결과의 가능성에 대한 초기 신념을 나타낸다. 예를 들어, 질병이 인구의 1%에 영향을 미친다면 그 1%가 해당 질병의 기본율이다. 기본율은 의학, 금융, 머신러닝, 인지심리학과 같은 분야에서 근본적이며, 정확한 판단을 위해서는 사전 확률과 사례별 정보를 결합해야 한다.
기본율 무시(base rate neglect)는 개인이 구체적이고 생생하거나 최근의 정보를 과대평가하고 더 넓은 통계적 맥락을 과소평가하는 잘 문서화된 인지 편향이다. 이 현상은 심리학자 대니얼 카너먼(Daniel Kahneman)과 아모스 트버스키(Amos Tversky)가 1970년대에 유명한 택시 사고 시나리오와 같은 문제를 포함한 실험을 통해 체계적으로 연구했으며, 참가자들은 종종 목격자 신뢰도를 선호하여 택시 색상의 기본율을 무시했다. 이 편향은 많은 영역에서 지속되어 의학적 진단, 법적 판단, 채용 결정에서 오류를 초래한다. 기본율을 이해하는 것은 예측을 보정하고 추론에서 체계적 오류를 피하는 데 필수적이다.
베이즈 추론과 기본율
베이즈 통계에서 기본율은 증거 B를 관찰하기 전 가설 A의 사전 확률 P(A)이다. 베이즈 정리는 이 사전 확률을 우도 P(B|A)와 주변 확률 P(B)을 사용하여 사후 확률 P(A|B)로 갱신한다. 공식은 다음과 같다: P(A|B) = [P(B|A) * P(A)] / P(B). 기본율이 극단적일 때, 우도가 강하더라도 사후 확률을 지배할 수 있다. 예를 들어, 기본율이 1%인 질병에 대해 민감도 99%, 특이도 99%인 검사는 양성 예측값이 약 50%에 불과하며, 이는 양성 검사 결과가 절반만 정확함을 의미한다. 이 직관에 반하는 결과는 진단 추론에 기본율이 반드시 포함되어야 하는 이유를 강조한다.
머신러닝에서의 기본율
Machine learning에서 기본율은 분류 문제의 클래스 사전 확률로 나타난다. 인스턴스의 99%가 한 클래스에 속하는 데이터셋은 해당 클래스에 대해 높은 기본율을 가지며, 항상 다수 클래스를 예측하는 모델은 의미 있는 패턴을 학습하지 않고도 높은 정확도를 달성할 수 있다. 이 문제는 클래스 불균형 문제로 알려져 있다. 리샘플링, 비용 민감 학습, 결정 임계값 조정과 같은 기법이 기본율 효과를 완화하는 데 사용된다. Deep learning 및 Neural network 훈련에서 크로스 엔트로피와 같은 손실 함수는 클래스 사전 확률을 암묵적으로 포함하며, 실무자는 모델 출력을 실제 기본율에 맞게 보정하는 경우가 많다. 예를 들어, 사기 거래가 드문(낮은 기본율) 사기 탐지에서 모델은 정밀도와 재현율의 균형을 맞추기 위해 조정되어야 하며, 종종 정확도 대신 정밀도-재현율 곡선을 사용한다.
인지 편향과 기본율 무시
기본율 무시는 대표성 휴리스틱의 한 형태로, 사람들이 통계적 빈도보다 유사성으로 확률을 판단하는 경우이다. 고전 연구에서 참가자들은 수줍고 단정한 사람에 대한 설명을 듣고 그 사람이 사서인지 농부인지 더 가능성이 높은지 질문받았다. 대부분은 농부의 인구 기본율이 훨씬 높음에도 불구하고 사서를 선택했다. 이 편향은 문화 전반에 걸쳐 견고하며 기본율이 명시적으로 제공되어도 지속된다. 연구자들은 기본율을 백분율 형식보다 빈도 형식(예: "1000명 중 10명")으로 제시하면 무시가 줄어들고, 참조 클래스를 더 구체적으로 만들면 줄어든다는 것을 발견했다. 법적 맥락에서 검사와 배심원은 DNA 증거나 목격자 증언을 평가할 때 기본율 무시에 빠지는 경우가 많아 오심을 초래한다.
의학과 금융에서의 응용
의학에서 기본율은 선별 검사 해석에 중요하다. 기본율이 낮은 상태의 경우, 매우 정확한 검사라도 많은 위양성을 생성하여 불필요한 불안과 절차를 초래한다. 예를 들어, 50세 미만 여성의 유방암 정기 유방촬영술은 질병 기본율이 낮아 위양성률이 더 높다. 금융에서 기본율은 위험 평가와 포트폴리오 배분에 정보를 제공한다. 신용 점수 모델은 다양한 차주 세그먼트의 과거 부도율(기본율)을 사용하여 이자율과 신용 한도를 설정한다. 보험사는 보험료를 책정하고 준비금을 적립하기 위해 보험계리 기본율에 의존한다. 두 분야 모두에서 기본율을 고려하지 않으면 금융 위기 동안 시스템적 위험을 과소평가하는 것과 같은 치명적인 오판으로 이어질 수 있다.
AI 시스템에서의 기본율
Artificial intelligence 및 Generative AI에서 기본율은 모델 동작과 평가에 영향을 미친다. 인터넷 텍스트로 훈련된 대규모 언어 모델은 언어 패턴의 기본율을 상속하며, 훈련 데이터가 편향되면 편향된 출력으로 이어질 수 있다. 예를 들어, 모델은 특정 직업을 특정 성별과 연관시킬 수 있는데, 이는 해당 연관이 말뭉치에서 더 빈번하기 때문이다. 연구자들은 디바이어싱 기법과 Top-P (Nucleus) Sampling 및 Temperature Scaling과 같은 샘플링 방법을 조정하여 출력 다양성을 제어함으로써 이 문제를 해결한다. Transformer (architecture) 아키텍처에서 주의 메커니즘은 증거의 가중치를 학습하지만, 기본 기본율은 여전히 예측을 형성한다. 교정 오류와 같은 평가 지표는 모델의 신뢰도가 실제 기본율과 얼마나 일치하는지 측정한다. AI 시스템이 의료 및 형사 사법과 같은 고위험 영역에 배포됨에 따라 기본율을 존중하는 것이 공정성과 신뢰성에 중요하다.
역사적 맥락과 연구
기본율에 대한 관심은 현대 확률론 이전으로 거슬러 올라간다. 18세기에 토마스 베이즈(Thomas Bayes)는 그의 이름을 딴 정리를 개발했고, 피에르-시몽 라플라스(Pierre-Simon Laplace)는 이를 일반화했다. 기본율 무시에 대한 공식적 연구는 1970년대 카너먼과 트버스키의 휴리스틱 및 편향 연구에서 시작되었으며, 이로 인해 카너먼은 2002년 노벨 경제학상을 수상했다. 게르트 기거렌처(Gerd Gigerenzer)와 다른 연구자들의 후속 연구는 정보가 자연 빈도로 제시될 때 인간이 기본율로 추론할 수 있음을 주장하며, 이 편향이 부분적으로 형식의 결과임을 시사했다. Joshua Tenenbaum 및 Brendan Lake와 같은 연구자는 인지과학에서 인간이 기본율을 인과 모델과 통합하는 방식을 탐구하여 Machine learning의 계산적 접근에 정보를 제공했다. 이 개념은 베이즈 통계, 결정 이론 및 강건한 AI 시스템 개발의 중심으로 남아 있다.