평등 기회(Equalized odds)는 기계 학습 분류 시스템에서 공정성을 평가하고 강제하기 위한 기준이다. 공식적으로, 예측 변수 \(\hat{Y}\)가 보호 속성 \(A\)(예: 인종, 성별, 연령) 및 실제 레이블 \(Y\)에 대해 평등 기회를 충족한다는 것은 모든 그룹 \(a, b\)와 모든 결과 \(y \in \{0,1\}\)에 대해 \(P(\hat{Y} = 1 | A = a, Y = y) = P(\hat{Y} = 1 | A = b, Y = y)\)가 성립함을 의미한다. 쉽게 말하면, 분류기는 실제 결과에 조건부로 모든 보호 그룹에서 동일한 참양성률(재현율)과 동일한 거짓양성률을 가져야 한다. 이 개념은 2016년 Moritz Hardt, Eric Price, Nathan Srebro의 논문에서 소개되었으며, 레이블 분포를 무시하는 더 단순한 인구 통계적 평등(demographic parity) 개념의 대안으로 제안되었다.
평등 기회는 종종 실제 레이블에 조건을 두지 않고 그룹 간 동일한 예측률만 요구하는 인구 통계적 평등과 대조된다. \(Y\)에 조건을 둠으로써 평등 기회는 오류가 동등하게 분배되어야 한다는 아이디어를 포착한다. 즉, 어떤 그룹의 자격 있는 개인도 동일한 확률로 긍정적으로 분류되어야 하며, 자격 없는 개인도 동일한 확률로 잘못 수용되어야 한다. 이는 채용, 대출, 형사 사법, 의료와 같은 고위험 영역에서 특히 관련이 있는데, 이러한 영역에서는 상이한 오류율이 체계적 편향을 영속화할 수 있기 때문이다.
공식 정의 및 구성 요소
평등 기회 조건은 두 개의 별도 평등 제약, 즉 평등 기회(equal opportunity)와 평등 거짓양성률로 분해될 수 있다. 같은 연구에서 도입된 평등 기회 기준은 그룹 간 동일한 참양성률, 즉 \(P(\hat{Y} = 1 | A = a, Y = 1) = P(\hat{Y} = 1 | A = b, Y = 1)\)을 요구한다. 이는 긍정적으로 분류되어야 하는 개인들 사이에서 모든 그룹이 동일한 비율의 올바른 예측을 받도록 보장한다. 두 번째 구성 요소인 평등 거짓양성률은 \(P(\hat{Y} = 1 | A = a, Y = 0) = P(\hat{Y} = 1 | A = b, Y = 0)\)을 요구하며, 어떤 그룹에 대해 부정적 결과가 과도하게 예측되지 않도록 한다.
두 조건이 동시에 성립할 때, 분류기는 평등 기회를 충족한다고 한다. 실제로, 그룹 간 기본 비율이 다를 때 두 평등 제약을 모두 달성하는 것은 불가능할 수 있으며, 이는 두 구성 요소 사이의 절충을 초래한다. 일부 응용 분야에서는 특히 거짓양성보다 거짓음성이 덜 중요할 때 평등 기회만으로 요구 사항을 완화한다.
기계 학습 시스템에서의 구현
평등 기회를 강제하려면 종종 사후 처리 또는 처리 중 기술이 필요하다. 일반적인 사후 처리 접근 방식은 공정성 제약 없이 분류기를 훈련한 다음, 제안된 점수를 기반으로 각 그룹에 대해 결정 임계값을 별도로 조정하는 것이다. Hardt, Price, Srebro는 실제 레이블과 그룹 구성원에 접근할 수 있다면 전체 손실을 최소화하면서 평등 기회를 충족하도록 임계값을 최적으로 보정할 수 있음을 보여주었다. 그러나 이 방법은 레이블이 있는 데이터를 필요로 하며 완전히 제약이 없는 설정으로 확장되지 않을 수 있다.
처리 중 방법은 훈련 중 손실 함수에 공정성 제약을 직접 통합한다. 예를 들어, 그룹 간 오류율 차이를 측정하는 페널티 항을 추가하거나, 분류기의 출력에서 그룹 구성원을 예측하려는 판별자를 사용하는 적대적 훈련을 사용한다. 이러한 접근 방식은 Deep learning 파이프라인에서 자주 사용되며, Adam (Optimizer) 또는 Stochastic Gradient Descent Variants와 같은 경사 기반 최적화가 미분 가능한 공정성 페널티를 수용할 수 있다.
최근 연구는 평등 기회를 Neural network 아키텍처 및 Generative AI 시스템을 포함한 더 복잡한 모델로 확장했다. 그러나 다중 클래스 또는 회귀 설정에서 평등 기회를 측정하는 것은 이진 정의가 직접 일반화되지 않으므로 여전히 어렵다. 연구자들은 다변량 확장과 그룹 조건부 보정 측정을 제안했지만, 단일 표준이 지배하지는 않는다.
다른 공정성 개념과의 관계
평등 기회는 더 넓은 통계적 공정성 기준 계열 내에 있다. 인구 통계적 평등(통계적 평등이라고도 함)은 \(P(\hat{Y} = 1 | A = a) = P(\hat{Y} = 1 | A = b)\)을 요구하며, 이는 전체 예측률을 제약한다는 점에서 더 강하지만 오류율이 다를 때도 충족될 수 있다. 반면 보정(calibration)은 예측 확률 \(p\)에 대해 실제 결과 확률이 모든 그룹에서 \(p\)가 되도록 요구하며, 이는 평등 기회와 관련이 있지만 이를 의미하지는 않는다.
Jon Kleinberg, Sendhil Mullainathan, Manish Raghavan(2016)의 획기적인 불가능성 결과는 기본 비율이 다를 때 완벽하지 않은 한 어떤 분류기도 보정, 평등 기회, 인구 통계적 평등을 동시에 충족할 수 없음을 보여주었다. 이 절충은 특정 응용 분야에 가장 적합한 공정성 지표에 대한 논쟁을 촉발했다. 평등 기회는 오류 비용이 비대칭인 설정, 예를 들어 상태를 놓치는 것(거짓음성)이 거짓양성보다 더 해로운 의료 진단에서 자주 선호된다.
비판 및 한계
평등 기회에 대한 한 가지 비판은 실제 레이블 \(Y\)가 편향되지 않는다고 가정한다는 점이다. 역사적 레이블 자체가 차별로 오염된 경우, 평등 기회는 기존 불평등을 수정하기보다 영속화할 수 있다. 예를 들어, 체포 기록이 특정 커뮤니티를 과소 대표한다면, 이러한 레이블로 훈련된 분류기는 평등 기회를 충족하더라도 여전히 해당 그룹에 불리할 수 있다. 이 문제는 신중한 데이터 수집과 레이블 감사의 중요성을 강조한다.
또 다른 한계는 평등 기회가 개인 수준의 오류 결과를 고려하지 않고 그룹 수준의 비율만 고려한다는 점이다. 두 그룹이 동일한 참양성률과 거짓양성률을 가질 수 있지만, 자원 할당이나 사회적 맥락의 차이로 인해 이러한 오류의 하류 영향은 상당히 다를 수 있다. 또한 이진 결과 설정은 임계값이 고정되지 않은 순위 또는 점수 맥락을 포착하지 못한다.
응용 및 현재 연구
평등 기회는 신용 점수, 재범 예측(예: COMPAS와 같은 도구), 알고리즘 채용과 같은 영역에 적용되었다. Google DeepMind 및 University of Oxford 그룹을 포함한 기업과 연구소는 실제 시스템에 공정성 제약을 통합하는 방법을 탐구했다. 예를 들어, 공정 분류 모델은 환자 재입원 예측을 위한 의료에서 테스트되었으며, 여기서 인종 그룹 간 차별적 거짓음성률이 관찰되었다.
현대 연구는 노이즈가 있는 레이블, 누락된 그룹 정보, 연속 보호 속성을 설명하기 위해 엄격한 평등 기회 요구 사항을 완화하는 데 초점을 맞추고 있다. Large language model 출력의 공정성도 새로운 주제로 부상했지만, 텍스트 생성에 대한 평등 기회를 측정하는 것은 간단하지 않다. 2020년대 중반 현재, 보편적인 공정성 지표에 대한 합의는 없지만, 평등 기회는 Stanford AI Lab 및 MIT CSAIL과 같은 기관의 과정에서 가르치는 알고리즘 공정성 문헌의 기본 개념으로 남아 있다.
같이 보기
- 인구 통계적 평등 (제공된 슬러그 없음, 생략)
- 알고리즘 공정성 (제공된 슬러그 없음, 생략)
(참고: 관련 슬러그 부재로 인해 같이 보기 섹션은 생략됨.)
참고 문헌
- Hardt, M., Price, E., Srebro, N. (2016). Equality of Opportunity in Supervised Learning.
- Kleinberg, J., Mullainathan, S., Raghavan, M. (2016). Inherent Trade-Offs in the Fair Determination of Risk Scores.