알고리즘 편향은 알고리즘 시스템, 특히 기계 학습 모델이 특정 집단을 인종, 성별, 연령 또는 기타 보호 특성으로 정의하여 불이익을 주는 예측이나 출력을 생성할 때 발생하는 체계적이고 부당한 차별을 의미한다. 이러한 시스템은 훈련 데이터에서 통계적 패턴을 학습하기 때문에, 데이터에 이미 존재하거나 문제가 구성, 라벨링, 평가되는 방식에 의해 도입된 편향을 재현하고 증폭할 수 있다. 알고리즘 편향은 AI 윤리의 핵심 관심사이며, 기술적 완화 연구와 배포된 시스템에 대한 법적 검토를 모두 촉발했다.
편향의 원인
연구자들은 일반적으로 여러 원인을 구분한다. 역사적 편향은 데이터 자체에 존재하며, 예를 들어 과거 채용 결정이 차별을 반영했고 모델이 이를 학습하여 재현하는 경우이다. 대표성 편향은 특정 집단이 데이터 세트에서 과소 표집되어 해당 집단에 대한 모델 정확도가 저하될 때 발생하며, 이는 2018년 Joy Buolamwini와 Timnit Gebru의 "Gender Shades" 감사에서 핵심이었다. 이 감사는 상업용 얼굴 인식 시스템이 밝은 피부의 남성보다 어두운 피부의 여성에서 현저히 낮은 성능을 보인다는 것을 발견했다. 측정 편향은 모델이 예측하도록 훈련된 대리 변수, 예를 들어 범죄의 대리 지표로서의 체포율이 그 자체로 근본 개념의 편향된 측정치일 때 발생한다. 집계 편향은 근본 관계가 다른 집단에 하나의 모델을 균일하게 적용할 때 발생한다.
유명 사례
여러 문서화된 사례가 공공 및 학계 논의를 형성했다. 미국 법원에서 사용된 COMPAS 재범 예측 도구는 2016년 ProPublica 조사의 대상이 되었으며, 이 조사는 실제 재범률 대비 흑인 피고인을 백인 피고인의 거의 두 배 비율로 미래 위험으로 표시한다는 것을 발견했다. 다만 연구자들은 이후 이 발견이 어떤 통계적 공정성 정의에 의존하는지에 대해 논쟁했다. Amazon은 2018년 "여성의"라는 단어가 포함된 이력서를 불이익을 주는 내부 AI 채용 도구를 발견한 후 폐기했으며, 이는 10년간 남성 중심의 채용 데이터에서 학습된 패턴이었다. 미국 국립표준기술연구소의 2019년 100개 이상 시스템에 대한 연구를 포함한 얼굴 인식 감사는 여성과 어두운 피부를 가진 사람들에 대해 반복적으로 더 높은 오류율을 발견했으며, 이는 여러 미국 도시가 경찰의 해당 기술 사용을 금지하고 일부 공급업체가 법 집행 기관에 대한 판매를 중단하는 데 기여했다.
완화 및 측정
기술적 대응에는 인구통계적 평등 또는 평등화된 확률과 같은 공정성 지표에 대한 모델 감사, 훈련 데이터 재조정 또는 증강, 모델 출력에 대한 사후 처리 조정이 포함된다. 또한 방대한 연구 문헌은 서로 다른 공정성 정의가 수학적으로 양립할 수 없음을 보여주었으며, 이는 하나의 지표를 충족하면 다른 지표를 위반해야 할 수 있음을 의미한다. 설명 가능한 AI 도구는 공정성 감사와 함께 자주 사용되어 어떤 입력 특성이 상이한 결과를 유발하는지 식별하는 데 도움을 준다. 편향 우려는 대규모 언어 모델 시스템의 시대에도 확장되었으며, 연구자들은 생성된 텍스트와 이미지, 특히 텍스트-이미지 시스템에서 고정관념적 연관성을 문서화했다.
거버넌스 대응
알고리즘 편향은 규제의 반복적인 근거가 되었으며, EU AI 법의 위험 계층화와 Algorithmic Accountability Act와 같은 초기 미국 제안에 명시적으로 등장한다. 이는 AI 거버넌스의 더 넓은 분야에서 가장 많이 소송되고 경험적으로 문서화된 피해 중 하나로 남아 있다.