인공지능에서의 공정성은 AI 시스템이 개인과 집단을 공평하게 대우하고, 인종, 성별, 연령, 사회경제적 지위와 같은 속성에 기반한 체계적 차별을 피해야 한다는 원칙이다. 이는 데이터 수집, 알고리즘 설계, 배포를 포함한 모델 개발의 기술적 과정과 자동화된 의사 결정의 광범위한 사회적 영향력을 모두 포괄한다. 공정성은 논쟁의 여지가 있는 개념으로, 여러 수학적 정의와 철학적 해석이 존재하며, 머신러닝 연구와 정책 논의에서 핵심적인 관심사가 되었다.
공정성은 단일하고 보편적으로 합의된 지표가 아니라 서로 충돌하는 경우가 많은 기준의 집합이다. 연구자와 실무자는 애플리케이션 맥락, 법적 요구 사항, 윤리적 약속에 따라 정의를 선택한다. 이 분야는 컴퓨터 과학, 통계학, 법학, 사회 과학을 아우르며, AI 시스템의 책임성, 투명성, 프라이버시 문제와 교차한다.
역사적 배경과 등장
자동화된 시스템의 편향에 대한 우려는 현대 AI보다 앞서며, 초기 통계 및 의사 결정 지원 도구에서 나타났다. 그러나 "공정성"이라는 용어는 머신러닝 커뮤니티에서 2010년대에 두각을 나타냈는데, 이는 딥러닝 모델이 채용, 대출, 형사 사법과 같은 고위험 영역에서 널리 배포되면서였다. 상업적 위험 평가 도구의 인종 편향을 조사한 연구와 같은 획기적인 연구는 학계와 대중의 조사를 촉발했다.
2016년, 카네기 멜론 대학교와 다른 기관들은 인구 통계적 평등과 동등한 기회와 같은 공식적 정의를 제안하는 알고리즘 공정성에 관한 영향력 있는 논문을 출판하기 시작했다. 버클리 AI 연구 그룹과 스탠포드 AI 연구소의 연구자들은 편향 측정 및 완화에 관한 기초 작업에 기여했다. 2018년까지 구글 딥마인드와 오픈AI를 포함한 주요 기술 기업들은 전담 윤리 팀을 설립하고 공정성 지침을 발표했지만, 일부 노력은 이후 해체되거나 재편되었다.
공정성 정의: 주요 기준
실무에서는 여러 공식적 공정성 정의가 사용되며, 각각은 서로 다른 직관을 포착한다. 인구 통계적 평등은 실제 결과와 관계없이 모델의 긍정적 예측이 집단 간에 균등하게 분포되어야 한다고 요구한다. 동등한 기회는 오탐률과 미탐률이 집단 간에 동일해야 하며, 오류가 체계적으로 집중되지 않도록 요구한다. 교정은 예측 확률이 각 집단 내에서 실제 빈도와 일치해야 한다고 요구한다.
이러한 기준은 대부분의 현실적 환경에서 수학적으로 양립할 수 없으며, 이는 알렉산더 매드리와 다른 연구자들이 2019년에 증명한 결과이다. 예를 들어, 모델은 집단의 기본 비율이 동일하지 않는 한 완벽한 교정과 동등한 기회를 동시에 달성할 수 없다. 이 불가능성 정리는 공정성이 순수한 기술적 최적화가 아니라 본질적으로 가치가 개입된 선택임을 의미한다.
AI 시스템의 편향 원인
편향은 AI 시스템의 수명 주기의 여러 단계에서 발생할 수 있다. 데이터 편향은 훈련 데이터 세트가 특정 집단을 과소 대표하거나 과거의 특정 인구 집단을 선호했던 채용 결정과 같은 역사적 편견을 포함할 때 발생한다. 알고리즘 편향은 균형 잡힌 데이터에서도 모델 아키텍처나 최적화 선택에서 발생할 수 있다. 배포 편향은 모델이 훈련 환경과 다른 맥락에서 사용될 때 발생하여 예상치 못한 격차를 초래한다.
예를 들어, 인터넷 텍스트로 훈련된 대규모 언어 모델은 말뭉치에 존재하는 고정관념을 재현할 수 있다. 앤트로픽과 오픈AI의 연구자들은 생성된 텍스트에서 성별 및 인종 편향을 문서화했으며, 이는 큐레이션된 데이터 세트로 미세 조정하고 인간 피드백 기반 강화 학습과 같은 완화 기술을 촉발했다. 컴퓨터 비전에서 이미지 데이터 세트로 훈련된 신경망은 더 어두운 피부색을 가진 개인에 대해 더 낮은 정확도를 보여주었으며, 이는 MIT CSAIL 및 다른 기관의 연구에서 강조된 문제이다.
완화 전략과 도구
공정성 개선 기술은 전처리, 처리 중, 후처리의 세 가지 범주로 나뉜다. 전처리 방법은 샘플 재가중치 부여나 민감 속성 제거와 같은 훈련 데이터를 조정한다. 처리 중 방법은 손실 함수에 공정성 제약을 추가하거나 적대적 훈련을 사용하여 집단별 오류를 줄이는 등 학습 알고리즘을 수정한다. 후처리 방법은 다른 집단에 다른 결정 임계값을 적용하는 등 모델의 출력을 변경한다.
여러 오픈 소스 라이브러리가 IBM의 AI Fairness 360과 Google의 What-If Tool을 포함한 이러한 접근 방식을 구현한다. 이러한 도구를 통해 실무자는 이질적 영향과 동등한 기회와 같은 지표를 측정하고 완화 전략을 실험할 수 있다. 그러나 그 효과는 영역에 따라 다르며, 모든 맥락에서 공정성을 보장하는 단일 방법은 없다.
과제와 지속적인 논쟁
주요 과제는 많은 애플리케이션에서 공정성에 대한 근거 진실이 부족하다는 점이다. 예를 들어, 예측 치안에서 "진정한" 범죄 위험에 대한 객관적 측정이 없으므로 모델이 편향되었는지 정확한지 평가하기 어렵다. 마찬가지로 신용 점수에서 과거 대출 결과는 과거의 차별을 반영하므로, 이를 기반으로 훈련된 모델은 통계적 공정성 기준을 충족하더라도 불평등을 영속화할 수 있다.
또 다른 논쟁은 공정성과 정확성 간의 절충에 관한 것이다. 일부 연구는 공정성 제약을 적용하면 전체 모델 성능이 저하될 수 있다고 보여주는 반면, 다른 연구는 손실이 종종 작거나 무시할 수 있다고 주장한다. 관계는 데이터 세트와 선택된 공정성 지표에 따라 달라지며, 이는 여전히 활발한 연구 영역이다.
마지막으로, 공정성은 투명성과 책임성과 같은 다른 윤리적 원칙과 교차한다. 한 지표로 공정한 모델은 의사 결정이 불투명하여 영향을 받는 개인이 결과에 이의를 제기하기 어렵게 만들 수 있다. 멜라니 미첼과 브라이언 크리스천과 같은 연구자들은 수학적 정의에만 초점을 맞추는 대신 AI 배포의 사회적 맥락을 고려하는 더 광범위한 접근 방식을 주장했다.
미래 방향
AI 시스템이 일상 생활에 더욱 통합됨에 따라 공정성은 여전히 중요한 연구 영역으로 남을 가능성이 높다. 새로운 연구는 이미지나 텍스트를 생성하는 생성형 AI 시스템과 같은 생성 모델의 공정성과 순차적 결정이 편향을 증폭시킬 수 있는 강화 학습의 공정성을 탐구한다. 컴퓨터 과학자, 법학자, 사회 과학자 간의 학제 간 협력이 확대되고 있으며, 유럽 연합 및 다른 곳의 규제 프레임워크는 고위험 AI 애플리케이션에 대한 공정성 평가를 의무화하기 시작했다.
더 강력한 데이터 증강 및 모델 가지치기 기술과 같은 기술적 발전도 더 공정한 모델에 기여할 수 있다. 그러나 많은 전문가들은 공정성이 완전히 자동화될 수 없으며 지속적인 인간 판단과 제도적 감독이 필요하다고 경고한다. 따라서 이 분야는 정의와 기술에 관한 더 넓은 사회적 질문을 반영하는 역동적이고 논쟁의 여지가 있는 공간으로 남아 있다.