AI 편향(알고리즘 편향이라고도 함)은 컴퓨터화된 사회기술 시스템에서 체계적이고 반복적으로 발생하는 해로운 경향으로, 알고리즘의 의도된 기능과 다를 수 있는 방식으로 한 범주를 다른 범주보다 우대하는 등 불공정한 결과를 초래하는 것을 설명한다. 이러한 편향은 의도적으로 편향된 설계 결정이나 데이터가 코딩, 수집, 선택 또는 알고리즘 훈련에 사용되는 방식과 관련된 의도하지 않았거나 예상치 못한 사용 또는 결정을 포함한 여러 요인에서 발생할 수 있다. 알고리즘 편향에 대한 연구는 체계적이고 불공정한 차별을 반영하는 알고리즘에 가장 중점을 두며, 검색 엔진 결과, 소셜 미디어 플랫폼 및 기타 애플리케이션에서 관찰되었으며, 그 영향은 개인정보 침해부터 인종, 성별, 성적 지향 및 민족에 대한 사회적 편향 강화에 이르기까지 다양하다.
알고리즘이 사회, 정치, 제도 및 행동을 조직하는 능력을 확장함에 따라, 사회학자들은 예상치 못한 출력과 데이터 조작이 물리적 세계에 영향을 미칠 수 있는 방식에 대해 우려하게 되었다. 알고리즘은 종종 중립적이고 편향되지 않은 것으로 간주되기 때문에, 인간의 전문성보다 더 큰 권위를 부정확하게 투영할 수 있으며, 이는 부분적으로 자동화 편향이라는 심리적 현상 때문이다. 어떤 경우에는 알고리즘에 대한 의존이 그 결과에 대한 인간의 책임을 대체할 수 있다. 편향은 기존의 문화적, 사회적 또는 제도적 기대의 결과로, 특징과 레이블이 선택되는 방식으로 인해, 설계의 기술적 한계 때문에, 또는 소프트웨어의 초기 설계에서 고려되지 않은 예상치 못한 맥락이나 사용자 집단에서 사용됨으로써 알고리즘 시스템에 들어갈 수 있다.
편향의 원인
편향은 여러 방식으로 알고리즘에 도입될 수 있다. 데이터셋을 구성하는 동안, 데이터는 인간이 설계한 분류 기준에 따라 수집, 디지털화, 적응 및 데이터베이스에 입력될 수 있다. 프로그래머는 프로그램이 데이터를 평가하고 정렬하는 방식에 대한 우선순위 또는 계층을 할당하며, 이는 분류 및 포함 또는 제외에 대한 인간의 결정을 요구한다. 일부 알고리즘은 인간이 선택한 기준에 따라 자체 데이터를 수집하며, 이는 인간 설계자의 편향을 반영할 수 있다. 다른 알고리즘은 인간 사용자를 위해 관련 데이터를 처리하고 표시할 때 고정관념과 선호도를 강화할 수 있으며, 예를 들어 유사한 사용자 또는 그룹의 이전 선택에 기반하여 정보를 선택한다.
데이터의 구성 및 처리 외에도, 편향은 설계의 결과로 발생할 수 있다. 학교 배치 결정과 같은 자원 또는 조사의 할당을 결정하는 알고리즘은 신용 점수에서와 같이 유사한 사용자를 기반으로 위험을 결정할 때 특정 범주를 우연히 차별할 수 있다. 사용자를 유사한 사용자와 연관시키거나 마케팅 특성을 추론하는 추천 엔진은 광범위한 민족, 성별, 사회경제적 또는 인종적 고정관념을 반영하는 부정확한 연관성에 의존할 수 있다. 결과에 포함되고 제외되는 것에 대한 기준은 후원 항공사의 항공 경로를 따르지 않는 항공편을 생략하는 항공편 추천 소프트웨어와 같은 예상치 못한 결과를 제시할 수 있다. 알고리즘은 또한 불확실성 편향을 나타낼 수 있으며, 더 큰 데이터셋을 사용할 수 있을 때 더 확신 있는 평가를 제공하여 결과를 더 큰 표본 쪽으로 치우치게 하고 과소 대표되는 인구의 데이터를 무시할 수 있다.
역사적 맥락
최초의 컴퓨터 프로그램은 인간의 추론과 연역을 모방하도록 설계되었으며, 예상된 출력을 성공적이고 일관되게 재현할 때 기능하는 것으로 간주되었다. Machine learning 및 Artificial intelligence가 발전함에 따라 데이터 기반 의사 결정에 대한 의존이 증가했고, 편향에 대한 우려가 더 두드러지게 되었다. 2021년 조사에서는 역사적 편향, 대표성 편향 및 측정 편향을 포함한 여러 형태의 알고리즘 편향을 식별했으며, 각각은 불공정한 결과에 기여할 수 있다. 역사적 편향은 데이터가 과거의 사회적 불평등을 반영할 때 발생하고, 대표성 편향은 특정 그룹이 훈련 데이터에서 과소 대표될 때 발생하며, 측정 편향은 결함이 있거나 불완전한 지표를 사용함으로써 발생한다.
영향 분야
알고리즘 편향은 선거 결과부터 온라인 혐오 발언의 확산에 이르는 사례에서 인용되었다. 또한 형사 사법, 의료 및 채용에서도 발생하여 기존의 인종, 사회경제적 및 성별 편향을 악화시켰다. 얼굴 인식 기술이 어두운 피부를 정확히 식별하지 못하는 상대적 무능력은 여러 건의 흑인 남성에 대한 잘못된 체포와 관련이 있으며, 이는 불균형한 데이터셋에서 비롯된 문제이다. 채용에서 과거 이력서로 훈련된 알고리즘은 과거 채용 관행이 편향된 경우 남성 후보자를 선호할 수 있다. 의료에서 예측 모델은 불충분한 훈련 데이터로 인해 소수 집단의 상태를 과소 진단할 수 있다.
법적 및 규제 대응
AI 편향은 최근에서야 법적 프레임워크에서 다루어졌다. 2018년에 시행된 유럽 연합의 일반 데이터 보호 규정에는 자동화된 의사 결정 및 설명을 요구할 권리와 관련된 조항이 포함되어 있다. 2021년에 제안되고 2024년에 채택된 인공지능법은 편향을 완화하기 위한 조치를 포함하여 AI 시스템에 대한 위험 기반 요구 사항을 설정한다. 이러한 규정은 투명성과 책임성을 높이는 것을 목표로 하지만, 많은 알고리즘의 독점적 특성으로 인해 집행은 여전히 어려운 과제로 남아 있다.
편향 해결의 과제
알고리즘 편향을 이해, 연구 및 발견하는 데 있어서의 문제는 일반적으로 영업 비밀로 취급되는 알고리즘의 독점적 특성으로 인해 지속된다. 완전한 투명성이 제공되더라도 특정 알고리즘의 복잡성은 그 기능을 이해하는 데 장벽이 된다. 또한 알고리즘은 분석을 위해 예측하거나 쉽게 재현할 수 없는 방식으로 입력 또는 출력에 응답하여 변경될 수 있다. 많은 경우, 단일 웹사이트나 애플리케이션 내에서도 검토할 단일 알고리즘이 아니라 동일한 서비스의 사용자 간에도 상호 연관된 많은 프로그램과 데이터 입력의 네트워크가 존재한다.
완화 접근법
연구자와 실무자들은 AI 편향을 완화하기 위한 다양한 접근법을 개발했다. 여기에는 데이터셋의 균형을 맞추기 위한 전처리 기술, 모델 훈련 중 공정성 제약을 통합하는 처리 중 방법, 출력에 대한 후처리 조정이 포함된다. 예를 들어, Data Augmentation은 과소 대표되는 그룹에 대한 합성 예제를 생성하여 대표성 편향을 해결하는 데 도움이 될 수 있다. 인구 통계적 평등 및 균등화된 확률과 같은 공정성 지표는 편향을 정량화하고 모니터링하는 데 사용된다. 그러나 공정성과 정확성 사이에는 종종 절충이 있으며, 보편적으로 적용되는 단일 공정성 정의는 없다.
향후 방향
AI 시스템이 사회에 더욱 통합됨에 따라 편향 해결은 중요한 과제로 남아 있다. 컴퓨터 과학자, 사회학자, 윤리학자 및 법학자 간의 학제 간 협력이 필수적이다. OpenAI, Anthropic 및 Google DeepMind와 같은 조직은 공정성과 편향에 대한 연구를 발표했지만, 그들의 알고리즘은 여전히 대부분 독점적이다. 모델 결정을 더 해석 가능하게 만드는 것을 목표로 하는 설명 가능한 AI의 개발은 활발한 연구 분야이다. 궁극적으로 편향을 줄이는 것은 기술적 해결책뿐만 아니라 알고리즘이 작동하는 사회적 및 제도적 맥락에 대한 지속적인 조사도 요구한다.