AI 윤리는 인공지능 시스템을 구축하고 배포하는 데 따르는 도덕적, 사회적, 정치적 함의를 검토하는 학제 간 분야이다. 이는 AI 안전과 겹치지만 그보다 더 광범위한데, AI 안전은 주로 재앙적 또는 실존적 실패를 방지하는 데 초점을 맞추는 반면, AI 윤리는 차별, 프라이버시 침해, 책임성의 약화, 노동 대체, 그리고 최첨단 시스템을 통제하는 소수의 기업과 정부에 권력이 집중되는 문제와 같은 보다 단기적인 피해를 중심으로 다룬다. 이 분야의 실무자로는 철학자, 컴퓨터 과학자, 변호사, 사회학자 등이 있으며, 그들의 관심사는 EU AI법과 같은 프레임워크를 통해 기업 정책과 정부 규제에 점점 더 반영되고 있다.
핵심 관심사
편향과 공정성은 AI 윤리에서 가장 많이 연구되는 주제 중 하나이다. 기계 학습 시스템은 훈련 데이터에서 통계적 패턴을 학습하기 때문에 데이터에 존재하는 역사적 차별을 재현하고 증폭할 수 있으며, 이러한 효과는 채용 도구, 신용 평가, 얼굴 인식에서 문서화되었고 알고리즘 편향에 관한 문서에서 자세히 논의된다. 투명성과 책임성은 AI 결정의 영향을 받는 사람들이 그 결정을 이해하거나 이의를 제기할 수 있는지에 관한 것으로, 대규모 신경망 모델의 블랙박스 특성으로 인해 더욱 첨예해졌으며, 이는 설명 가능한 AI와 해석 가능성이라는 별도의 분야를 촉발했다. 프라이버시 문제는 모델 구축을 위해 수집된 방대한 훈련 데이터와 AI 기반 감시 역량 모두에서 발생한다. 그 밖의 반복되는 주제로는 대규모 모델을 훈련하고 실행하는 데 드는 환경 비용, 데이터를 라벨링하고 콘텐츠를 검토하는 인간 주석자의 노동 조건, 그리고 생성 도구가 딥페이크 미디어와 때로는 AI 슬롭이라고 불리는 저품질 대량 생산 콘텐츠를 통해 허위 정보 확산을 가속화할 위험이 있다.
확률적 앵무새 논쟁
이 분야의 전환점은 팀니트 게브루, 에밀리 벤더 및 동료들이 공동 저술한 2021년 논문 "확률적 앵무새의 위험에 대하여"였다. 이 논문은 점점 더 커지는 언어 모델이 대규모로 편향을 인코딩할 위험이 있고, 상당한 환경 및 재정적 비용을 발생시키며, 실제로는 존재하지 않는 이해에 대한 잘못된 인상을 만들 수 있다고 주장했으며, 이러한 비판은 이후 확률적 앵무새라는 용어로 요약되었다. 이 논문의 발표는 게브루가 논문 검토에 대한 내부 분쟁 중에 구글을 떠난 시점과 맞물렸으며, 이는 기업 AI 연구소와 내부 윤리 연구자 간의 긴장 관계에 대한 널리 논의된 사례 연구가 되었다.
제도적 대응
증가하는 대중의 우려에 대응하여 오픈AI와 앤트로픽을 포함한 대부분의 주요 AI 개발사는 이제 일부 형태의 사용 정책, 안전 또는 책임 있는 AI 프레임워크, 그리고 알려진 한계를 문서화한 모델 카드를 발표한다. 특히 앤트로픽은 헌법적 AI를 포함한 연구 프로그램의 상당 부분을 윤리적 원칙을 모델 훈련에 직접 내장하는 데 초점을 맞추고 있다. 정부도 OECD AI 원칙, 미국의 AI 권리장전 청사진, EU AI법에 따른 구속력 있는 규칙을 포함하여 AI 윤리 원칙을 법률이나 지침으로 성문화하기 위해 움직였으며, 더 넓은 규제 환경은 AI 거버넌스에 관한 문서에서 다루어진다.
비판과 논쟁
AI 윤리라는 분야 자체도 여러 방향에서 비판을 받아왔다. 일부 기술 전문가들은 윤리 검토가 유익한 배포를 늦추거나 실질적인 변화보다는 형식적 준수에 그친다고 주장한다. 일부 AI 안전 연구자를 포함한 다른 이들은 단기 윤리 프레임워크가 더 중대한 장기적 위험에서 주의를 분산시킨다고 주장하는 반면, 윤리 중심 연구자들은 AI로 인한 실존적 위험에 관한 문서에서 논의되는 실존적 위험 프레임워크가 문서화된 현재의 피해에서 관심과 자금을 분산시킨다고 주장한다. 어떤 우려가 AI 거버넌스 정책을 이끌어야 하는지에 대한 논쟁은 2020년대 중반 현재까지도 활발하며 대체로 해결되지 않은 상태로 남아 있다.