AI 거버넌스는 인공지능이 개발되고 배포되는 방식을 규율하는 국내 및 국제 차원의 법률, 규정, 표준, 제도를 의미한다. 이 분야는 AI 안전과 AI 윤리의 교차점에 위치하며, 알고리즘 편향, 환각, 장기적 AI로 인한 실존적 위험과 같은 AI에 대한 기술적·사회적 우려를 구속력 있는 규칙, 자발적 약속, 감독 기관으로 전환한다. 거버넌스 접근 방식은 관할권에 따라 크게 다르며, 포괄적이고 위험 기반의 규제에서부터 산업 자율 규제에 의존하는 가벼운 접근 방식까지 다양하다.
주요 규제 체계
2020년대 중반 기준 가장 포괄적인 구속력 있는 법률은 2024년 유럽연합이 채택한 EU AI 법으로, AI 애플리케이션을 사회적 점수 매기기와 같은 금지된 용도부터 생체 인식 식별 및 채용 도구를 포함한 엄격히 규제되는 "고위험" 범주까지 위험 등급으로 분류하며, 대규모 언어 모델 챗봇과 같은 범용 시스템에는 더 가벼운 투명성 의무를 부과한다. 미국에서는 거버넌스가 단일 포괄 법령보다는 행정 명령과 부문별 규칙을 통해 진행되어 왔다. 바이든 대통령의 2023년 10월 AI 행정 명령은 연방 기관에 안전 테스트 및 보고 요건 개발을 지시했으며, 이후 행정부는 미국의 경쟁력 강화를 강조하는 규제 완화 기조로 전환했다. 중국은 생성형 AI 서비스에 대한 자체 구속력 있는 규칙을 발표하여 공개 시스템에 대한 보안 평가와 콘텐츠 라벨링을 요구한다. 영국, 일본, 캐나다를 포함한 다른 관할권은 일반적으로 포괄적 입법보다는 지침 기반 또는 부문별 접근 방식을 선호해 왔다.
국제적 조정
정부들은 또한 구속력 있는 법률 외부에서 자발적인 국제적 조정을 추진해 왔다. 2023년 11월 영국 AI 안전 정상회의에서 28개국이 서명한 블레츨리 선언은 AI가 심각하고 심지어 치명적인 위험을 초래할 수 있음을 인정한 최초의 주요 다자간 성명이었으며, 한국과 프랑스에서 일련의 후속 정상회의를 시작했다. 이와 병행하여 여러 국가는 영국 AI 안전 연구소와 NIST 내에 위치한 미국 AI 안전 연구소를 포함한 전용 AI 안전 기관을 설립하여, 최첨단 모델을 출시 전 또는 직후에 독립적으로 테스트하는 임무를 부여했다. 경제협력개발기구와 유엔도 많은 정부가 국내 정책 수립 시 참조하는 비구속적 AI 원칙을 발표했다.
산업계 약속
정부 규제와 함께 오픈AI, 앤트로픽, 구글 딥마인드를 포함한 최첨단 AI 개발사들은 종종 책임 있는 확장 정책 또는 대비 프레임워크라고 불리는 자체 자발적 거버넌스 체계를 발표했으며, 이는 모델이 정의된 능력 임계값을 초과할 때 특정 안전 평가와 완화 조치를 수행하겠다는 약속을 담고 있다. 이에 대한 자세한 내용은 앤트로픽 원칙 문서에서 논의된다. 기업들은 또한 주요 출시에 앞서 정부 안전 기관에 모델을 제출하여 외부 레드팀 및 평가를 받는 관행을 채택했으며, 이는 블레츨리 정상회의 이후 확산되었다.
논쟁
AI 거버넌스는 여러 측면에서 여전히 논쟁의 대상이다. 일부 연구자와 정책 입안자들은 규제가 편향이나 허위 정보와 같은 구체적이고 현재의 피해에 초점을 맞춰야 하며, 추측성 미래 위험에 집중해서는 안 된다고 주장한다. 반대로 다른 이들은 능력 향상의 속도를 고려할 때 규제적 관심이 낮은 확률이지만 치명적인 시나리오에 더 큰 비중을 두어야 한다고 주장하며, 이는 스케일링 법칙과 창발적 능력을 해석하는 방법에 대한 더 넓은 불일치를 반영한다. 또 다른 논쟁은 규제가 범용 기반 모델 자체를 대상으로 해야 하는지, 아니면 특정 하위 애플리케이션만 대상으로 해야 하는지에 관한 것으로, EU AI 법은 범용 시스템에 더 가벼운 투명성 중심 의무를 부과하고 고위험 용도에 더 무거운 의무를 부과함으로써 부분적으로 이 문제를 조정한다. 산업계 로비, 규제 포획에 대한 우려, 규제가 덜 엄격한 관할권과의 경쟁은 지속 가능한 국제적 합의를 이루는 노력을 더욱 복잡하게 만든다.