인공지능으로 인한 실존적 위험은 충분히 고도화된 인공지능이 인류의 멸종이나 문명의 회복 불가능한 붕괴를 초래할 수 있다는 주장과, 그러한 가능성을 식별하고 측정하며 완화하는 데 조직된 연구 및 옹호 활동의 체계를 가리킨다. 이는 더 넓은 AI 안전 분야의 하위 집합이며, 초지능 및 정렬에 관한 논쟁과 크게 겹친다.
핵심 논증
핵심 논증은 인간의 가치와 완벽하게 정렬되지 않은 목표를 추구하는 충분히 유능한 AI 시스템이 악의 때문이 아니라 잘못 지정된 목표를 최적화하는 부작용으로 치명적인 피해를 초래할 수 있다는 것이다. 이러한 실패 모드는 때때로 보상 해킹이라고 불린다. 지지자들은 충분히 광범위한 능력과 자율성을 갖춘 시스템, 특히 계획을 세우고 외부 도구를 사용할 수 있는 시스템이 궁극적인 목표와 무관하게 교정이나 종료에 저항하는 것을 도구적으로 유용한 하위 목표로 삼을 수 있다고 주장하며, 이를 도구적 수렴이라고 부른다. 회의론자들은 이러한 추론 사슬이 실제 시스템에서 능력, 목표 지향성, 자율성이 어떻게 발전할지에 대한 입증되지 않은 가정에 의존한다고 반박한다.
주요 지지자
철학자 닉 보스트롬은 2002년 실존적 위험에 관한 논문과 2014년 초지능에 관한 저서로 초기 학문적 토대를 마련했다. 기계지능연구소를 설립한 연구자 엘리에이저 유드코스키는 10년 이상 잘못 정렬된 초지능이 심각하고 과소평가된 위협을 나타내며 최첨단 AI 개발에 대한 엄격한 국제적 통제를 주장해 왔다. MMLU 지식 벤치마크의 저자인 컴퓨터 과학자 댄 헨드릭스는 AI 안전 센터를 통해 치명적 위험을 정량화하고 전달하는 연구를 이끌었다. 딥러닝 선구자 요슈아 벤지오와 제프리 힌턴 - 후자는 2023년 구글을 떠난 후 - 은 모두 AI 능력의 향상이 심각한 위험, 실존적 위험을 포함한 가능성을 높인다고 공개적으로 밝혔다.
2023년 성명과 일시 중지 서한
공공의 관심은 2023년 두 가지 주목할 만한 문서를 통해 구체화되었다. 3월, 미래생명연구소의 일시 중지 서한은 GPT-4보다 더 유능한 AI 시스템 훈련에 6개월간의 일시 중지를 요구했으며, 저명한 연구자와 기술 전문가를 포함한 수천 명의 서명을 모았지만, 여러 서명자는 실제로 개발을 중단하지 않았다. 5월, AI 안전 센터는 "AI로 인한 멸종 위험을 완화하는 것은 팬데믹과 핵전쟁과 같은 다른 사회적 규모의 위험과 함께 글로벌 우선순위가 되어야 한다"는 한 문장의 성명을 발표했으며, 오픈AI, 구글 딥마인드, 앤트로픽의 지도자를 포함한 수백 명의 AI 연구자와 경영진이 서명했다.
반론과 회의론
저명한 회의론자로는 얀 르쿤이 있는데, 그는 현재 시스템의 한계를 고려할 때 실존적 위험 프레임은 추측적이고 시기상조라고 주장해 왔다. 또한 게리 마커스는 파멸 시나리오 뒤의 기술적 가정과 치명적 위험을 경고하면서 동시에 더 유능한 시스템 구축을 위해 경쟁하는 연구소의 인센티브를 모두 비판했다. 티니트 게브루와 에밀리 벤더를 포함한 비평가들은 가상의 장기적 멸종 위험에 대한 초점이 편향된 출력, 노동력 대체, 소수의 기업에 대한 권력 집중과 같은 문서화된 단기적 피해에서 주의와 자원을 돌린다고 주장했다.
정책 대응
실존적 및 치명적 위험 프레임은 정부 정책에 영향을 미쳤으며, 여기에는 AI 안전 정상회의에서 28개국이 서명한 영국의 2023년 블레츨리 선언과 유럽연합 AI 규제 내에서 가장 유능한 범용 모델의 시스템적 위험을 다루는 조항이 포함된다. 앤트로픽과 오픈AI를 포함한 여러 최첨단 연구소는 모델이 정의된 위험 임계값을 넘을 때 능력 연계 안전장치를 약속하는 책임 있는 확장 정책이라고 불리는 내부 위험 관리 프레임워크를 발표했다.