AI 안전은 인공지능 시스템에서 발생하는 사고, 오용 또는 기타 유해한 결과를 예방하는 데 초점을 맞춘 학제 간 분야이다. 이 분야는 AI 시스템이 의도한 대로 작동하도록 하는 것을 목표로 하는 AI 정렬, 위험에 대한 AI 시스템 모니터링, 그리고 견고성 향상을 포함한다. 이 분야는 특히 고급 AI 모델이 제기하는 실존적 위험에 관심을 두지만, 편향, 감시, 사이버 위협과 같은 단기적 문제도 다룬다.
기술 연구 외에도 AI 안전은 안전을 촉진하는 규범과 정책 개발을 포함하며, 다양한 정부 수준에서 규제를 옹호하는 활동도 포함한다. 이 분야는 2023년에 큰 주목을 받았는데, 생성형 AI의 급속한 발전과 연구자 및 CEO들이 잠재적 위험에 대해 공개적으로 우려를 표명하면서 두드러졌다. 2023년 AI 안전 정상회담에서 미국과 영국은 각각 자체 AI 안전 연구소를 설립했다. 그러나 연구자들은 AI 안전 조치가 AI 능력의 급속한 발전 속도를 따라가지 못하고 있다는 우려를 표명했다.
동기
학자들은 중요 시스템의 오류, 편향, AI 기반 감시로 인한 현재의 위험과 기술적 실업, 디지털 조작, 무기화, AI 기반 사이버 공격 및 생물테러와 같은 새로운 위험에 대해 논의한다. 또한 미래의 인공 일반 지능(AGI) 에이전트에 대한 통제 상실 또는 AI가 영구적으로 안정된 독재를 가능하게 하는 것과 같은 추측적 위험도 논의한다.
실존적 안전
일부에서는 AGI에 대한 우려를 비판했는데, 앤드류 응은 2015년에 이를 "아직 행성에 발을 디디지도 않았는데 화성의 인구 과잉을 걱정하는 것"에 비유했다. 반면 스튜어트 J. 러셀은 "인간의 독창성을 과소평가하기보다는 예측하는 것이 더 낫다"고 주장하며 신중함을 촉구했다.
AI 연구자들은 AI 기술이 제기하는 위험의 심각성과 주요 원인에 대해 크게 다른 의견을 가지고 있다. 다만 설문 조사에 따르면 전문가들은 고위험 결과를 심각하게 받아들이는 것으로 나타난다. AI 연구자들을 대상으로 한 두 차례 설문 조사에서 중앙값 응답자는 전반적으로 AI에 대해 낙관적이었지만, 고급 AI의 "극도로 나쁜(예: 인류 멸종)" 결과에 대해 5%의 확률을 부여했다. 2022년 자연어 처리 커뮤니티 설문 조사에서는 37%가 AI 결정이 "전면 핵전쟁만큼 심각한" 재앙으로 이어질 수 있다는 것이 그럴듯하다는 데 동의하거나 약하게 동의했다.
역사
AI의 위험은 컴퓨터 시대 초기에 본격적으로 논의되기 시작했다. 1951년, 앨런 튜링은 "더욱이, 우리가 학습하고 경험에 의해 행동이 수정되는 기계를 만드는 방향으로 나아간다면, 우리가 기계에 부여하는 독립성의 모든 정도는 우리의 바람에 대한 잠재적 불복종의 정도라는 사실을 직면해야 한다"고 썼다. 1988년, 블레이 휘트비는 AI가 윤리적이고 사회적으로 책임 있는 방식으로 개발될 필요성을 개괄하는 책을 출판했다.
2008년부터 2009년까지, 인공지능 발전 협회(AAAI)는 AI 연구 및 개발의 잠재적 장기적 사회적 영향을 탐구하고 해결하기 위한 연구를 위촉했다. 패널은 일반적으로 공상과학 작가들이 표현한 급진적 견해에 대해 회의적이었지만, "예상치 못한 결과를 최소화하기 위해 복잡한 컴퓨팅 시스템의 다양한 행동 범위를 이해하고 검증하는 방법에 대한 추가 연구가 가치 있을 것"이라는 데 동의했다.
2011년, 로만 얌폴스키는 철학 및 AI 이론 회의에서 "AI 안전 공학"이라는 용어를 도입하며 AI 시스템의 이전 실패 사례를 나열하고 "AI가 더 유능해짐에 따라 이러한 사건의 빈도와 심각성이 꾸준히 증가할 것"이라고 주장했다.
2014년, 철학자 닉 보스트롬은 《초지능: 경로, 위험, 전략》이라는 책을 출판했다. 그는 AGI의 등장이 AI에 의한 노동력 대체, 정치 및 군사 구조의 조작, 심지어 인류 멸종의 가능성에 이르기까지 다양한 사회적 문제를 야기할 잠재력이 있다는 견해를 가지고 있다. 미래의 고급 시스템이 인간 존재에 위협이 될 수 있다는 그의 주장은 일론 머스크, 빌 게이츠, 스티븐 호킹이 유사한 우려를 표명하도록 촉구했다.
2015년, 수십 명의 인공지능 전문가들이 AI의 사회적 영향에 대한 연구를 촉구하고 구체적인 방향을 제시하는 공개 서한에 서명했다. 현재까지 이 서한에는 얀 르쿤, 셰인 레그, 요슈아 벤지오, 스튜어트 러셀을 포함한 8000명 이상이 서명했다. 같은 해, 스튜어트 J. 러셀 교수가 이끄는 학자 그룹은 UC 버클리에 인간 친화적 AI 센터를 설립했고, 미래 생활 연구소는 "인공지능(AI)이 안전하고 윤리적이며 유익하게 유지되도록 보장"하는 연구에 650만 달러의 보조금을 수여했다.
2016년, 백악관 과학기술정책실과 카네기 멜론 대학교는 AI의 안전과 통제에 관한 공개 워크숍을 발표했는데, 이는 AI의 "장점과 단점"을 조사하기 위한 일련의 백악관 워크숍 중 하나였다. 같은 해, AI 안전에 관한 최초이자 가장 영향력 있는 기술 의제 중 하나인 《AI 안전의 구체적 문제들》이 출판되었다.
2017년, 미래 생활 연구소는 유익한 AI에 관한 아실로마 회의를 후원했으며, 100명 이상의 사상가들이 "경쟁 회피: AI 시스템을 개발하는 팀은 안전 기준의 절차를 생략하는 것을 피하기 위해 적극적으로 협력해야 한다"를 포함한 유익한 AI 원칙을 공식화했다.
2018년, 딥마인드 안전 팀은 사양, 견고성, 보증 측면에서 AI 안전 문제를 개괄했다. 다음 해, 연구자들은 ICLR에서 이러한 문제 영역에 초점을 맞춘 워크숍을 조직했다. 2021년, 《ML 안전의 미해결 문제들》이 출판되어 견고성, 모니터링, 정렬, 시스템 안전 분야의 연구 방향을 개괄했다.
2023년, 리시 수낙은 영국이 "글로벌 AI 안전 규제의 지리적 본거지"가 되기를 원하며 최초의 글로벌 AI 안전 정상회담을 개최하기를 원한다고 밝혔다. AI 안전 정상회담은 2023년 11월에 열렸으며, 최첨단 AI 모델과 관련된 오용 및 통제 상실의 위험에 초점을 맞췄다. 회담 기간 동안 고급 AI 안전에 관한 국제 과학 보고서를 작성하려는 의도가 발표되었다.
2024년, 미국과 영국은 AI 안전 과학에 관한 새로운 파트너십을 구축했다. 양해각서는 2024년 4월 1일 미국 상무장관 지나 레이몬도와 영국 기술장관 미셸 도넬런이 서명했으며, 11월 블레츨리 파크에서 열린 AI 안전 정상회담에서 발표된 약속에 따라 고급 AI 모델 테스트를 공동 개발하기 위한 것이었다.
2025년, 요슈아 벤지오가 의장을 맡은 96명의 전문가로 구성된 국제 팀이 첫 번째 국제 AI 안전 보고서를 출판했다. 30개국과 유엔이 의뢰한 이 보고서는 고급 인공지능과 관련된 잠재적 위험에 대한 최초의 글로벌 과학적 검토를 대표한다. 이 보고서는 오용, 오작동, 사회적 혼란에서 비롯된 잠재적 위협을 상세히 다루며, 증거 기반 발견을 통해 정책에 정보를 제공하는 것을 목표로 한다.
기술적 접근
기술적 AI 안전 연구는 여러 하위 분야에 걸쳐 있다. 견고성은 분포 변화, 적대적 공격, 분포 외 입력에서 AI 시스템이 안정적으로 작동하도록 보장하는 것을 목표로 한다. 모니터링은 이상 탐지 또는 해석 가능성 도구를 사용하여 유해한 행동을 탐지하고 예측하는 것을 포함한다. 정렬은 AI 시스템의 목표와 행동을 인간의 가치와 의도에 일관되게 만드는 데 초점을 맞춘다. 여기에는 사양(우리가 원하는 것을 정의), 보증(준수 검증), 수정 가능성(수정 허용)이 포함된다.
《AI 안전의 구체적 문제들》(2016)은 부정적 부작용, 보상 해킹, 확장 가능한 감독, 안전한 탐색, 분포 변화라는 다섯 가지 연구 영역을 식별했다. 이러한 문제는 여전히 이 분야의 핵심으로 남아 있다. 이후 작업은 대규모 언어 모델과 같은 모델의 내부 메커니즘을 이해하는 것을 목표로 하는 해석 가능성과 다중 에이전트 상호작용 및 사회적 영향으로 인한 위험을 다루는 시스템 안전으로 확장되었다.
기관 및 거버넌스
AI 안전 연구는 학술 기관과 산업 연구소에서 수행된다. UC 버클리의 인간 친화적 AI 센터, 옥스포드 대학의 미래 인간 연구소, 기계 지능 연구소는 주목할 만한 학술 허브이다. 산업계 노력에는 딥마인드의 안전 팀, 오픈AI의 정렬 연구, 앤트로픽의 헌법적 AI 접근 방식이 포함된다. 미국 AI 안전 연구소와 영국 AI 안전 연구소와 같은 정부 기관은 2023년에 최첨단 모델을 평가하기 위해 설립되었다.
국제 협력은 성장했으며, 국제 AI 안전 보고서(2025)와 미국-영국 파트너십과 같은 양자 협정이 그 예이다. 그러나 거버넌스는 여전히 분열되어 있으며, 적절한 규제 수준과 능력 개발 대비 안전 연구의 속도에 대한 논쟁이 계속되고 있다.
과제 및 비판
AI 안전은 여러 과제에 직면해 있다. 기술적 어려움에는 인간 가치를 지정하는 복잡성, 신경망의 불투명성, 고급 시스템에서 정렬을 검증하는 어려움이 포함된다. 경쟁 환경에서 안전 조치가 우회될 위험과 학제 간 협력의 필요성과 같은 사회적 과제도 있다.
비판자들은 실존적 위험 우려가 과장되어 편향과 감시와 같은 더 즉각적인 피해에서 주의를 돌린다고 주장한다. 다른 이들은 안전 연구가 충분히 자금 지원되지 않았고 이 분야에 성공을 위한 명확한 지표가 부족하다고 주장한다. 생성형 AI의 급속한 발전은 이러한 논쟁을 심화시켰으며, 일부 연구자들은 특정 개발에 대한 유예를 요구하고 있다.
미래 방향
미래의 AI 안전 연구는 점점 더 유능한 시스템을 위한 확장 가능한 감독, 해석 가능성, 강력한 정렬에 초점을 맞출 가능성이 높다. 스스로 개선할 수 있는 AI의 개발은 통제와 가치 고정에 대한 새로운 질문을 제기한다. 국제적 조정과 안전 표준의 수립이 중요할 것이다. AI 시스템이 사회에 더욱 통합됨에 따라 이 분야는 기술적 위험뿐만 아니라 윤리적, 법적, 정치적 차원도 다루어야 할 것이다.
국제 AI 안전 보고서(2025)는 증거 기반 정책과 지속적인 연구의 필요성을 강조한다. 이 분야는 더 많은 기관과 정부가 안전 조치에 투자함에 따라 성장할 것으로 예상된다. 그러나 많은 전문가들이 지적했듯이 AI 능력과 안전 연구 사이의 격차는 여전히 우려 사항으로 남아 있다.