AI 안전은 인공지능 시스템으로 인한 피해를 방지하는 데 관련된 학제적 분야로, 편향, 잘못된 정보, 오용과 같은 단기적 문제부터 인간이 고도로 유능한 미래 시스템에 대해 의미 있는 통제권을 유지할 수 있을지에 대한 장기적 우려까지 포괄합니다. 이 분야는 머신러닝 연구, 정책, 철학에 기반을 두며, 실무자들 사이에서는 어떤 위험에 가장 주목해야 하는지에 대한 의견이 갈리며, 이러한 분열은 흔히 비공식적으로 "단기" 대 "장기" 안전으로 설명됩니다.
범위
단기 AI 안전 작업은 오늘날 배포된 시스템에서 드러나는 문제를 다룹니다: 거짓되거나 조작된 진술을 생성하는 모델(이 실패는 환각으로 알려짐), 프롬프트 주입이나 탈옥을 통해 지시를 무시하도록 조작될 수 있는 시스템, 그리고 시스템을 사용 불가능하게 만들지 않으면서 유해한 출력을 필터링하거나 차단하는 안전장치를 구축하는 더 넓은 과제가 포함됩니다. 장기 AI 안전 작업은 AI로 인한 실존적 위험에 관심을 두며, 여기에는 인공일반지능이나 초지능에 근접한 시스템이 인간의 이익과 불일치하는 목표를 되돌리기 어려운 방식으로 추구할 가능성이 포함됩니다. 두 흐름 모두 시스템의 실제 행동을 설계자의 의도와 일치시키는 문제인 정렬을 기본으로 간주합니다.
역사와 기관
조직화된 AI 안전 연구는 2020년대 초반 대규모 언어 모델의 확장 이후 크게 성장했습니다. 앤트로픽은 2021년 전 OpenAI 연구자들에 의해 설립되었으며, 부분적으로는 최첨단 모델을 직접 구축하고 연구해야 한다고 느낀 안전 연구를 추구하기 위해서였습니다. 일라이저 유드코스키와 댄 헨드릭스를 포함한 연구자들이 관련된 Machine Intelligence Research Institute와 Center for AI Safety 같은 학술 및 비영리 기관은 고급 AI로 인한 극단적 위험을 심각한 가능성으로 취급해야 한다고 주장해 왔습니다. 2023년, 헨드릭스의 센터는 주요 연구소 지도자들이 서명한 한 문장 성명을 발표했으며, 이는 AI로 인한 멸종 위험을 팬데믹 및 핵전쟁과 비교할 수 있는 글로벌 우선순위로 취급할 것을 촉구했습니다. 정부는 2023년 11월 영국의 첫 AI 안전 정상회의에서의 블레츨리 선언, 영국과 미국의 국가 AI 안전 연구소, 그리고 EU AI 법과 같은 구속력 있는 규제를 포함한 새로운 기관과 협정으로 대응했습니다.
기법
실용적 안전 기법에는 시스템이 배포되기 전에 테스터가 의도적으로 유해한 행동을 유도하려는 레드 팀링, 모델을 출력만으로 판단하지 않고 내부 계산을 이해하려는 해석 가능성 연구, 훈련 중 모델 행동을 형성하는 인간 피드백 기반 강화 학습 및 헌법적 AI, 그리고 사이버 공격 지원이나 생물무기 설계와 같은 위험한 능력을 테스트하는 평가 프레임워크가 포함됩니다. 일부 연구소는 모델이 더 유능해짐에 따라 추가 안전장치를 촉발하는 능력 임계값을 발표했으며, 이는 Anthropic의 책임 있는 확장 정책과 같은 프레임워크에 반영된 관행입니다.
논쟁
한쪽 비평가들은 실존적 프레임이 알고리즘 편향, 노동 대체, 훈련 실행의 환경 비용과 같은 구체적이고 현재의 피해에서 주의와 자금을 빼앗는다고 주장합니다. 다른 쪽 비평가들은 일부 AI 안전 연구자 자신들을 포함하여, 점점 더 유능한 시스템을 구축하기 위해 경쟁하는 연구소의 자발적 약속이 외부 강제 없이는 불충분하며, 기업과 국가 간의 경쟁 압력이 공개된 안전 약속을 훼손한다고 주장합니다. 이 분야는 또한 기본적인 측정 문제에 직면합니다: 수십 년간의 사고 데이터를 가진 안전 중요 산업과 달리, AI 안전 작업이 예방하려는 피해의 확률을 정량화하는 정착된 방법이 없으며, 이는 우선순위에 대한 근본적인 논쟁을 해결되지 않은 상태로 유지합니다.