영국 AI 안전 연구는 고급 Artificial intelligence 시스템이 제기하는 위험을 이해하고 완화하는 데 전념하는 영국 내 정부 기관, 대학, 민간 연구소의 조정된 활동을 포함합니다. 이 분야는 2023년 영국 정부가 블레틀리 파크에서 첫 번째 글로벌 AI 안전 정상 회의를 개최하고 이후 전용 국가 지원 연구 기관으로 AI 안전 연구소(AISI)를 설립하면서 상당한 공공적 명성을 얻었습니다. 영국의 접근 방식은 국제 협력, 기술 평가, 그리고 Large language model 아키텍처와 Transformer (architecture) 기술을 기반으로 구축된 것을 포함한 최첨단 모델에 대한 안전 표준 개발을 강조해 왔습니다.
이 분야의 연구는 Machine learning 견고성, 해석 가능성, 정렬, 그리고 Generative AI의 사회적 영향력을 포함한 여러 학문 분야에 걸쳐 있습니다. University of Oxford와 케임브리지 대학교(목록에 없음, 그러나 알려짐)와 같은 영국 기반 기관은 기초 작업에 기여했으며, Google DeepMind(런던에 본사)와 Anthropic(2023년 영국 사무소 개설)과 같은 민간 부문 기업은 안전 평가에 대해 정부 기관과 협력했습니다. 이 분야는 기술 컴퓨터 과학과 공공 정책의 교차점에서 운영되며, 미래 시스템의 치명적인 결과를 방지하는 데 초점을 맞추고 있습니다.
정부 주도 이니셔티브
영국 정부의 AI 안전 연구를 위한 주요 수단은 2023년 11월에 초기 예산 1억 파운드로 출범한 AI 안전 연구소입니다. 연구소의 임무에는 최첨단 모델의 배포 전 테스트, 평가 벤치마크 개발, 시스템적 위험에 대한 연구 출판이 포함됩니다. 2024년 4월, 연구소는 사이버 공격, 생물학적 오용, 자율 복제와 같은 영역의 능력을 평가하는 방법론을 설명한 첫 번째 주요 보고서 "AI 안전 연구소 평가 접근 방식"을 발표했습니다. 연구소는 또한 OpenAI, Anthropic, Google DeepMind와 공식 파트너십을 구축하여 연구자들에게 사전 출시 모델에 대한 접근 권한을 부여했습니다.
두 번째 주요 이니셔티브는 2023년 과학, 혁신 및 기술부 산하에 설립된 최첨단 AI 태스크포스입니다. 기술 기업가 이안 호가스가 이끄는 태스크포스는 2024년 초 AI 안전 연구소에 흡수되었습니다. 영국은 또한 2024년 5월 한국과 AI 서울 정상 회의를 공동 주최했으며, 참가국들은 최첨단 모델에 대한 안전 프레임워크를 출판하기로 합의했습니다.
학계 및 연구 기여
영국 대학들은 AI 안전 연구에서 중심적인 역할을 해왔습니다. 철학자 닉 보스트롬이 2005년에 설립한 University of Oxford의 미래 인류 연구소는 2014년 저서 "초지능"을 포함하여 AI로 인한 실존적 위험에 대한 영향력 있는 작업을 생산했습니다. 케임브리지 대학교(목록에 없음)의 실존적 위험 연구 센터는 장기적 위험에 유사하게 초점을 맞추고 있습니다. 2023년, 영국 연구 혁신(UKRI)은 12개 대학에 걸친 학제 간 프로젝트에 자금을 지원하는 영국 연구 혁신 AI 안전 허브를 설립하기 위해 3,100만 파운드를 할당했습니다.
영국 연구소의 기술 연구는 핵심 안전 방법에 기여했습니다. Google DeepMind의 연구자들은 인간 라벨 대신 AI 생성 비판을 사용하여 정렬을 개선하는 Reinforcement Learning from AI Feedback (RLAIF)(AI 피드백 기반 강화 학습) 기술을 개발했습니다. 런던에 본사를 둔 앨런 튜링 연구소와 같은 기관의 Model Pruning 및 Mechanistic interpretability에 대한 작업은 Neural network 모델의 내부 표현을 식별하고 제어하는 방법을 탐구했습니다.
민간 부문 참여
여러 주요 AI 기업들이 영국 기반 안전 연구 운영을 설립했습니다. 2010년 런던에서 설립된 Google DeepMind는 본사를 유지하며 2016년 논문 "AI 안전의 구체적인 문제"를 포함하여 안전 주제에 대해 광범위하게 출판했습니다. Anthropic은 2023년 런던 사무소를 열고 AI 안전 연구소와 레드 팀 훈련에 협력했습니다. OpenAI는 2023년 런던에 지사를 설립하고 정렬 팀을 위해 전 딥마인드 연구자들을 고용했습니다.
영국은 또한 안전 연구를 지원하는 AI 인프라에 투자를 유치했습니다. 케임브리지에 본사를 둔 Arm Holdings는 AI 훈련 시스템에 사용되는 칩을 생산하며, 브리스톨 기반 반도체 회사인 Graphcore는 기계 학습 작업을 위해 설계된 지능 처리 장치(IPU)를 개발했습니다. 이러한 하드웨어 개발은 안전에 중요한 모델의 더 효율적인 훈련과 평가를 가능하게 합니다.
국제 협력 및 표준
영국은 AI 안전 연구의 글로벌 조정자로 자리매김했습니다. 2023년 11월 정상 회의에서 28개국이 서명한 블레틀리 선언은 안전한 AI 개발을 위한 공유 원칙에 서명국들을 약속했습니다. 영국의 AI 안전 연구소는 미국 AI 안전 연구소(2024년 설립) 및 일본 AI 안전 연구소(2024년 설립)와 양자 연구 파트너십을 구축했습니다. 2025년 2월, 영국과 미국은 Multi-Head Attention 해석 가능성과 적대적 견고성에 초점을 맞춘 모델 평가에 대한 공동 연구 프로그램을 발표했습니다.
영국은 또한 튜링 상 수상자 요슈아 벤지오(목록에 없음)가 이끄는 글로벌 연구 결과를 종합하는 협력 노력인 국제 AI 안전 보고서에 참여합니다. 2025년 1월에 출판된 첫 번째 판은 30개국 96명의 전문가가 기여했으며, 영국 연구자들은 Loss Functions 및 평가 지표에 대한 장을 기여했습니다.
과제 및 향후 방향
진전에도 불구하고, 영국 AI 안전 연구는 여러 과제에 직면해 있습니다. Deep learning 발전의 빠른 속도는 평가 방법이 종종 모델 능력보다 뒤처진다는 것을 의미합니다. 연구자들은 최근 Large language model 출시에서 볼 수 있듯이 수조 개의 매개변수를 가진 시스템에 안전 테스트를 확장하는 데 어려움을 지적했습니다. 이 분야는 또한 일반 목적 에이전트에 대해 해결되지 않은 상태로 남아 있는 '정렬 문제' - AI 시스템이 인간 가치에 따라 행동하도록 보장하는 것 - 와 씨름하고 있습니다.
향후 방향에는 해석 가능성 연구에 대한 자금 증가가 포함되며, AI 안전 연구소는 2025년 3월 Layer Normalization 역학 및 기계적 해석 가능성에 대한 프로젝트를 위해 1,000만 파운드 보조금 프로그램을 발표했습니다. 영국 정부는 또한 2025년 중반 현재 의회 검토 중인 새로운 AI 안전법을 제안했으며, 이는 영국에 배포된 모든 최첨단 모델에 대한 안전 테스트를 의무화할 것입니다. 이러한 노력의 결과는 국가 정책과 책임 있는 AI 개발을 위한 글로벌 규범을 모두 형성할 가능성이 높습니다.