AI 안전 연구소(AI Safety Institute)는 첨단 인공지능(AI) 모델, 흔히 프런티어 AI 모델이라고 불리는 시스템의 안전성을 평가하고 보장하기 위해 설립된 정부 지원 기관이다. 2023년 11월 영국 정부가 프런티어 AI 태스크포스(Frontier AI Taskforce)를 발전시켜 설립했으며, 영국에서 개최된 AI 안전 정상회의(AI Safety Summit)에 이어 만들어졌다. 이 연구소의 주요 임무는 최첨단 AI 시스템에 대한 독립적인 안전 평가를 수행하고, AI 안전 및 거버넌스에 대한 국제 표준을 수립하는 것이다.
이 연구소는 AI 위험에 대한 우려가 고조된 시기에 주목을 받았으며, 특히 2023년 첨단 AI의 잠재적 실존적 위협에 대한 공개적 선언 이후 두각을 나타냈다. 리시 수나크(Rishi Sunak) 총리 아래의 영국 정부는 독립적 감독의 필요성을 강조했으며, 수나크는 AI 기업들이 '자신의 숙제를 스스로 채점할 수 없다'고 밝혔다. 이는 연구소를 배포 전 테스트와 안전 연구를 위한 전담 기관으로 설립하는 결과로 이어졌다.
설립 및 초기 활동
AI 안전 연구소는 2023년 11월 AI 안전 정상회의 기간 중 공식 출범했으며, 프런티어 AI 태스크포스를 계승했다. 처음에는 런던에 기반을 두었으며, 2024년 5월 주요 AI 기업들이 본사를 둔 샌프란시스코에 사무소를 개설할 계획을 발표했다. 이 조치는 영국 기술부 장관 미셸 도넬란(Michele Donelan)에 따르면 'AI 안전에 관한 새롭고 국제적인 표준을 수립'하려는 광범위한 전략의 일환이었다.
2024년 4월, 연구소는 미국의 대응 기관과 공동 안전 테스트 협력에 관한 협정을 체결했다. 이 협력은 평가 절차를 조화시키는 것을 목표로 했으며, 많은 AI 기업들이 공통 규칙이 수립될 때까지 가장 첨단 모델에 대한 배포 전 접근 권한을 공유하는 것을 꺼려했기 때문이다. 연구소의 작업은 OpenAI, Anthropic, Google DeepMind를 포함한 주요 개발업체의 모델 평가에 초점을 맞추고 있다.
국제 네트워크
AI 안전 연구소는 2024년 5월 AI 서울 정상회의(AI Seoul Summit) 이후 유사한 기관들의 광범위한 국제 네트워크의 일부가 되었다. 국제 지도자들은 영국, 미국, 일본, 프랑스, 독일, 이탈리아, 싱가포르, 한국, 호주, 캐나다, 유럽연합의 연구소들로 구성된 네트워크를 형성하기로 합의했다. 이 네트워크는 각국 간 안전 평가를 조정하고 모범 사례를 공유하는 것을 목표로 한다.
2025년 7월, 네트워크는 AI 에이전트 평가 문제, 특히 민감한 정보 유출과 사이버 보안 관련 문제를 탐구하는 훈련을 실시했다. 네트워크 회원들은 또한 샌디에이고에서 열린 NeurIPS 2025에서 협력 노력을 더욱 강화하기 위해 만났다. 네트워크의 형성은 AI 개발과 배포의 글로벌 특성을 고려할 때 AI 안전에 국제적 협력이 필요하다는 인식이 커지고 있음을 반영한다.
평가 및 연구 초점
연구소의 핵심 작업은 프런티어 AI 모델이 공개 출시되기 전에 독립적인 평가를 수행하는 것이다. 여기에는 Large language model 성능, 오용 가능성, 인간 가치와의 정렬과 같은 영역의 평가가 포함된다. 연구소는 Machine learning 연구의 방법론을 자주 사용하여 엄격한 테스트를 설계하고 실행하는 기술 전문가를 고용하고 있다.
주요 초점은 Generative AI 및 Deep learning 기술과 관련된 것을 포함한 첨단 AI 시스템과 연관된 위험을 식별하고 완화하는 것이다. 연구소는 또한 Reinforcement Learning from AI Feedback (RLAIF) 및 Model Pruning과 같은 안전 메커니즘을 연구하여 이러한 기술이 모델 행동에 어떻게 영향을 미치는지 이해한다. 연구소의 연구 결과는 정부 정책에 정보를 제공하고 국제적으로 채택될 수 있는 안전 표준 개발에 기여한다.
개명 및 진화
2025년, 영국의 AI 안전 연구소는 'AI 보안 연구소(AI Security Institute)'로 개명되었으며, 이는 안전과 함께 보안 우려를 포함하도록 임무가 확대되었음을 반영한다. 이 변화는 미국에서 대응 기관이 AI 표준 및 혁신 센터(CAISI)가 된 것과 유사한 진화를 반영했다. 개명은 우발적 피해뿐만 아니라 AI 시스템의 의도적 오용을 다루는 방향으로의 전환을 시사했다.
이름 변경에도 불구하고 연구소는 프런티어 AI 모델 평가와 안전한 개발 관행 촉진이라는 핵심 임무를 계속 수행하고 있다. 연구소는 MIT CSAIL 및 Stanford AI Lab을 포함한 학계 기관 및 산업 파트너와 긴밀한 관계를 유지하며 AI 안전 연구의 최전선에 서 있다. AI 역량이 빠르게 발전함에 따라 연구소의 작업은 여전히 중요하다.
영향 및 유산
AI 안전 연구소는 글로벌 AI 거버넌스 형성에 중요한 역할을 해왔다. 설립은 자발적 산업 자율 규제를 넘어 정부의 AI 감독 참여에 있어 중요한 이정표를 세웠다. 연구소의 독립적 평가 모델은 다른 국가들에 의해 채택되어 전 세계적으로 유사한 기관 설립에 기여했다.
연구소의 배포 전 테스트 강조는 AI 개발자들이 안전에 접근하는 방식에 영향을 미쳐 더 엄격한 내부 평가 프로세스를 장려했다. 국제 파트너와의 협력 노력은 AI 위험에 대한 보다 조정된 글로벌 대응을 만드는 데 도움이 되었다. 2025년 현재, 연구소는 진화하는 AI 안전 및 보안 환경에서 핵심 역할을 계속 수행하고 있다.