영국 AI 안전 연구소(UK AISI)는 2023년 11월에 설립된 정부 지원 조직으로, 고급 인공지능(AI) 모델, 특히 최첨단 AI 시스템의 안전성을 평가하고 보장하는 것을 목표로 했다. 이 연구소의 설립은 2023년 AI로 인한 잠재적 실존적 위험에 대한 공개적 선언에 이어, 공식적인 AI 안전 규제를 향한 글로벌 운동에서 중요한 단계를 의미했다. 이 연구소는 프론티어 AI 태스크포스에서 발전하여 리시 수낙 총리가 발표했으며, 그는 AI 기업들이 "자신의 숙제를 스스로 채점"할 수 없다며 독립적인 안전 평가의 필요성을 강조했다. 처음에는 런던에 기반을 두었던 UK AISI는 2024년 5월 샌프란시스코로 확장하여 주요 AI 개발자들과 더 가까워졌다. 2025년에는 더 넓은 보안 문제에 대한 초점을 반영하여 AI 보안 연구소로 이름이 변경되었다.
배경 및 동기
인공지능 안전 연구소라는 개념은 고급 AI 모델의 안전성을 평가하고 보장하는 것을 목표로 하는 정부 지원 조직의 한 유형으로 등장했다. 2023년에는 연구자와 업계 지도자들이 AI가 제기하는 잠재적 실존적 위험에 대해 주목할 만한 공개 성명을 내면서 AI 안전이 주목을 받았다. 리시 수낙 총리 하의 영국 정부는 국가를 AI 안전 규제의 선두주자로 자리매김하려 했다. 수낙은 "영국을 글로벌 AI 안전 규제의 지적 고향일 뿐만 아니라 지리적 고향으로 만들겠다"는 의사를 밝히고 AI 안전 정상회의 계획을 공개했다. 이 정상회의는 2023년 11월 블레츨리 파크에서 열렸는데, 이곳은 제2차 세계대전 당시 암호 해독 역할로 유명한 역사적 장소로, 기술 안보에 대한 영국의 헌신을 상징했다.
설립 및 발전
UK AISI는 2023년 11월 AI 안전 정상회의에서 공식적으로 설립되었으며, 같은 해 초에 만들어진 프론티어 AI 태스크포스에서 발전했다. 이 연구소의 주요 임무는 최첨단 AI 모델의 배포 전 안전 평가를 수행하는 것이었으며, Large language model 추론, Generative AI 콘텐츠 생성, 잠재적 오용과 같은 능력에 초점을 맞췄다. 이 연구소는 AI 기업의 자체 평가에 대한 의존도를 줄이고 독립적인 평가를 제공하는 것을 목표로 했다. 2024년 4월, 영국과 미국은 최소 하나의 공동 안전 테스트에 협력하기로 합의하여 국제 협력의 이정표를 세웠다. UK AISI는 2024년 5월 OpenAI, Anthropic, Google DeepMind를 포함한 많은 선도적인 AI 기업이 본사를 둔 샌프란시스코에 사무소를 열 것이라고 발표했다. 이 움직임은 영국 기술 장관 미셸 도넬란에 따르면 "AI 안전에 대한 새로운 국제 표준을 설정"하려는 계획의 일부였다.
국제 네트워크
UK AISI의 설립은 AI 안전 연구소의 글로벌 네트워크 형성을 촉진했다. 2024년 5월 AI 서울 정상회의에서 국제 지도자들은 영국, 미국, 일본, 프랑스, 독일, 이탈리아, 싱가포르, 한국, 호주, 캐나다, 유럽 연합의 연구소로 구성된 네트워크를 형성하기로 합의했다. 이 네트워크는 평가 절차를 조화시키고 모범 사례를 공유하는 것을 목표로 했다. 2025년 7월, 네트워크는 AI 에이전트 평가 문제, 특히 민감한 정보 유출이나 사이버 보안과 관련된 문제를 탐구하는 훈련을 실시했다. 회원들은 또한 Machine learning 연구의 주요 회의인 샌디에이고의 NeurIPS 2025에서 만나 진행 상황과 향후 방향을 논의했다.
개별 연구소
호주
알바니즈 정부는 2025년 11월 25일 호주 AI 안전 연구소의 설립을 발표했다. 이 연구소는 산업, 과학 및 자원부 내에 위치하며 4년 동안 A$29,900,000의 예산으로 지원된다. 총괄 매니저는 케이트 콘로이로, 그녀는 호주 왕립 공군에서 책임 있는 AI 이니셔티브도 이끌고 있다.
캐나다
캐나다는 2024년 4월 AI 안전 연구소를 만들 것이라고 발표했으며, 2024년 11월에 공식적으로 설립되었다. 이 연구소는 혁신, 과학 및 경제 개발 캐나다 산하에서 운영되며, 캐나다 고급 연구 연구소(CIFAR)와 협력한다. 5년 동안 CA$50,000,000의 예산으로 지원된다.
유럽 연합
2024년 5월에 설립된 EU AI 사무소는 AI 안전 연구소의 국제 네트워크의 회원이다. 이 사무소는 규제와 표준에 초점을 맞춰 회원국 전역의 AI 안전 노력을 조정한다.
프랑스
2025년 1월 31일, 프랑스 정부는 국가 AI 평가 및 안전 연구소(INESIA)를 설립했다. 이 연구소는 AI 시스템을 평가하고 유럽 및 국제 안전 표준에 기여하는 것을 목표로 한다.
인도
전자 및 정보 기술부는 2024년 10월 7일 메타 플랫폼(Meta), 구글, 마이크로소프트, IBM, OpenAI, NASSCOM, 인도 공과대학(IIT)을 포함한 다양한 이해 관계자와 AI 안전 연구소 설립에 관한 협의를 개최했다. 규제에서 표준 설정, 위험 식별, 피해 탐지로 초점을 전환하기로 결정했다. 아슈위니 바이슈나우 장관은 2025년 1월 30일 윤리적이고 안전한 AI 응용을 보장하기 위해 인도AI 안전 연구소의 설립을 발표했다. 이 연구소는 인도의 사회적, 경제적, 문화적, 언어적 다양성에 기반한 국내 연구개발을 촉진하고 인도 데이터 세트를 사용할 것이다. 이 연구소는 IIT 및 유네스코와 같은 국제 기구를 포함한 학계 및 민간 부문 파트너와 함께 "허브 앤 스포크" 모델로 운영된다.
일본
일본 AISI(J-AISI)는 2024년 2월 정보 기술 진흥 기관의 일부로 설립되었다. 약 23명의 직원이 있으며 AISI 위원회, AISI 운영 위원회, 6개 팀으로 구성된 사무국으로 이루어져 있다. 이전에 IBM 재팬과 손포 재팬에서 근무한 무라카미 아키코가 전무 이사로, 히라모토 켄지와 니시무라 스구루가 부전무 이사로 재직 중이다.
케냐
케냐는 AI 안전 연구소의 국제 네트워크에 합류하기로 합의하여 네트워크에서 유일한 아프리카 국가가 되었지만, 구체적인 세부 사항은 아직 발표되지 않았다.
싱가포르
2022년 6월에 처음 설립된 디지털 신뢰 센터는 2024년 5월 싱가포르 AISI로 이름이 변경되었다. 이는 난양 기술 대학의 일부이며 정보 통신 미디어 개발 청과 협력하며, 연간 S$10,000,000의 투자로 지원된다.
한국
한국은 2024년 5월 전자 통신 연구원 산하에 AI 안전 연구소를 만들 것이라고 발표했다. 이 연구소는 2024년 11월 분당구에 설립되었으며, 연간 1천만~2천만 원의 잠정 투자와 최소 30명의 직원으로 운영된다.
영향 및 유산
영국 AI 안전 연구소의 설립은 정부 지원 AI 안전 평가의 선례를 세웠으며, 전 세계적으로 유사한 기관의 설립에 영향을 미쳤다. 2025년 AI 보안 연구소로의 발전은 안전을 넘어 보안 문제를 포함하는 더 넓은 범위를 반영했다. 이 연구소의 작업은 국제 표준 개발에 기여했지만, 2024년 4월 Politico가 지적했듯이 많은 AI 기업이 평가를 위해 가장 고급 모델에 대한 배포 전 접근 권한을 공유하지 않았기 때문에 과제가 남아 있다. 메타의 글로벌 사무 총괄 사장인 닉 클레그는 기업들이 영국과 미국 연구소가 확립하기 위해 노력한 공통 평가 규칙과 절차를 기다리고 있다고 언급했다. 국제 네트워크는 Artificial intelligence 거버넌스에서 새로운 과제를 해결하기 위한 정기적인 훈련과 회의를 통해 AI 안전 노력을 조정하는 데 계속 중요한 역할을 하고 있다.