인공지능 안전 연구소(Artificial Intelligence Safety Institute)는 첨단 인공지능(AI) 모델, 즉 프론티어 AI 모델의 안전성을 평가하고 보장하는 것을 목표로 하는 정부 지원 조직의 한 유형이다. 이러한 연구소는 일반적으로 배포 전 테스트를 수행하고, 평가 기준을 개발하며, 가장 강력한 AI 시스템과 관련된 위험을 해결하기 위해 국제적으로 협력한다. 이들의 설립은 AI로 인한 잠재적 피해(존재론적 위험 포함)에 대한 정부의 우려가 커지고 있음을 반영한다.
AI 안전은 2023년에 주목을 받았으며, 특히 AI로 인한 잠재적 존재론적 위험에 대한 공개적 선언이 있었다. 2023년 11월 AI 안전 정상회의에서 영국과 미국은 각각 자체 AISI를 설립했다. 2024년 5월 AI 서울 정상회의에서 국제 지도자들은 영국, 미국, 일본, 프랑스, 독일, 이탈리아, 싱가포르, 한국, 호주, 캐나다 및 유럽 연합의 연구소로 구성된 AI 안전 연구소 네트워크를 구성하기로 합의했다. 2025년에 영국의 AI 안전 연구소는 "AI 보안 연구소"로 개명되었고, 미국의 대응 기관은 AI 표준 및 혁신 센터(CAISI)가 되었다.
연혁
2023년, 영국 총리 리시 수낙은 "영국을 글로벌 AI 안전 규제의 지적 본거지일 뿐만 아니라 지리적 본거지로 만들겠다"는 의사를 밝히고 AI 안전 정상회의 계획을 공개했다. 그는 AI 기업들이 "자신의 숙제를 스스로 채점할 수 없다"며 독립적인 안전 평가의 필요성을 강조했다. 2023년 11월 정상회의에서 영국 AISI는 프론티어 AI 태스크포스의 발전된 형태로 공식 설립되었고, 미국 AISI는 국립표준기술연구소의 일부로 설립되었다. 일본은 2024년 2월에 AI 안전 연구소를 출범시키며 뒤를 이었다.
Politico는 2024년 4월에 많은 AI 기업들이 평가를 위해 가장 첨단 AI 모델에 대한 배포 전 접근 권한을 공유하지 않았다고 보도했다. 메타의 글로벌 사무 총괄 사장 닉 클레그는 많은 AI 기업들이 영국과 미국 AI 안전 연구소가 공통 평가 규칙과 절차를 마련하기를 기다리고 있다고 말했다. 실제로 2024년 4월 영국과 미국 간에 최소 한 건의 공동 안전 테스트에 협력하기로 합의가 체결되었다. 처음에 런던에 설립된 영국 AI 안전 연구소는 2024년 5월 많은 AI 기업이 위치한 샌프란시스코에 사무소를 개설할 것이라고 발표했다. 이는 영국의 기술 장관 미셸 도넬란에 따르면 "AI 안전에 관한 새로운 국제 표준을 설정"하려는 계획의 일부이다.
국제 네트워크
2024년 5월 AI 서울 정상회의에서 유럽 연합과 다른 국가들은 자체 AI 안전 연구소를 설립하고 국제 네트워크를 구성하기로 합의했다. 이 네트워크는 공동 연구, 공동 테스트 연습, 그리고 여러 관할권에 걸친 안전 표준의 조화를 촉진한다. 2025년 7월, 국제 네트워크는 AI 에이전트 평가, 특히 민감 정보 유출이나 사이버 보안과 관련된 문제를 탐구하는 연습을 개최했다. 네트워크 회원들은 또한 2025년 12월 샌디에고 시에서 열린 NeurIPS 2025에서도 만났다.
개별 연구소
호주
알바니지 정부는 2025년 11월 25일에 호주 AI 안전 연구소의 설립을 발표했다. 이 연구소는 산업·과학·자원부 산하에 있으며, 4년간 2,990만 호주 달러의 예산으로 지원된다. 총괄 매니저는 케이트 콘로이로, 그녀는 또한 호주 왕립 공군의 책임 AI 리드이기도 하다.
캐나다
캐나다는 2024년 4월에 AI 안전 연구소를 설립할 것이라고 발표했으며, 그러한 연구소는 2024년 11월에 공식적으로 설립되었다. 이 연구소는 캐나다 혁신·과학·경제개발부 산하에 있지만, 캐나다 고등연구소(CIFAR)와도 협력한다. 5년간 5,000만 캐나다 달러의 예산으로 지원된다.
유럽 연합
2024년 5월에 설립된 EU AI 사무소는 AI 안전 연구소 국제 네트워크의 회원이다.
프랑스
2025년 1월 31일, 프랑스 정부는 국가 AI 평가 및 안전 연구소(INESIA)를 설립했다.
인도
전자·정보기술부는 2024년 10월 7일에 AI 안전 연구소 설립과 관련하여 메타 플랫폼, Google, 마이크로소프트, IBM, OpenAI, NASSCOM, 브로드밴드 인도 포럼, 소프트웨어 얼라이언스, 인도 공과대학(IIT), 더 퀀텀 허브, 디지털 임파워먼트 재단, 액세스 나우와 협의를 개최했다. 규제에서 표준 설정, 위험 식별, 피해 탐지로 초점을 전환하기로 결정했으며, 이 모든 것은 상호 운용 가능한 기술을 요구한다. AISI는 초기 예산으로 인도AI 미션의 안전·신뢰 기둥에 할당된 2억 루피를 사용할 수 있다. 향후 자금은 인도AI 미션의 다른 구성 요소에서 나올 수 있다.
유네스코와 MeitY는 2024년부터 인공지능의 안전 및 윤리 아래 AI 준비 상태 평가 방법론에 대한 협의를 시작했다. 이는 산업에서 AI의 윤리적이고 책임 있는 사용을 장려하기 위한 것이다. 이 연구는 정부가 개입할 수 있는 영역, 특히 제도적 및 규제 역량 강화 노력을 찾을 것이다. 전자·정보기술 장관 아슈위니 바이슈나우는 2025년 1월 30일에 AI 모델의 윤리적이고 안전한 적용을 보장하기 위해 인도AI 안전 연구소의 설립을 발표했다. 이 연구소는 인도의 사회적, 경제적, 문화적, 언어적 다양성에 기반을 두고 인도 데이터 세트에 기반한 국내 R&D를 촉진할 것이다. 학술 및 연구 기관과 민간 부문 파트너의 도움으로, 이 연구소는 인도AI 미션의 안전·신뢰 기둥 내에서 프로젝트를 수행하기 위해 허브-앤-스포크 접근 방식을 따를 것이다.
일본
일본 AISI(또는 J-AISI)는 2024년 2월에 설립되었다. 정보처리진흥기구의 일부로, 약 23명의 직원을 고용하고 있다. 이 연구소는 AISI 위원회, AISI 운영 위원회, 그리고 6개 팀으로 구성된 사무국으로 이루어져 있다. 무라카미 아키코(이전 IBM 재팬 및 손보 재팬 출신)가 연구소의 전무이사로, 히라모토 켄지와 니시무라 스구루가 두 명의 부전무이사로 재직 중이다.
케냐
케냐는 AI 안전 연구소 국제 네트워크에 합류하기로 동의했지만, 아직 세부 사항을 발표하지 않았다. 네트워크에서 유일한 아프리카 국가이다.
싱가포르
디지털 트러스트 센터는 원래 2022년 6월에 설립되었다. 2024년 5월에 싱가포르 AISI로 개명되었다. 난양 공과대학의 일부로, 이 연구소는 인포컴 미디어 개발청과 협력하며 연간 1,000만 싱가포르 달러의 투자로 지원된다.
한국
한국은 2024년 5월에 전자통신연구원 산하에 AI 안전 연구소를 설립할 것이라고 발표했다. 연간 1천만 원에서 2천만 원 사이의 잠정 투자로 지원되며, 최소 30명을 고용할 것이다. 이 연구소는 2024년 11월에 설립되었으며 성남시 분당구에 기반을 두고 있다.
평가 및 표준
AI 안전 연구소의 핵심 기능은 프론티어 모델에 대한 평가 방법론 개발이다. 이러한 평가는 종종 대규모 언어 모델과 같은 영역의 역량에 초점을 맞추며, 머신 러닝 벤치마크, 사이버 보안 위험, 오용 가능성과 관련된 작업을 포함한다. 연구소는 또한 투명성 및 보고에 대한 공통 표준을 수립하기 위해 노력하며, AI 개발자가 첨단 시스템을 출시하기 전에 충족해야 하는 기준선을 만들기 위해 노력한다. 이러한 협력적 접근 방식은 노력의 중복을 피하고 다양한 국가적 맥락에서 안전 평가가 일관되도록 보장한다.