영국 AI 안전 연구소(AISI)는 2023년 11월에 설립된 정부 지원 조직으로, 흔히 프론티어 AI 모델이라고 불리는 고급 인공지능(AI) 모델의 안전성을 평가하고 보장하는 것을 목적으로 한다. 이 연구소는 프론티어 AI 태스크포스에서 출발했으며, 영국이 주최한 AI 안전 정상회의에서 공식적으로 출범했다. 연구소의 주요 임무는 최첨단 AI 시스템에 대한 독립적인 안전 평가를 수행하는 것으로, AI 기업들이 위험을 평가할 때 "자신의 숙제를 스스로 채점"할 수 없다는 우려를 해결하는 데 중점을 둔다. 2025년에 연구소는 AI 보안 연구소로 이름을 바꾸었으며, 이는 AI 안전의 보안 관련 측면에 대한 더 넓은 초점을 반영한 것이다.
영국 AISI의 설립은 2023년에 추진력을 얻은 글로벌 운동의 일환이었으며, AI로 인한 잠재적 실존적 위험에 대한 공개 선언에 의해 주도되었다. 연구소는 런던에 본부를 두고 운영되며, 2024년 5월에는 주요 AI 개발자들과 더 가까이 소통하기 위해 샌프란시스코에 사무소를 열었다. 또한 AI 안전 연구소 네트워크를 통해 국제 파트너들과 협력하며, AI 안전 평가를 위한 새로운 국제 표준을 수립하는 것을 목표로 한다.
설립 및 초기 발전
영국 AISI는 2023년 11월 AI 안전 정상회의에서 공식적으로 설립되었으며, 이 회의는 당시 총리였던 리시 수낙이 소집했다. 수낙은 "영국을 글로벌 AI 안전 규제의 지적 중심지일 뿐만 아니라 지리적 중심지로 만들겠다"는 의사를 밝히며 독립적인 감독의 필요성을 강조했다. 연구소는 2023년 초에 고급 AI와 관련된 위험을 평가하기 위해 설립된 정부 기관인 프론티어 AI 태스크포스에서 발전했다. 초기에는 대규모 언어 모델과 기타 생성형 AI 시스템을 평가하여 편향, 잘못된 정보, 오용 등의 잠재적 피해를 식별하는 데 초점을 맞추었다.
2024년 4월, 영국 AISI는 미국 AI 안전 연구소와 최소 하나의 공동 안전 테스트를 수행하기로 합의했다. 이 파트너십은 평가 절차를 조화시키고 중복 노력을 줄이는 것을 목표로 했다. 폴리티코는 2024년 4월에 많은 AI 기업들이 평가를 위해 가장 고급 모델에 대한 사전 배포 접근 권한을 공유하지 않았다고 보도했는데, 이는 부분적으로 영국과 미국 연구소가 공통 규칙에 합의하기를 기다리고 있었기 때문이다. 메타의 글로벌 사무 총괄인 닉 클레그는 기업들이 접근 권한을 부여하기 전에 평가 표준에 대한 명확성을 원한다고 언급했다.
연구소는 2024년 5월에 OpenAI 및 Anthropic과 같은 주요 AI 기업들이 위치한 샌프란시스코에 사무소를 열 것이라고 발표했다. 영국 기술 장관 미셸 도넬란에 따르면, 이 조치는 "AI 안전에 대한 새로운 국제 표준을 수립"하려는 계획의 일환이었다. 샌프란시스코 사무소는 개발자들과의 직접적인 소통을 촉진하고 프론티어 모델의 사전 배포 테스트를 가능하게 하기 위한 것이었다.
임무 및 목표
영국 AISI의 핵심 임무는 프론티어 AI 모델을 평가하여 배포 전에 잠재적 안전 위험을 식별하는 것이다. 여기에는 사이버 보안, 생물 보안, 자율 의사 결정과 같은 영역의 역량 평가가 포함된다. 연구소는 정책 입안자와 개발자에게 증거 기반 지침을 제공하여 고급 AI와 관련된 위험을 완화하는 것을 목표로 한다. 그 작업은 독립적 평가 원칙에 기반하며, 안전 평가가 상업적 이익에 영향을 받지 않도록 보장한다.
연구소는 또한 AI 안전을 위한 국제 표준 개발에 기여한다. 다른 국가 연구소들과 협력함으로써, AI 시스템 평가를 위한 공통 프레임워크를 만들어 전 세계적으로 채택될 수 있도록 한다. 여기에는 방법론 공유, 공동 테스트 수행, 공공 담론에 정보를 제공하기 위한 결과 발표가 포함된다. 연구소의 연구는 종종 Google DeepMind 및 기타 주요 연구소를 포함한 주요 개발자들의 모델을 스트레스 테스트하는 것을 포함한다.
2025년에 연구소는 AI 보안 연구소로 이름을 바꾸었으며, 이는 사이버 공격에서 AI 사용이나 유해 콘텐츠 확산과 같은 보안 관련 위협에 대한 초점 확대를 의미한다. 이 변화는 AI 거버넌스의 진화하는 우선순위를 반영한 것으로, 일반 안전에서 특정 보안 영향으로 관심이 이동했기 때문이다.
국제 네트워크
2024년 5월 AI 서울 정상회의에서 국제 지도자들은 영국, 미국, 일본, 프랑스, 독일, 이탈리아, 싱가포르, 한국, 호주, 캐나다 및 유럽 연합의 기관들로 구성된 AI 안전 연구소 네트워크를 구성하기로 합의했다. 영국 AISI는 이 네트워크에서 중심 역할을 하며, 평가 노력을 조정하고 모범 사례를 공유하는 것을 목표로 한다. 네트워크는 2025년 7월에 AI 에이전트 평가 문제, 특히 민감한 정보 유출과 사이버 보안에 관한 문제를 탐구하기 위한 연습을 실시했다. 회원들은 또한 2025년 12월 샌디에이고에서 열린 NeurIPS에서 AI 안전 연구의 최근 발전에 대해 논의하기 위해 만났다.
네트워크의 구성은 AI 거버넌스에 대한 글로벌 협력으로의 중요한 진전을 의미했다. 각 회원 연구소는 국가적 맥락 내에서 운영되지만, 프론티어 AI의 안전한 개발을 보장하기 위한 집단적 노력에 기여한다. 특히 영국 AISI와 미국 연구소의 협력은 두 주요 AI 국가 간의 평가 표준을 일치시키는 데 중요한 역할을 했다.
개별 연구소
호주
호주 AI 안전 연구소는 2025년 11월 25일에 알바니지 정부에 의해 발표되었다. 산업, 과학 및 자원부 내에 위치하며, 4년 동안 2,990만 호주 달러의 예산으로 지원된다. 총괄 매니저는 케이트 콘로이로, 그녀는 호주 왕립 공군의 책임 있는 AI 이니셔티브도 이끌고 있다. 연구소는 국방 및 공공 서비스를 포함한 국내 응용을 위한 AI 시스템 평가에 중점을 둔다.
캐나다
캐나다는 2024년 4월에 AI 안전 연구소 설립 계획을 발표했으며, 연구소는 2024년 11월에 공식적으로 설립되었다. 혁신, 과학 및 경제 개발 캐나다 산하에서 캐나다 고급 연구 연구소(CIFAR)와 협력하여 운영된다. 연구소는 5년 동안 5,000만 캐나다 달러의 예산으로 지원되며, 다양한 부문에 걸친 연구 및 평가 활동에 자금을 지원한다.
유럽 연합
2024년 5월에 설립된 EU AI 사무소는 국제 AI 안전 연구소 네트워크의 회원이다. 회원국 전반의 AI 안전 노력을 조정하며, 규제 준수와 위험 평가에 중점을 둔다. 사무소는 국가 연구소들과 긴밀히 협력하여 EU 내에서 일관된 AI 거버넌스 접근 방식을 보장한다.
프랑스
프랑스는 2025년 1월 31일에 인공지능 평가 및 안전을 위한 국가 연구소(INESIA)를 설립했다. 이 국가 AI 평가 및 보안 연구소는 프랑스 산업 및 공공 서비스에서 사용되는 AI 시스템의 안전성을 평가하는 임무를 맡고 있다. 다른 유럽 연구소들과 협력하여 평가 방법론을 조화시키고 있다.
인도
전자 및 정보 기술부(MeitY)는 2024년 10월 7일에 Meta Platforms, Google, Microsoft, IBM, OpenAI, NASSCOM 및 인도 공과 대학(IIT)을 포함한 다양한 이해 관계자와 AI 안전 연구소 설립에 관한 협의를 실시했다. 규제에서 표준 설정, 위험 식별 및 피해 탐지로 초점을 전환하기로 결정했다. 연구소는 초기 예산으로 IndiaAI 미션의 안전 및 신뢰 기둥에 할당된 2억 루피를 사용할 수 있다. 장관 아쉬위니 바이슈나우는 2025년 1월 30일에 인도의 사회적, 경제적, 문화적 및 언어적 다양성에 기반한 국내 연구 개발을 촉진하기 위해 IndiaAI 안전 연구소의 설립을 발표했다. 연구소는 학술 기관, 기술 기업 및 유네스코와 같은 국제 기구와의 협력을 통해 "허브 앤 스포크" 모델로 운영된다.
일본
일본 AISI(J-AISI)는 2024년 2월에 정보 처리 진흥 기구의 일부로 설립되었다. 약 23명의 직원으로 구성되며, AISI 위원회, AISI 운영 위원회 및 6개 팀으로 구성된 사무국으로 이루어져 있다. 이전에 IBM 재팬과 손포 재팬에서 근무한 무라카미 아키코가 전무 이사로, 히라모토 켄지와 니시무라 스구루가 부전무 이사로 활동한다. 연구소는 일본 시장 요구에 맞는 AI 시스템 평가에 중점을 둔다.
케냐
케냐는 국제 AI 안전 연구소 네트워크에 합류하기로 동의했지만 구체적인 세부 사항은 발표하지 않았다. 네트워크에서 유일한 아프리카 국가로, AI 안전 노력의 글로벌 범위 확대를 강조한다.
싱가포르
2022년 6월에 처음 설립된 디지털 신뢰 센터는 2024년 5월에 싱가포르 AISI로 이름을 바꾸었다. 난양 기술 대학의 일부로, 정보 통신 미디어 개발청과 협력하며 연간 1,000만 싱가포르 달러의 투자로 지원된다. 동남아시아의 신뢰 및 안전을 위한 AI 시스템 평가에 중점을 둔다.
한국
한국은 2024년 5월에 전자 통신 연구원 산하에 AI 안전 연구소를 설립할 것이라고 발표했다. 연간 1천만 원에서 2천만 원의 잠정 투자로 지원되며 최소 30명을 고용한다. 연구소는 2024년 11월에 설립되었으며 분당구에 기반을 두고 있다.
영향 및 향후 방향
영국 AISI는 독립적 평가의 선례를 설정하며 글로벌 AI 안전 담론에 상당한 영향을 미쳤다. 그 작업은 영국 및 해외의 정책 결정에 정보를 제공했으며, 규제 프레임워크 개발에 기여했다. 연구소의 국제 파트너와의 협력은 평가 기술 및 위험 평가 도구의 공유를 촉진했다.
앞으로 연구소는 특히 생성형 AI 및 자율 시스템과 같은 분야에서 AI의 급속한 발전에 보조를 맞추는 데 어려움에 직면할 것이다. 보안에 초점을 맞춘 이름 변경은 AI 기반 사이버 공격과 같은 즉각적인 위협을 해결하는 방향으로의 전환을 시사한다. 더 많은 국가들이 자체 안전 기관을 설립함에 따라 국제 네트워크에서 연구소의 역할은 확장될 가능성이 높다.
영국 AISI의 임무는 프론티어 AI 모델이 책임 있게 개발되고 배포되도록 보장하는 데 여전히 중심적이다. 엄격하고 독립적인 평가를 제공함으로써 혁신을 촉진하면서 위험을 완화하는 것을 목표로 한다. AI 기술이 진화함에 따라 연구소의 방법과 우선순위는 적응해야 할 것이지만, 공공 이익을 보호하는 핵심 목표는 지속된다.