미국 AI 안전 연구소(AISI)는 미국 국립표준기술연구소(NIST) 내에 설립된 정부 지원 조직으로, 고급 인공지능(AI) 모델, 흔히 프런티어 AI라고 불리는 모델의 안전성을 평가하고 촉진하는 역할을 한다. 이 연구소는 2023년 11월 영국에서 열린 AI 안전 정상회의에서 영국의 AI 안전 연구소와 함께 설립되었으며, AI로 인한 잠재적 실존적 위험에 대한 우려가 커지는 데 대응하기 위한 것이었다. 2025년에는 표준과 혁신에 대한 더 넓은 초점을 반영하여 AI 표준 및 혁신 센터(CAISI)로 이름이 변경되었다.
이 연구소는 미국 상무부 산하 비규제 기관인 NIST의 일부로 운영된다. 주요 임무는 AI 안전을 위한 측정 과학, 표준, 평가 방법을 개발하는 것이며, 편향, 오용, 사이버 보안 취약성과 같은 위험에 대해 프런티어 모델을 테스트하는 것을 포함한다. 또한 다른 정부 기관, 학술 기관, 민간 기업과 협력하여 AI 안전 연구와 실무를 발전시킨다.
설립 및 초기 활동
미국 AISI는 2023년 11월 1일 블레츨리 파크에서 열린 AI 안전 정상회의에서 발표되었으며, 이 회의에서 영국과 미국은 모두 국가 AI 안전 연구소를 설립하기로 약속했다. 미국 연구소는 NIST 산하에서 출범했으며, 초기 자금과 인력은 기존 NIST AI 프로그램에서 충당되었다. 2024년 4월, 미국과 영국 AISI는 최소 한 건의 공동 안전 테스트를 실시하기로 합의하여 평가 절차를 조화시키는 것을 목표로 했다. 이러한 파트너십은 AI 안전에 대한 국제 표준을 설정하기 위한 더 넓은 노력의 일환이었으며, 많은 AI 기업들이 평가를 위해 가장 고급 모델에 대한 사전 배포 접근 권한을 아직 공유하지 않았기 때문이다.
국제 네트워크 및 협력
2024년 5월 AI 서울 정상회의에서 국제 지도자들은 미국, 영국, 일본, 프랑스, 독일, 이탈리아, 싱가포르, 한국, 호주, 캐나다, 유럽 연합을 포함한 AI 안전 연구소 네트워크를 구성하기로 합의했다. 미국 AISI는 이 네트워크에 참여하며, 공동 훈련을 실시하고 모범 사례를 공유한다. 2025년 7월, 네트워크는 AI 에이전트 평가, 특히 민감한 정보 유출과 사이버 보안과 관련된 문제를 탐구하는 훈련을 실시했다. 회원들은 또한 2025년 샌디에이고에서 열린 NeurIPS에서 만나 AI 안전 평가 방법을 논의했다.
미국 AISI는 또한 양자적으로 국제 파트너와 협력한다. 예를 들어, 영국 AISI와 협력하여 평가 표준을 조정했으며, EU AI 사무소 및 기타 국가 연구소와 프런티어 AI 테스트를 위한 공통 프레임워크를 개발하기 위한 논의에 참여했다.
주요 초점 영역 및 핵심 산출물
이 연구소는 여러 주요 영역에 초점을 맞춘다: 대규모 언어 모델 및 기타 생성형 AI 시스템을 위한 평가 벤치마크 개발, AI 위험 관리를 위한 지침 수립, 그리고 MIT CSAIL 및 Stanford AI Lab과 같은 학술 연구소와 협력하여 AI 안전에 관한 연구 수행. 또한 NIST의 더 넓은 AI 이니셔티브와 조율하여 AI 투명성, 책임성, 견고성을 위한 표준 작업을 수행한다.
핵심 산출물에는 AI 모델 평가에 관한 기술 보고서, 안전 테스트를 위한 공개 데이터 세트, AI 위험 평가를 위한 프레임워크가 포함된다. 또한 국제 표준화 기구(ISO)가 주도하는 것과 같은 국제 표준 노력에 기여하여 AI 안전 관행이 전 세계적으로 일관되도록 보장한다.
산업계 및 학계와의 관계
미국 AISI는 OpenAI, Anthropic, Google DeepMind를 포함한 주요 AI 기업과 협력하여 사전 배포 테스트를 위해 프런티어 모델에 대한 접근 권한을 얻는다. 또한 Berkeley AI Research 및 Carnegie Mellon University와 같은 학술 기관과 협력하여 AI 안전 연구를 발전시킨다. 이러한 파트너십은 이론적 연구와 실용적인 안전 평가 사이의 격차를 메우는 것을 목표로 한다.
2024년, 이 연구소는 Politico가 보도한 바와 같이 일부 고급 모델에 대한 사전 배포 접근 권한을 얻는 데 어려움을 겪었다. 그러나 자발적 평가 프로그램을 계속 개발하여 기업들이 테스트를 위해 모델을 제출하도록 장려했다. 연구소의 작업은 백악관의 AI 권리 장전 및 AI 안전에 관한 행정 명령과 같은 다른 정부 노력으로 보완된다.
CAISI로의 전환
2025년, 미국 AISI는 AI 표준 및 혁신 센터(CAISI)로 이름이 변경되었으며, 이는 안전과 함께 혁신을 촉진하는 더 넓은 임무로의 전환을 의미한다. 이러한 변화는 AI 평가를 위한 표준 설정에서 연구소의 역할이 커지고 국제 네트워크 참여가 확대된 것과 일치한다. 이름 변경은 정부가 AI 거버넌스에 접근하는 방식, 즉 안전과 경제적 경쟁력을 균형 있게 조정하는 방식의 지속적인 진화를 반영한다.
2025년 현재, CAISI는 NIST 산하에서 계속 운영되며 AI 기술이 안전하고, 보안성이 있으며, 신뢰할 수 있도록 보장하기 위한 표준, 도구, 평가 개발에 초점을 맞추고 있다. AI 시스템이 더욱 강력해지고 사회에 통합됨에 따라 그 작업은 여전히 중요하다.