미국 AI 안전 연구소(AISI)는 2023년 11월에 설립된 정부 지원 기관으로, 첨단 인공지능(AI) 모델(프론티어 AI 모델이라고도 함)의 안전성을 평가하고 보장하는 것을 목적으로 한다. 이 연구소는 미국 상무부 산하 연방 기관인 국립표준기술연구소(NIST) 산하에서 운영된다. 이 연구소는 2023년 AI의 잠재적 실존적 위험에 대한 공개적 선언 이후 AI 안전에 대한 전 세계적 관심이 높아진 시기에 설립되었다. 2025년, 미국 AISI는 AI 표준 및 혁신 센터(CAISI)로 개명되어 표준 제정과 혁신 지원으로의 전환을 반영했다. 이 연구소는 2024년 5월 AI 서울 정상회의에서 합의된 대로 영국, 일본, 프랑스, 독일, 이탈리아, 싱가포르, 한국, 호주, 캐나다, 유럽 연합의 대응 기관을 포함하는 국제 AI 안전 연구소 네트워크의 일부이다.
미국 AISI의 주요 임무는 첨단 AI 모델에 대한 독립적 평가를 수행하고, 안전 지침을 개발하며, AI 개발자들 사이에서 모범 사례를 촉진하는 것이다. 여기에는 편향, 오용, 재앙적 피해와 같은 위험을 평가하고 연방 기관과 산업계에 기술적 지침을 제공하는 것이 포함된다. 이 연구소는 학계 기관, 산업 파트너, 국제 대응 기관과 협력하여 AI 안전 연구와 정책을 발전시킨다. 그 작업은 Artificial intelligence 시스템, 특히 Large language model 및 Generative AI 모델이 여러 분야에 걸쳐 빠르게 배포되는 시대에 중요하다.
설립 및 초기 활동
미국 AISI는 2023년 11월 영국 AI 안전 연구소와 함께 AI 안전 정상회의에서 공식적으로 설립되었다. 영국 총리 리시 수낙이 주최한 이 정상회의는 영국을 AI 안전 규제의 글로벌 리더로 자리매김하는 것을 목표로 했다. 수낙은 AI 기업들이 "자신의 숙제를 스스로 채점할 수 없다"며 독립적 안전 평가의 필요성을 강조했다. 미국 AISI는 측정 및 표준 분야의 전문성을 활용하여 NIST의 일부로 설립되었다. 2024년 4월, 미국과 영국은 최소 하나의 공동 안전 테스트에 협력하기로 합의하여 국제 협력의 중요한 이정표를 세웠다. 그러나 같은 달 폴리티코 보고서는 많은 AI 기업들이 평가를 위해 가장 첨단 모델에 대한 사전 배포 접근 권한을 공유하지 않았다고 지적하며 집행의 어려움을 강조했다.
역할 및 책임
미국 AISI는 가장 유능하고 잠재적으로 위험한 시스템인 프론티어 AI 모델 평가에 중점을 둔다. 그 책임에는 평가 방법론 개발, 안전 테스트 수행, 모델 개발자에 대한 지침 발행이 포함된다. 이 연구소는 또한 Machine learning 및 Deep learning 기술과 관련된 위험을 완화하는 데 노력하며, 모델 견고성, 투명성, 인간 가치와의 정렬과 같은 문제를 다룬다. 백악관 과학기술정책실과 같은 다른 연방 기관과 협력하여 정부 전반에 걸쳐 AI 안전 노력을 조정한다. 이 연구소의 작업은 OpenAI, Anthropic, Google DeepMind와 같은 주요 AI 연구소와 MIT CSAIL 및 Stanford AI Lab과 같은 학계 기관의 연구에 의해 정보를 얻는다.
국제 협력
국제 AI 안전 연구소 네트워크의 일부로서 미국 AISI는 공동 훈련과 지식 공유에 참여한다. 2025년 7월, 네트워크는 민감 정보 유출이나 사이버 보안 위협과 관련된 AI 에이전트 평가 문제를 탐구하는 훈련을 개최했다. 회원들은 또한 Neural network 연구의 주요 회의인 샌디에이고에서 열린 NeurIPS 2025에서 만났다. 미국 AISI는 영국, 일본, 한국을 포함한 여러 국가와 양자 협정을 맺어 평가 표준을 조화시키고 기술 전문성을 공유한다. AI 모델이 국경을 넘어 개발되고 배포됨에 따라 이러한 협력은 글로벌 AI 위험을 해결하는 데 필수적이다.
CAISI로의 전환
2025년, 미국 AISI는 AI 표준 및 혁신 센터(CAISI)로 개명되었다. 이 변경은 안전 보장뿐만 아니라 혁신 촉진과 AI 표준 개발을 포함한 더 넓은 임무를 반영한다. CAISI는 NIST 산하에서 계속 운영되며, 산업계가 채택할 수 있는 자발적 지침과 프레임워크를 만드는 데 중점을 둔다. 개명은 엄격한 명령보다 유연성과 시장 주도적 해결책을 강조하는 미국 정부의 AI 규제 접근 방식과 일치한다. CAISI는 Amazon Web Services, Microsoft Azure, Google Cloud와 같은 주요 기술 기업을 포함한 산업계 이해 관계자와 긴밀히 협력하여 안전 조치가 실용적이고 기술 발전을 저해하지 않도록 한다.
영향 및 과제
미국 AISI는 AI 안전 환경에 상당한 영향을 미쳤으며, 국내외 정책에 영향을 주었다. 그 평가는 모델 배포에 관한 결정에 정보를 제공했고 기업들이 안전 관행을 개선하도록 촉구했다. 그러나 연구소는 제한된 자원과 AI 개발의 빠른 속도를 포함한 과제에 직면해 있다. 비평가들은 자발적 지침이 피해를 방지하기에 충분하지 않을 수 있다고 주장하는 반면, 다른 이들은 과잉 규제를 우려한다. 연구소의 효과성은 현대 AI 시스템의 기반이 되는 Transformer (architecture) 아키텍처 및 Multi-Head Attention 메커니즘과 같은 새로운 기술에 적응하는 능력에 달려 있다. 2025년 현재, 연구소는 평가 능력을 강화하고 국제적 범위를 확장하기 위한 지속적인 노력과 함께 계속 진화하고 있다.
관련 발전
다른 국가들도 유사한 연구소를 설립하여 글로벌 네트워크를 만들었다. 예를 들어, 영국 AISI는 처음에 런던에 기반을 두었지만 2024년 5월 AI 기업에 더 가까이 가기 위해 샌프란시스코에 사무소를 열었다. 2024년 2월에 설립된 일본 AISI는 정보기술진흥기구의 일부이며 약 23명의 직원을 고용하고 있다. 2024년 11월에 설립된 한국 AISI는 분당구에 기반을 두고 있으며 연간 1천만에서 2천만 원의 투자로 지원된다. 이들 연구소는 모범 사례를 공유하고 2025년 7월 AI 에이전트 훈련과 같은 공동 프로젝트에 협력한다. 미국 AISI의 이 네트워크에서의 역할은 AI 개발에서의 국가의 리더십과 광범위한 자원을 고려할 때 중심적이다.
미래 방향
앞으로 미국 AISI(현재 CAISI)는 AI 에이전트와 자율 시스템의 안전과 같은 새로운 과제에 초점을 맞출 것으로 예상된다. Waymo 자율주행차나 Tesla에서 사용되는 것과 같이 실제 세계에서 행동을 취할 수 있는 모델에 대한 새로운 평가 방법을 개발할 가능성이 높다. 연구소는 또한 실패가 심각한 결과를 초래할 수 있는 의료 및 금융과 같은 중요한 분야에서 AI와 관련된 문제를 다룰 수 있다. AI 기술이 발전함에 따라 견고한 안전 조치의 필요성은 더욱 커질 것이며, 연구소의 임무는 점점 더 중요해질 것이다. 국제 AI 안전 연구소 네트워크는 글로벌 노력을 조정하여 AI의 이점을 실현하면서 위험을 최소화하는 데 계속 중요한 역할을 할 것이다.
결론
미국 AI 안전 연구소(현재 AI 표준 및 혁신 센터)는 AI 위험을 관리하기 위한 미국 정부 전략의 중요한 구성 요소를 대표한다. 2023년에 설립된 이후 빠르게 변화하는 기술 환경의 과제를 해결하기 위해 진화해 왔다. 평가, 지침, 국제 협력을 통해 연구소는 첨단 AI 시스템이 안전하게 개발되고 배포되도록 보장하는 것을 목표로 한다. 과제는 남아 있지만, 연구소의 작업은 AI에 대한 신뢰를 구축하고 잠재적 피해로부터 사회를 보호하는 데 필수적이다. AI가 삶의 모든 측면에 계속 스며들면서 미국 AISI의 임무는 책임 있는 AI 거버넌스의 초석으로 남을 것이다.