미국 AI 안전 연구소(AISI)는 2023년 미국 국립표준기술연구소(NIST) 내에 설립되어, 고급 인공지능 시스템의 안전한 개발과 배포를 보장하기 위한 연구를 수행한다. 연구 의제는 기술 평가, 레드팀(red-teaming), AI 역량 및 위험에 대한 측정 표준 개발을 아우른다. 연구소는 학계, 산업 파트너, 국제 기구와 협력하여 생성형 AI 및 기타 신흥 기술이 제기하는 문제를 해결한다.
AISI의 연구는 엄격하고 경험적인 테스트가 AI 시스템의 행동, 한계, 잠재적 피해를 이해하는 데 필수적이라는 신념에 기반한다. 연구소의 작업은 대규모 언어 모델과 딥러닝 분야에서 고급 역량을 보여주는 프런티어 모델에 초점을 맞춰, AI 개발자를 위한 정책 권고와 모범 사례를 알린다.
기술 평가 및 레드팀
AISI 연구의 핵심 구성 요소는 AI 모델의 기술 평가를 설계하고 수행하는 것이다. 이러한 평가는 사이버 공격, 생물학적 위협 생성, 자율 복제 등 위험한 역량을 테스트한다. 연구자들은 안전 조치를 우회하거나 유해한 출력을 유도하려는 팀이 참여하는 레드팀 방법론을 사용한다. 2024년, AISI는 표준화된 벤치마크와 적대적 테스트 프로토콜을 포함하는 프런티어 AI 모델 평가 프레임워크를 발표했다. 연구소는 또한 다양한 시나리오에서 모델 행동의 확장 가능한 평가를 가능하게 하는 자동 평가 도구를 개발한다.
안전 표준 및 지침
AISI는 AI 시스템을 위한 안전 표준과 지침 개발에 기여한다. 여기에는 견고성, 공정성, 투명성에 대한 지표 정의와 모델 문서화 및 배포에 대한 모범 사례 수립이 포함된다. 연구소는 NIST AI 위험 관리 프레임워크와 같은 국제적으로 인정받는 규범을 만들기 위해 표준 기구와 협력한다. 이 프레임워크는 AI 위험을 관리하는 구조화된 접근 방식을 제공한다. 이 분야의 연구는 또한 모델 가지치기와 데이터 증강과 같은 기법이 모델 안전성과 신뢰성을 개선하는 효과를 탐구한다.
협력 및 파트너십
AISI는 MIT 컴퓨터과학·인공지능 연구소, 스탠포드 AI 연구소, 버클리 AI 연구를 포함한 주요 AI 연구 기관 및 오픈AI, 앤트로픽, 구글 딥마인드와 같은 산업계와 협력한다. 이러한 파트너십은 최첨단 모델과 전문성에 대한 접근을 용이하게 하여, AISI가 프런티어 시스템의 배포 전 테스트를 수행할 수 있게 한다. 연구소는 또한 영국 AI 안전 연구소와 같은 국제 기관과 협력하여 평가 접근 방식을 조화시키고 결과를 공유한다. 2024년, AISI는 AI 시스템 안전 검증을 위한 새로운 방법을 개발하기 위해 카네기 멜론 대학교와의 파트너십을 발표했다.
정책 및 공공 참여
AISI의 연구는 AI 안전에 관한 정책 결정과 공공 담론에 직접적으로 영향을 미친다. 연구소는 규제 기관과 입법자를 위한 권고 사항을 요약한 보고서와 브리핑을 발행한다. 또한 시민 사회와 학계를 포함한 이해 관계자 간의 대화를 촉진하기 위해 워크숍과 컨퍼런스를 개최한다. AISI의 작업은 AI 감독과 관련된 행정 명령과 입법 제안에 영향을 주었으며, 증거 기반 규제의 필요성을 강조한다. 연구소는 평가 결과와 안전 연구의 공개 저장소를 유지하여 투명성과 책임성을 증진한다.
향후 방향
앞으로 AISI는 해석 가능성, 정렬, AI의 사회적 영향과 같은 분야로 연구를 확장할 계획이다. 연구소는 인간 가치에 대한 모델 정렬을 개선하기 위해 인간 피드백 기반 강화 학습(RLHF) 및 기타 기법의 사용을 탐구하고 있다. 또한 AISI는 인공 일반 지능의 잠재적 위험과 장기적 안전 문제를 조사하고 있다. AI 기술이 진화함에 따라, AISI는 안전 연구의 최전선에 서서 새로운 도전에 대응하고 AI가 사회에 이익을 주면서 피해를 최소화하도록 방법을 적응시키는 것을 목표로 한다.