영국 AI 안전 연구소(AISI)는 AI 안전 과학을 발전시키기 위해 설립된 정부 지원 기관이다. 그 연구 부서는 고급 인공지능 시스템에 대한 기술적 평가를 수행하고, 새로운 안전 벤치마크를 개발하며, 공공 정책을 알리기 위한 증거를 생산한다. 이 연구소는 대규모 언어 모델과 기타 생성형 AI 시스템을 포함한 최첨단 모델에 초점을 맞추며, 오용, 사회적 피해, 통제 상실과 관련된 위험을 평가한다.
연구 프로그램은 경험적 테스트와 과학적 엄격성에 기반하여 구성된다. 주요 AI 개발자, 학술 기관, 국제 파트너와 협력하여 연구 결과와 방법론을 공유한다. 이 연구소의 작업은 AI 규제와 안전 표준에 대한 글로벌 논의에 영향을 미쳤다.
최첨단 모델 평가
연구 부서의 핵심 활동은 최첨단 AI 모델의 체계적 평가이다. 이러한 평가는 유해한 작업 수행 능력, 탈옥에 대한 취약성, 인간 의도와의 정렬을 포함한 능력과 안전 속성을 다룬다. 이 연구소는 OpenAI, Anthropic, Google DeepMind를 포함한 주요 개발자의 모델을 테스트했으며, 강점과 취약점을 모두 강조하는 결과를 발표했다.
평가는 자동화된 테스트와 전문가 주도의 레드팀 공격을 결합하여 수행된다. 연구소는 사이버 공격 능력, 생물학적 오용 가능성, 설득적 조작과 같은 특정 위험 영역을 탐구하는 맞춤형 벤치마크를 개발한다. 이러한 벤치마크는 더 넓은 안전 연구를 장려하기 위해 공개적으로 제공되는 경우가 많다.
안전 벤치마크 및 도구
연구의 중요한 산출물은 안전 벤치마크와 평가 도구의 개발이다. 이러한 자원은 다른 연구자와 개발자가 표준화된 기준에 따라 AI 시스템을 평가할 수 있게 한다. 연구소는 고위험 시나리오에서 모델 행동을 측정하는 데이터 세트와 점수 프레임워크를 공개했다.
예를 들어, 연구소는 적대적 입력에 대한 모델 견고성과 안전 지침 준수의 일관성을 테스트하는 도구를 개발했다. 이러한 도구는 재현 가능하고 확장 가능하도록 설계되어 새로운 모델이 출시될 때 지속적인 모니터링을 가능하게 한다. 벤치마크는 또한 영국 정부에 대한 연구소의 자문 보고서에 정보를 제공한다.
정책 및 국제 협력
연구 부서는 정책 입안자와 긴밀히 협력하여 기술적 발견을 실행 가능한 권고로 전환한다. 그 보고서는 안전과 경제 성장을 균형 있게 맞추는 혁신 친화적 프레임워크 개발을 포함한 영국의 AI 규제 접근 방식에 기여했다. 연구소는 AI 안전 정상회의와 같은 국제 포럼에 참여하여 연구 결과를 공유하고 다른 국가 안전 연구소와 조정한다.
협력은 University of Oxford 및 MIT CSAIL을 포함한 학술 파트너와 산업 연구소로 확장된다. 이러한 파트너십은 연구소가 최첨단 연구와 다양한 전문 지식에 접근하는 데 도움이 된다. 연구소는 또한 공공 우려를 해결하기 위해 시민 사회와 협력한다.
연구 분야 및 방법
연구 의제는 여러 기술 영역을 다룬다. 한 영역은 신경망이 결정을 내리는 방식을 이해하는 것을 목표로 하는 해석 가능성이다. 다른 영역은 RLHF 및 Curriculum Learning과 같은 기술을 사용하여 모델이 인간 가치에 따라 행동하도록 보장하는 정렬에 초점을 맞춘다. 연구소는 또한 안전 속성에 영향을 미칠 수 있는 Model Pruning 및 기타 효율성 방법을 연구한다.
방법에는 대규모 경험적 테스트, 통계 분석, 이론적 프레임워크 개발이 포함된다. 연구소는 Machine learning, 컴퓨터 과학, 인지 과학 배경을 가진 연구원을 고용한다. 대규모 모델에 대한 평가를 실행하기 위해 컴퓨팅 클러스터를 유지하지만, 특정 하드웨어 세부 사항은 공개적으로 공개되지 않는다.
영향 및 향후 방향
2023년 설립 이후, 연구소는 여러 영향력 있는 보고서와 데이터 세트를 발표했다. 그 작업은 정책 문서에서 인용되었으며 안전 테스트에 관한 산업 관행을 형성했다. 연구소는 직원과 컴퓨팅 자원을 늘릴 계획으로 연구 역량을 계속 확장하고 있다.
향후 방향에는 통제 상실 시나리오와 같은 고급 AI로 인한 장기적 위험에 대한 더 깊은 조사가 포함된다. 연구소는 또한 배포된 시스템을 위한 실시간 모니터링 도구를 개발하는 것을 목표로 한다. 2025년 현재, AI 개발이 안전하고 유익하도록 보장하는 글로벌 노력에서 중심 역할을 계속하고 있다.