버클리 AI 안전(Berkeley AI Safety)은 캘리포니아 대학교 버클리 캠퍼스에서 고급 인공지능 시스템이 인류에게 유익하게 유지되도록 하는 데 전념하는 연구 이니셔티브를 포함한다. 주요 기관은 2016년 버클리 컴퓨터 과학 교수인 스튜어트 J. 러셀(Stuart J. Russell)이 이끄는 학자 그룹에 의해 설립된 인간 호환 인공지능 센터(CHAI)이다. 러셀은 널리 사용되는 교과서 인공지능: 현대적 접근법의 공동 저자이기도 하다. CHAI는 점점 더 유능해지는 인공지능 시스템이 제기하는 위험을 해결하며, AI 행동을 인간 가치에 맞추는 방법을 개발하는 데 초점을 맞춘다.
설립과 자금
CHAI는 2016년 AI 연구를 안전과 인간 호환성에 재집중시키는 사명으로 설립되었다. 설립 교수진에는 여러 기관의 저명한 연구자들이 포함되었다: 버클리의 러셀, 피터 아벨(Pieter Abbeel), 안카 드라간(Anca Dragan); 코넬 대학교의 바트 셀만(Bart Selman)과 조셉 할펀(Joseph Halpern); 미시간 대학교의 마이클 웰먼(Michael Wellman)과 사틴더 싱 바베자(Satinder Singh Baveja); 프린스턴 대학교의 톰 그리피스(Tom Griffiths)와 타니아 롬브로조(Tania Lombrozo)가 포함된다. 설립 첫 해에 오픈 필란스로피 프로젝트(Open Philanthropy Project)는 굿 벤처스(Good Ventures)가 CHAI에 5년간 5,555,550달러를 지원할 것을 권장했다. 이후 OpenPhil과 굿 벤처스의 보조금은 총 12,000,000달러 이상에 달하며, 세계 경제 포럼 및 글로벌 AI 위원회와의 협력 자금도 포함된다.
연구 초점
CHAI의 연구는 가치 정렬, 특히 역강화 학습을 중심으로 이루어지며, 이는 AI 시스템이 명시적 지시를 따르기보다 행동을 관찰하여 인간 가치를 추론하는 방식이다. 이 접근법은 복잡한 실제 시나리오에서 인간 선호도를 학습하고 적응할 수 있는 AI를 만드는 것을 목표로 한다. 센터는 또한 인간-기계 상호작용을 연구해 왔으며, AI가 그러한 통제를 무시할 능력이 있더라도 AI를 안전하게 중단하거나 종료할 수 있는 시스템 설계를 포함한다. 이러한 주제는 머신러닝 및 딥러닝의 더 넓은 과제와 연결되며, 모델의 능력이 증가함에 따라 안전 보장이 점점 더 중요해지고 있다.
더 넓은 맥락
버클리의 AI 안전 작업은 더 넓은 학계 및 산업계 운동의 일부이다. 미래 인류 연구소(Future of Humanity Institute) 및 기계 지능 연구소와 같은 다른 기관들도 유사한 우려를 다룬다. CHAI의 연구는 OpenAI 및 Anthropic과 같은 조직의 노력을 보완하며, 이들도 정렬을 우선시한다. 센터의 인간 호환 AI에 대한 초점은 러셀의 저서 인간 호환에서 강조된 바와 같이 인공 일반 지능의 실존적 위험에 대한 논의에 영향을 미쳤다.
영향과 협력
세계 경제 포럼 및 글로벌 AI 위원회와의 파트너십을 통해 CHAI는 학계를 넘어 정책 입안자와 산업 지도자와 교류하며 영향력을 확장했다. OpenPhil과 굿 벤처스의 자금 지원은 AI 안전을 위한 자선적 노력에서 센터의 역할을 강조한다. 2020년대 중반 현재 CHAI는 연구를 계속 발표하고 학생을 양성하며, 생성형 AI 및 기타 고급 시스템이 인간 통제 하에 유지되도록 보장하는 지식 체계의 성장에 기여하고 있다.
같이 보기
- 인공 일반 지능의 실존적 위험
- 미래 인류 연구소
- 미래 생명 연구소
- 인간 호환
- 기계 지능 연구소