인간과 양립 가능한 인공지능 센터(CHAI)는 캘리포니아 대학교 버클리에 있는 연구 센터로, 고급 인공지능 시스템이 인간의 가치와 의도에 부합하도록 보장하는 방법을 개발하는 데 중점을 둔다. 2016년에 설립된 이 센터는 인공지능의 능력이 성장함에 따라 계속 유익하게 유지되도록 하는 장기적 과제를 다루며, 특히 가치 정렬과 통제 가능한 기계 행동에 중점을 둔다.
이 센터는 버클리 컴퓨터 과학 교수이자 널리 사용되는 교과서 인공지능: 현대적 접근법의 공동 저자인 스튜어트 J. 러셀이 이끄는 학자 그룹에 의해 설립되었다. 러셀은 AI 안전 논의에서 저명한 목소리로, 고정된 목표를 최적화하는 현재의 패러다임이 진정한 인간 선호에서 벗어나는 행동을 가진 시스템을 생산할 수 있다고 주장해 왔다.
연구 초점
CHAI의 핵심 연구 전략은 역강화학습을 통한 가치 정렬에 중점을 둔다. 이 접근법에서 AI 시스템은 명시적 지시나 보상 함수가 아닌 인간 행동 관찰을 통해 인간 가치를 추론한다. 목표는 인간이 직접 표현하기 어려운 선호를 포함하여 사람들이 진정으로 원하는 것을 학습할 수 있는 AI를 만드는 것이다.
이 센터는 또한 지능형 에이전트가 무시할 수 있는 "오프 스위치"를 가진 시나리오에서 인간-기계 상호작용의 역학을 조사했다. 이 연구 계열은 AI가 인간 통제에 계속 순응하도록 설계될 수 있는 방법, 본질적으로 시스템이 스스로 꺼질 수 있도록 허용해야 할 때를 인식하도록 가르치는 방법을 검토한다.
교수진 및 협력자
CHAI의 교수진 구성원은 여러 기관에 걸쳐 있다. 러셀과 함께 버클리 소속 구성원으로는 피터 아벨과 안카 드라간이 있다. 이 센터에는 코넬 대학교의 바트 셀먼과 조지프 할펀, 미시간 대학교의 마이클 웰먼과 사틴더 싱 바베자, 프린스턴 대학교의 톰 그리피스와 타니아 롬브로조도 포함된다. 이러한 학제 간 구성은 컴퓨터 과학, 인지 과학, 철학의 전문성을 결합한다.
이 센터는 세계경제포럼 및 글로벌 AI 위원회와의 협력을 포함하여 학계를 넘어선 파트너십을 구축했다. 이러한 연결은 연구 결과를 정책 논의와 산업 관행으로 전환하는 것을 목표로 한다.
자금 지원 역사
CHAI의 초기 자금은 2016년에 이루어졌으며, 오픈 필란트로피 프로젝트가 굿 벤처스에 5년간 5,555,550달러를 지원할 것을 권장했다. 이후 CHAI는 오픈필과 굿 벤처스로부터 총 12,000,000달러를 초과하는 추가 보조금을 받았다. 이러한 지속적인 재정 지원 덕분에 센터는 대학원생, 박사후 연구원, 다기관 연구 노력을 지원할 수 있었다.
출판물 및 성과
CHAI에 소속된 연구자들은 보상 학습, 교정 가능성, AI 시스템의 사양 한계를 포함한 주제에 대해 광범위하게 출판했다. 센터의 연구는 주요 머신러닝 및 AI 학회에 발표되었으며, 그 결과는 인공 일반 지능으로 인한 실존적 위험에 대한 더 넓은 논쟁에 정보를 제공했다. 러셀의 2019년 저서 인간과 양립 가능은 센터의 많은 아이디어를 종합하여 인간 선호에 대한 불확실성을 핵심 원칙으로 하는 AI 설계의 필요성을 접근 가능한 형태로 제시한다.
영향 및 유산
이 센터는 딥러닝 및 AI 연구 내에서 인정받는 분야로서 AI 안전의 성장에 기여했다. 엄격한 형식적 프레임워크에 대한 강조는 연구자들이 보상 해킹 및 사양 게임과 같은 문제에 접근하는 방식에 영향을 미쳤다. 대규모 언어 모델 및 기타 고급 시스템이 더 강력해짐에 따라 CHAI가 원래 제기한 정렬 문제는 이론적 우려에서 실용적 엔지니어링 과제로 이동했으며, 이는 OpenAI 및 Anthropic과 같은 조직에 영향을 미친다.
같이 보기
- 인공 일반 지능으로 인한 실존적 위험
- 기계 지능 연구소
- 인류 미래 연구소
- 생명 미래 연구소
외부 링크
공식 웹사이트