DeepMind 안전 연구는 Google DeepMind의 부서로, AI 시스템과 관련된 위험을 연구하고 완화하는 데 전념하고 있다. 더 넓은 연구소의 일부로서, 대규모 언어 모델과 생성형 AI를 포함한 고급 AI 기술이 안전하고 윤리적이며 인간의 가치와 일치하는 방식으로 개발되고 사용되도록 보장하는 데 기여한다. 이 부서는 머신 러닝, 딥 러닝, 신경망과 같은 분야의 전문성을 활용하여 견고성, 투명성, 통제와 같은 과제를 해결한다.
안전 연구 노력은 2010년 데미스 허사비스, 셰인 레그, 무스타파 술레이만이 설립한 DeepMind의 창립 사명에 뿌리를 두고 있다. 특히 레그는 AI 안전의 저명한 옹호자였으며, 회사는 오랫동안 이 분야에 전념하는 전담 팀과 이니셔티브를 유지해 왔다. 2023년 4월 Google Brain과의 합병으로 Google DeepMind가 형성된 후, 안전 연구는 통합되고 확장되었으며, 이는 업계에서 안전한 AI 개발의 중요성이 커지고 있음을 반영한다.
역사와 진화
DeepMind의 AI 안전에 대한 헌신은 2014년 Google에 인수되기 이전부터 시작되었다. 2013년, 회사는 퐁(Pong)과 브레이크아웃(Breakout) 같은 게임에서 인간의 능력을 능가하는 AI 시스템에 대한 연구를 발표했으며, 이는 Google의 관심에 기여한 것으로 알려져 있다. 인수 후, DeepMind는 AI 윤리 위원회를 설립했지만, 그 구성원은 공개되지 않았다. 2017년, 회사는 AI의 사회적 및 윤리적 영향에 초점을 맞춘 DeepMind 윤리 및 사회 단위를 출범시켰으며, 철학자 닉 보스트롬이 자문으로 활동했다.
이후 몇 년 동안, DeepMind의 안전 연구는 기술적 성과와 함께 확장되었다. 2016년 바둑 세계 챔피언 이세돌을 물리친 AlphaGo의 개발은 강화 학습의 잠재력을 부각시키고 AI 의사 결정에 대한 질문을 제기했다. 이후의 시스템인 AlphaZero와 MuZero는 일반적인 게임 플레이 능력을 입증했으며, AlphaFold는 단백질 접힘 예측에서 돌파구를 마련했으며, 이 모든 것이 안전 고려 사항에 정보를 제공했다.
2023년 Google Brain과의 합병은 두 주요 AI 연구 그룹을 통합하여 안전에 더 강한 초점을 둔 단일 조직을 만들었다. 이 움직임은 부분적으로 OpenAI의 ChatGPT 공개에 대한 대응이었으며, 이는 AI 위험과 거버넌스에 대한 업계 전반의 관심을 가속화했다.
주요 연구 분야
DeepMind 안전 연구는 다양한 기술적 및 사회적 과제를 다룬다. 핵심 영역 중 하나는 정렬(alignment)로, AI 시스템이 인간의 의도에 따라 행동하도록 보장하는 것을 포함한다. 여기에는 인간 피드백을 통한 강화 학습 방법, 예를 들어 RLHF 개발과 견고성을 개선하기 위한 손실 함수 및 최적화 기법 연구가 포함된다.
또 다른 초점은 해석 가능성(interpretability)으로, 신경망이 어떻게 결정을 내리는지 이해하는 것을 목표로 한다. 이 분야의 연구에는 어텐션 메커니즘과 트랜스포머 분석, 그리고 모델 행동을 시각화하고 설명하는 도구 개발이 포함된다. 안전 연구는 또한 적대적 견고성, 모델 가지치기, 데이터 증강을 탐구하여 시스템이 예기치 않은 입력에 더 탄력적으로 대응하도록 한다.
또한, 이 부서는 공정성, 프라이버시, 오용 가능성과 같은 AI의 사회적 영향을 조사한다. Anthropic 및 OpenAI와 같은 학술 기관 및 다른 조직과 협력하여 지식과 모범 사례를 공유한다.
주목할 만한 기여
DeepMind 안전 연구는 여러 영향력 있는 논문과 도구를 생산했다. 예를 들어, 회사의 AlphaGo 및 후속 시스템에 대한 작업은 불확실성 하에서의 의사 결정을 연구하는 데 사용되었다. 2022년 7월까지 2억 개 이상의 단백질 구조를 예측한 AlphaFold 프로젝트는 과학적 발견을 위한 AI의 잠재력을 입증했지만, 이중 용도 위험에 대한 질문도 제기했다.
이 부서는 또한 안전 벤치마크와 평가 프레임워크 개발에 기여했다. 2018년, DeepMind는 협력과 경쟁에 대한 연구를 포함하여 Quake III Arena에서 AI를 훈련하는 연구를 발표했다. 최근에는 팀이 대규모 언어 모델을 위한 안전 작업을 수행하고 있으며, Gemma 오픈 가중치 모델을 포함하여 유해한 콘텐츠를 생성할 가능성을 줄이기 위해 노력하고 있다.
협력과 영향
DeepMind 안전 연구는 미국, 캐나다, 프랑스, 독일, 스위스에 연구 센터를 두고 런던에 본사를 둔 더 넓은 Google DeepMind 조직 내에서 운영된다. 이 부서는 Google Cloud와 같은 다른 Alphabet 회사 및 옥스퍼드 대학교와 MIT CSAIL 같은 외부 파트너와 협력한다.
2020년 기준으로, DeepMind는 천 개 이상의 논문을 발표했으며, 그중 13편은 Nature 또는 Science에 게재되었고, 많은 논문이 안전 관련 주제를 다루었다. 이 부서의 작업은 업계 관행에 영향을 미쳤으며, 연구자들은 정책 논의와 자문 기구에 자주 참여한다. 그러나 AI 안전 분야는 여전히 진화 중이며, DeepMind는 더 강력한 생성형 AI 모델 개발과 같은 새로운 과제에 대응하여 연구 의제를 계속 조정하고 있다.
미래 방향
앞으로 DeepMind 안전 연구는 인공 일반 지능(AGI)이 달성된다면 인류에게 유익하도록 보장하는 장기 목표를 해결하는 것을 목표로 한다. 이는 정렬과 통제를 위한 기술적 방법을 발전시키고, AI 거버넌스에 대한 국제 협력을 촉진하는 것을 포함한다. 이 부서는 또한 DeepMind가 NHS와 협력한 의료 분야와 AI가 발견을 가속화할 수 있지만 새로운 위험을 도입할 수 있는 과학 연구 분야에서 AI의 영향을 탐구하고 있다.
2020년대 중반 현재, 이 부서는 Anthropic 및 OpenAI와 같은 경쟁사와 동료들도 안전 연구에 막대한 투자를 하고 있는 더 넓은 업계 노력의 일부이다. 머신 러닝 기술, 특히 딥 러닝과 신경망의 지속적인 진화는 이 분야의 미래를 형성할 가능성이 높다.