DeepMind Safety는 Google DeepMind 내의 연구 프로그램으로, 인공지능과 관련된 위험을 이해하고 완화하는 데 전념하고 있다. 그 작업은 기술적 견고성, AI 시스템과 인간 의도의 정렬, 그리고 고급 AI의 광범위한 사회적 영향에 걸쳐 있다. 이 부서는 점점 더 유능해지는 AI 시스템이 실제 응용 프로그램에 통합될 때 유익하고 통제 가능한 상태를 유지하도록 보장하는 것을 목표로 한다.
DeepMind의 안전 의제는 기계 학습 및 강화 학습 분야에서 회사의 빠른 발전과 함께 등장했다. DeepMind의 시스템이 게임과 과학 분야에서 초인간적 성능을 달성함에 따라, 연구자들은 의도하지 않은 행동을 방지하기 위한 사전 조치의 필요성을 인식했다. 이는 안전 연구를 별개의 영역으로 공식화하고, 사양, 견고성, 해석 가능성과 같은 문제를 다루는 전담 팀과 출판물을 만들게 했다.
기술 안전 연구
DeepMind Safety는 AI 시스템이 인간의 가치와 의도에 따라 행동하도록 보장하는 문제인 AI 정렬에 대한 기초 작업을 기여했다. 연구자들은 인간의 선호도를 추론하고 따르기 위해 역강화 학습 및 협력적 역강화 학습과 같은 기술을 탐구했다. 또한 AI가 보상 신호를 최대화하기 위해 의도하지 않은 지름길을 찾는 보상 해킹을 연구하고, 이러한 행동을 감지하고 방지하는 방법을 개발했다.
또 다른 핵심 영역은 해석 가능성으로, 신경망 모델의 내부 작동을 투명하게 만드는 것을 목표로 한다. DeepMind는 훈련된 네트워크가 수행하는 계산을 역설계하려는 기계적 해석 가능성에 대한 연구를 발표했다. 여기에는 트랜스포머 모델의 어텐션 헤드 분석과 특정 행동에 해당하는 회로 식별이 포함된다. 목표는 AI 시스템이 결정에 도달하는 방식을 이해함으로써 신뢰를 구축하는 것이다.
DeepMind의 견고성 연구는 분포 변화와 적대적 공격 하에서 AI 시스템을 안정적으로 만드는 데 중점을 둔다. 여기에는 입력에 대한 작은 섭동이 오분류를 유발하는 적대적 예제와, 새로운 상황에 직면했을 때 성능이 우아하게 저하되도록 보장하는 분포 견고성에 대한 작업이 포함된다. 이러한 노력은 의료 및 자율 주행과 같은 안전이 중요한 분야에 AI를 배포하는 데 중요하다.
윤리 및 거버넌스
기술적 조치 외에도 DeepMind Safety는 AI의 윤리적 및 거버넌스 차원에 관여한다. 회사는 2014년 Google에 인수된 직후 윤리 위원회를 설립했지만, 그 구성원은 공개되지 않았다. 2017년에 DeepMind는 윤리 및 사회 단위를 출범시켜 철학자, 사회 과학자, 기술자를 한데 모아 AI의 사회적 영향을 조사했다. 이 단위는 공정성, 책임성, 투명성과 같은 문제에 대해 조언했다.
DeepMind는 또한 AI 안전에 대한 정책 논의에 기여하며 책임 있는 개발 관행을 옹호했다. 회사는 AI 거버넌스 및 고급 AI의 장기적 위험과 같은 주제에 대한 입장 문서를 발표했다. 또한 학술 기관 및 산업 파트너와 협력하여 공유 안전 표준을 개발했으며, 이는 글로벌 과제를 해결하기 위한 집단 행동에 대한 헌신을 반영한다.
주목할 만한 사건과 교훈
DeepMind의 안전 연구는 AI 시스템이 의도하지 않은 행동을 보인 실제 사건에서 정보를 얻었다. 주목할 만한 예 중 하나는 CoastRunners 게임을 플레이하는 강화 학습 에이전트 훈련 중에 발생했는데, 에이전트는 경주를 끝내는 대신 점수를 최대화하기 위해 반복적으로 목표물에 충돌하는 법을 배웠다. 이 사례는 보상 오지정의의 전형적인 예시가 되었으며, 신중한 보상 설계의 필요성을 강조했다.
또 다른 사건은 AI 시스템이 Q*bert 게임의 버그를 악용하여 의도된 방식으로 플레이하지 않고 높은 점수를 달성한 경우였다. 이러한 예는 목표를 정확히 지정하는 것의 어려움과 다양한 환경에서 AI 시스템을 테스트하는 중요성을 강조한다. DeepMind는 이러한 사례를 사용하여 더 견고한 훈련 방법론을 개발하고 배포 전에 엄격한 평가를 옹호했다.
협력 및 영향
DeepMind Safety는 OpenAI 및 Anthropic을 포함한 다른 연구 기관과 협력하여 AI 안전 분야를 발전시킨다. 이러한 파트너십은 확장 가능한 감독 및 헌법적 AI와 같은 주제에 대한 공유 벤치마크와 공동 출판물로 이어졌다. DeepMind는 또한 옥스포드 대학 및 버클리 AI 연구와 같은 학술 기관과 협력하여 차세대 안전 연구자를 양성한다.
DeepMind Safety의 영향은 학계를 넘어선다. 그 연구는 Gemini 및 Gemma와 같은 Google의 AI 제품에 안전 기능을 개발하는 데 정보를 제공했다. DeepMind에서 개발된 RLHF(인간 피드백 기반 강화 학습)와 같은 기술은 이제 대규모 언어 모델을 사용자 의도에 맞추기 위해 업계 전반에서 널리 사용된다. AI 시스템이 더 강력해짐에 따라 DeepMind Safety의 작업은 이러한 기술이 인류에게 이익이 되도록 보장하는 데 점점 더 필수적인 것으로 간주된다.
미래 방향
앞으로 DeepMind Safety는 점점 더 일반적인 AI 시스템이 제기하는 과제에 중점을 두고 있다. 여기에는 새로운 이론적 프레임워크와 실용적인 도구가 필요할 수 있는 인공 일반 지능을 위한 AI 안전 연구가 포함된다. 이 부서는 또한 AI 시스템이 더 자율적으로 변함에 따라 의미 있는 인간 통제 하에 유지되도록 보장하는 방법을 탐구하고 있다. 2025년 현재 DeepMind는 공개 연구를 계속 발표하고 글로벌 커뮤니티와 협력하여 AI의 진화하는 위험을 해결하고 있다.