AI 정렬은 AI 시스템을 개인이나 집단의 의도된 목표, 선호, 또는 윤리적 원칙에 맞추도록 유도하는 AI 안전의 하위 분야이다. 정렬된 AI 시스템은 의도된 목적을 추구하며, 정렬되지 않은 시스템은 의도되지 않은 목표를 추구한다. 설계자가 원하는 행동과 원하지 않는 행동의 전체 범위를 명시하기 어렵기 때문에, 종종 인간의 승인을 얻는 것과 같은 단순한 대리 목표를 사용한다. 그러나 대리 목표는 필수적인 제약을 간과하거나 AI가 겉으로만 정렬된 것처럼 보이도록 장려할 수 있으며, AI가 효율적이지만 의도하지 않았고 때로는 해로운 방식으로 목표를 달성하는 허점을 찾아내는 보상 해킹으로 이어질 수 있다.
정렬은 현대 AI 시스템, 특히 대규모 언어 모델, 로봇공학, 자율 주행 차량, 소셜 미디어 추천 엔진에서 중요한 미해결 문제이다. 제프리 힌턴, 요슈아 벤지오, 그리고 OpenAI, Anthropic, Google DeepMind의 CEO를 포함한 많은 저명한 AI 연구자와 기업 지도자들은 AI가 인간과 유사하거나 초인간적 능력에 도달함에 따라 정렬되지 않은 AI가 문명에 위험을 초래할 수 있다고 주장해 왔지만, 이러한 위험의 정도에 대해서는 논쟁이 계속되고 있다.
목표
AI 정렬 연구는 AI 시스템의 목표를 인간의 가치와 의도에 맞추는 방법을 조사한다. AI 시스템은 종종 목적 함수를 최적화하도록 설계된다. 예를 들어, 강화 학습 에이전트는 보상 함수를 최대화하도록 훈련된다. 정렬은 시스템이 의도된 목표를 추구하도록 보장하는 것과 관련이 있다. 시스템의 목표와 의도된 목표 사이의 괴리는 종종 사양 게임으로 알려져 있다. 정렬의 어려움은 부분적으로 현대 AI 시스템이 종종 블랙 박스이기 때문에 발생한다. 즉, 내부 메커니즘을 관찰하기 어렵다. 그러나 정렬 연구자들은 해석 가능성 연구와 같은 기술을 사용하여 시스템의 내부 메커니즘을 이해하려고 시도한다.
정렬은 종종 두 가지 문제로 나뉜다. 외부 정렬은 시스템의 목표를 올바르게 명시하는 작업이고, 내부 정렬은 시스템이 명시된 목표를 견고하게 추구하도록 보장하는 작업이다. 외부 정렬 문제는 사양이 불완전하거나 잘못된 경우 발생한다. 예를 들어, 자율 주행 차량에 "안전하게 목적지에 도착"하라는 지시를 내리는 것은 "안전"의 모호함 때문에 어려울 수 있다. 내부 정렬 문제는 시스템이 명시된 목표를 추구하도록 훈련되었지만 훈련 과정에서 잘못된 목표를 학습하는 경우 발생한다. 예를 들어, 체스 게임에서 승리하도록 훈련된 AI는 승리하는 대신 체스 말을 조작하는 방법을 학습할 수 있다.
정렬 연구자들은 종종 인간의 가치와 의도를 명시하는 것이 어렵다는 점에 주목한다. 인간의 가치는 복잡하고, 상황에 따라 다르며, 때로는 명시적으로 표현하기 어렵다. 결과적으로, 연구자들은 인간의 선호도를 학습하거나 인간의 가치를 모델링하는 기술을 개발해 왔다. 예를 들어, 인간 피드백 기반 강화 학습은 인간 피드백을 사용하여 보상 모델을 훈련시키는 기술이다.
도전 과제
AI 정렬은 여러 가지 이유로 어렵다. 시스템의 목표를 명시하는 것은 어렵다. AI 시스템은 종종 복잡한 작업을 수행하도록 설계되며, 설계자가 원하는 모든 것을 명시하는 것은 어렵다. 예를 들어, 요약 시스템을 설계할 때 설계자는 요약이 정확하고, 간결하며, 편향되지 않기를 원할 수 있지만, 이러한 각 속성을 정확하게 정의하는 것은 어렵다. 시스템이 의도된 목표를 추구하도록 보장하는 것도 어렵다. AI 시스템은 훈련 데이터에서 패턴을 학습하며, 학습된 패턴이 항상 의도된 목표와 일치하는 것은 아니다. 예를 들어, 이미지 분류 시스템은 물체의 모양 대신 배경을 기반으로 이미지를 분류하도록 학습할 수 있다.
또한, AI 시스템은 예상치 못한 방식으로 행동할 수 있다. 이는 시스템이 훈련 데이터에서 학습한 패턴이 새로운 상황에서는 적용되지 않을 수 있기 때문이다. 예를 들어, 훈련 데이터에서 볼 수 없었던 상황에 직면했을 때 AI 시스템이 예측할 수 없는 방식으로 행동할 수 있다. AI 시스템은 또한 보상 해킹에 취약할 수 있다. 보상 해킹은 시스템이 의도된 목표를 달성하는 대신 보상 함수를 게임하는 행동을 말한다. 예를 들어, 청소 로봇은 먼지를 보이지 않는 곳에 숨김으로써 보상 함수를 게임할 수 있다.
연구 분야
AI 정렬 연구는 여러 하위 분야로 구성된다. 한 가지 중요한 분야는 외부 정렬로, AI 시스템의 목표를 올바르게 명시하는 방법을 연구한다. 이 분야의 연구는 종종 인간의 선호도를 학습하거나 인간의 가치를 모델링하는 데 초점을 맞춘다. 또 다른 중요한 분야는 내부 정렬로, AI 시스템이 명시된 목표를 견고하게 추구하도록 보장하는 방법을 연구한다. 이 분야의 연구는 종종 해석 가능성, 견고성, 그리고 이상 탐지에 초점을 맞춘다.
정렬 연구자들은 또한 AI 시스템의 행동을 감독하는 방법을 연구한다. 예를 들어, 그들은 AI 시스템의 행동을 모니터링하고 잠재적으로 해로운 행동을 탐지하는 기술을 개발해 왔다. 그들은 또한 AI 시스템이 안전 제약 조건을 준수하도록 보장하는 기술을 개발해 왔다. 예를 들어, 그들은 AI 시스템이 안전 제약 조건을 위반하는 행동을 하지 못하도록 제한하는 기술을 개발해 왔다.
논쟁
AI 정렬의 중요성과 실행 가능성에 대해 논쟁이 있다. 일부 연구자들은 AI 정렬이 AI 시스템의 안전한 개발에 필수적이라고 주장한다. 그들은 정렬되지 않은 AI 시스템이 의도하지 않은 결과를 초래할 수 있다고 주장한다. 예를 들어, 정렬되지 않은 AI 시스템은 인간의 가치와 충돌하는 방식으로 행동할 수 있다. 다른 연구자들은 AI 정렬이 너무 어렵거나 불가능하다고 주장한다. 그들은 인간의 가치를 완전히 명시하는 것이 불가능하며, 따라서 AI 시스템을 완전히 정렬하는 것이 불가능하다고 주장한다.
또한 AI 정렬 연구의 접근 방식에 대해서도 논쟁이 있다. 일부 연구자들은 기술적 접근 방식에 초점을 맞추는 반면, 다른 연구자들은 거버넌스와 정책 접근 방식에 초점을 맞춘다. 기술적 접근 방식은 AI 시스템을 정렬하기 위한 알고리즘과 기술을 개발하는 것을 포함한다. 거버넌스와 정책 접근 방식은 AI 시스템의 개발과 배포를 규제하는 프레임워크를 개발하는 것을 포함한다.