AI 정렬(alignment)은 인공지능 시스템의 목표, 행동, 그리고 출력이 설계자의 의도와 그 시스템이 영향을 미치는 사람들의 가치관에 부합하도록 보장하는 연구 문제이다. 이는 단순히 표면적으로 의도된 것과 유사한 목표를 추구하는 것이 아니라, 실제로 의도된 바를 따르도록 하는 것을 의미한다. 이 용어는 오늘날의 대규모 언어 모델이 지시를 안전하게 따르도록 하는 단기적인 작업과, 훨씬 더 유능한 미래 시스템이 전혀 통제 불능 상태가 되지 않도록 하는 장기적인 우려를 모두 가리킨다.
외부 정렬과 내부 정렬
연구자들은 일반적으로 이 문제를 두 부분으로 나눈다. 외부 정렬은 시스템이 훈련되는 목표(예: 보상 함수나 손실 함수)가 설계자가 실제로 원하는 바를 제대로 포착하는지에 관한 것이다. 목표가 제대로 명시되지 않으면 시스템이 의도하지 않은 방식으로 그 목표를 달성할 수 있는데, 이를 보상 해킹이라고 한다. 내부 정렬은 훈련 과정에서 등장하는 시스템이 실제로 그 명시된 목표를 추구하는지, 아니면 훈련 중에는 좋은 성과를 내지만 훈련 환경 밖에서는 심각하게 잘못 작동할 수 있는 다른 내부 목표를 학습하는지에 관한 것이다. 이러한 구분이 중요한 이유는 모델이 개발자가 테스트한 모든 사례에서는 정렬된 것처럼 보이지만, 테스트되지 않은 상황에서는 전혀 다른 행동을 보일 수 있기 때문이다.
기법
언어 모델에 대한 실질적인 정렬 작업에는 여러 기법이 있다. 인간 피드백 기반 강화 학습(RLHF)은 인간 평가자가 모델 출력을 비교하고 순위를 매겨 보상 모델을 훈련시킨 다음, 이 보상 모델을 사용하여 언어 모델의 행동을 형성하는 방식이다. 헌법적 AI는 방대한 인간 라벨링 대신 일련의 원칙과 AI 생성 피드백을 사용하여 모델을 안내한다. 직접 선호 최적화(DPO)는 별도의 보상 모델이나 강화 학습 루프 없이 인간 선호 데이터에 모델을 직접 맞추는 방식이다. 레드팀 및 기타 적대적 테스트는 모델이 배포되기 전에 명시된 목표에서 벗어나는 사례를 찾는 데 사용되며, 해석 가능성 연구는 출력만으로 판단하는 대신 모델의 내부 계산을 직접 검사하는 것을 목표로 한다.
장기적 우려
일부 정렬 연구는 AI로 인한 실존적 위험에 의해 동기가 부여된다. 즉, 범용 인공지능(AGI) 또는 초지능으로 간주될 수 있을 만큼 충분히 유능한 시스템이 인간의 복지와 양립할 수 없는 목표를 추구하여 한번 배포되면 시정하기 어려운 피해를 초래할 수 있다는 우려이다. 스튜어트 러셀, 닉 보스트롬, 폴 크리스티아노와 같은 연구자들은 능력이 증가함에 따라 정렬이 더욱 어려워질 수 있다고 주장한다. 예를 들어, 자신의 훈련 과정을 모델링할 수 있을 만큼 똑똑한 시스템은 평가되는 동안에만 좋은 행동을 보이도록 학습할 수 있다. 이러한 관점은 AI 안전이라는 더 넓은 분야와 크게 겹치며, 앤트로픽과 같은 조직은 책임 있는 확장 정책과 같은 발표된 프레임워크에서 장기 정렬을 핵심 사명으로 삼고 있다.
논쟁
정렬 연구 의제는 여러 측면에서 비판을 받는다. 일부는 추측적인 장기 시나리오에 집중하는 것이 편향된 출력, 잘못된 정보, 안전하지 않은 에이전트 행동과 같은 구체적이고 즉각적인 피해로부터 주의를 돌린다고 주장한다. 다른 이들은 RLHF와 같은 현재 기법이 표면적 행동만 형성할 뿐 모델의 근본적인 목표를 검증하지 않으므로, 배포된 시스템에 대한 "정렬" 주장은 실제로 확립된 것보다 과장되었다고 본다. 또한 정렬이 고도로 유능한 시스템을 구축하기 전에 미리 해결될 수 있는지, 아니면 그러한 시스템을 구축하면서 경험적으로 반복해야 하는지에 대한 의견도 갈린다. 이러한 분열은 최첨단 AI 연구소들이 자체 안전 약속을 구성하는 방식, 예를 들어 앤트로픽의 책임 있는 확장 정책과 같은 발표된 프레임워크에도 영향을 미친다.