Direct Preference Optimization(DPO)은 대규모 언어 모델과 같은 지능형 에이전트를 인간의 선호도에 맞추기 위한 머신러닝 기법이다. 이는 인간 피드백 기반 강화 학습(RLHF)의 더 간단한 대안으로, 별도의 보상 모델을 훈련하거나 근접 정책 최적화와 같은 강화 학습 알고리즘에 의존하지 않고 선호도 데이터를 사용하여 정책을 직접 최적화한다. DPO는 생성형 AI 분야에서 모델 출력의 유용성과 무해성을 개선하는 데 널리 사용되고 있다.
DPO는 2023년 스탠포드 AI 연구소의 연구자들에 의해 도입되었으며, 이후 OpenAI와 Anthropic을 포함한 다양한 조직에서 비용 효율적인 선호도 정렬 방법으로 채택되었다. 이는 RLHF의 보상 모델이 최적 정책의 관점에서 표현될 수 있다는 통찰을 활용하여, 선호도 최적화 목표를 간단한 분류 손실로 재구성한다. 이를 통해 훈련 중 정책에서 샘플링할 필요가 없어져 DPO가 더 안정적이고 계산적으로 효율적이게 된다.
배경 및 동기
인간 피드백을 기반으로 모델을 최적화하는 것은 작업을 명시하기는 어렵지만 판단하기는 쉬운 경우에 바람직하다. 예를 들어, 편향, 유해성, 또는 유해 콘텐츠가 없는 안전한 텍스트를 생성하는 모델을 훈련하고자 할 수 있다. 인간에게 무해한 텍스트와 유해한 텍스트의 예를 수동으로 만들도록 요청하는 것은 어렵고 시간이 많이 걸린다. 그러나 인간은 다양한 AI 생성 텍스트의 유해성을 신속하게 평가하고 비교하는 데 능숙하다. 따라서 더 실용적인 목표는 모델이 이러한 유형의 인간 피드백을 사용하여 텍스트 생성을 개선하도록 하는 것이다.
전통적인 RLHF는 인간 선호도를 나타내는 보상 모델을 훈련한 다음, 강화 학습을 사용하여 이 보상 모델에 대해 정책을 최적화하는 것을 포함한다. 그러나 RLHF는 강화 학습의 복잡성, 세심한 하이퍼파라미터 튜닝의 필요성, 훈련 중 정책에서 샘플링하는 계산 비용 등의 문제에 직면한다. DPO는 보상 모델과 정책 사이의 직접적인 매핑을 도출하여 명시적인 보상 모델링이나 강화 학습 없이 선호도 최적화를 가능하게 함으로써 이러한 문제를 해결한다.
DPO의 작동 방식
DPO는 선호도 최적화 문제를 이진 분류 작업으로 공식화한다. 프롬프트와 두 개의 후보 응답이 주어졌을 때, 하나가 인간에 의해 다른 것보다 선호되는 경우, DPO는 선호되는 응답의 가능성을 높이고 선호되지 않는 응답의 가능성을 낮추도록 정책을 업데이트한다. 손실 함수는 쌍별 선호도의 Bradley–Terry–Luce 모델에서 파생되며, 이는 하나의 응답이 다른 응답보다 선호될 확률이 보상 점수의 지수에 비례한다고 가정한다.
핵심 수학적 통찰은 특정 정규화 제약(예: 참조 정책에 대한 KL 발산) 하에서 최적 보상 모델이 최적 정책의 관점에서 표현될 수 있다는 것이다. 이를 통해 DPO는 보상 모델을 제거하고 간단한 로지스틱 손실을 사용하여 정책을 직접 최적화할 수 있다. 훈련 과정은 정적 선호도 데이터셋만 필요로 하므로, 반복적인 샘플링과 보상 모델 업데이트가 필요한 RLHF보다 더 간단하고 안정적이다.
RLHF와의 비교
RLHF는 다단계 프로세스이다: 먼저 인간 선호도 데이터로 보상 모델을 훈련하고, 둘째로 강화 학습(종종 근접 정책 최적화 사용)을 통해 이 보상 모델에 대해 정책을 최적화한다. 이 접근 방식은 InstructGPT와 Claude와 같은 모델을 정렬하는 데 성공적이었다. 그러나 RLHF에는 계산 집약적이고, 하이퍼파라미터에 민감하며, 정책이 인간 선호도를 진정으로 충족하지 않고 보상 모델을 악용하여 높은 점수를 얻는 보상 해킹 문제가 발생할 수 있다는 단점이 있다.
DPO는 별도의 보상 모델과 강화 학습의 필요성을 피함으로써 정책을 직접 최적화하여 이를 단순화한다. 이는 계산 오버헤드를 줄이고 안정성을 향상시킨다. 연구에 따르면 DPO는 텍스트 요약 및 대화 생성과 같은 작업에서 RLHF와 비슷하거나 더 나은 성능을 달성할 수 있으며, 구현과 튜닝이 더 간단하다. 그러나 DPO는 한계가 없는 것은 아니다. 선호도 데이터가 노이즈가 많거나 정책이 새로운 행동을 탐색해야 하는 경우에는 온라인 탐색을 포함하지 않기 때문에 덜 효과적일 수 있다.
응용 분야
DPO는 머신러닝의 다양한 영역, 특히 자연어 처리에서 적용되었다. 텍스트 요약, 대화형 에이전트, 지시 따르기와 같은 작업을 위해 대규모 언어 모델을 미세 조정하는 데 사용된다. 예를 들어, Anthropic은 유용성과 무해성에 대한 인간 선호도에 맞춰 모델을 정렬하기 위해 DPO를 사용했다. 또한 DPO는 텍스트-이미지 생성과 같은 컴퓨터 비전 작업에서도 탐구되었으며, 생성된 이미지를 인간의 미적 선호도에 맞추는 데 도움이 된다.
이 기법은 편향과 유해성을 줄이는 것과 같이 인간의 가치에 맞춰야 하는 생성형 AI 시스템을 개발하는 데에도 관련이 있다. DPO는 선호도 데이터를 사용하여 광범위한 보상 엔지니어링 없이도 모델이 인간에 의해 고품질로 판단될 가능성이 더 높은 출력을 생성하도록 안내할 수 있다.
데이터 요구 사항 및 과제
RLHF와 마찬가지로 DPO는 일반적으로 모델 출력을 순위 매기거나 비교하는 인간 주석자로부터 수집되는 고품질 선호도 데이터에 의존한다. 이러한 데이터를 수집하는 것은 비용이 많이 들고 시간이 많이 걸린다. 또한 데이터가 대표적인 표본에서 신중하게 수집되지 않으면 결과 모델이 원치 않는 편향을 나타낼 수 있다. DPO는 효과적이기 위해 비교적 적은 양의 비교 데이터를 필요로 하지만, 데이터의 품질과 다양성이 중요하다.
DPO의 한 가지 과제는 선호도 데이터가 노이즈가 많거나 일관성이 없어 최적의 정렬이 이루어지지 않을 수 있다는 점이다. 또한 DPO는 선호도 모델이 Bradley–Terry–Luce 모델을 따른다고 가정하지만, 이는 실제로 항상 성립하지 않을 수 있다. 연구자들은 Plackett–Luce 모델을 사용한 K-방식 비교와 같은 더 복잡한 선호도 구조를 처리하기 위한 확장을 제안했다.
최근 개발 및 연구
도입 이후 DPO는 상당한 연구 관심을 불러일으켰다. 오프라인 및 온라인 데이터 수집 전략을 통합하고 DPO를 다른 정렬 기법과 결합하는 것과 같은 변형 및 개선이 제안되었다. 예를 들어, 일부 연구는 커리큘럼 학습과 함께 DPO를 사용하여 선호도 작업의 난이도를 점진적으로 높이는 방법을 탐구했다. 다른 연구는 DPO의 이론적 속성을 조사하여 다양한 피드백 모델에서 샘플 복잡성 경계와 수렴 보장을 제공했다.
연구는 또한 견고성과 탐색 측면에서 DPO를 RLHF와 비교했다. DPO는 오프라인 설정에서 더 샘플 효율적이지만, RLHF는 에이전트가 환경과 상호 작용하여 새로운 행동을 발견해야 하는 온라인 탐색이 필요한 작업에 더 적합할 수 있다. 2025년 현재 DPO는 여전히 활발한 연구 분야로, 더 큰 모델과 더 복잡한 작업으로 확장하려는 지속적인 노력이 이루어지고 있다.
결론
Direct Preference Optimization은 RLHF의 주요 한계 중 일부를 해결하면서 AI 시스템을 인간 선호도에 맞추는 간소화된 접근 방식을 제공한다. 그 단순성과 효과성 덕분에 인공지능 커뮤니티, 특히 대규모 언어 모델 미세 조정에서 인기 있는 선택이 되었다. 데이터 품질과 이론적 가정과 같은 과제가 여전히 남아 있지만, DPO는 선호도 기반 정렬을 더 접근 가능하고 실용적으로 만드는 데 중요한 진전을 나타낸다.