Bayesian regret는 결정 이론과 머신러닝에서 사용되는 개념으로, 에이전트가 사용자의 진정한 선호도나 효용 함수에 대한 불확실성으로 인해 입게 되는 기대 손실을 정량화한다. 선호 기반 학습에서 AI 시스템은 명시적인 수치 보상 대신 비교나 순위와 같은 간접적인 피드백으로부터 보상을 추론해야 하는 경우가 많다. Bayesian regret은 진정한 선호 모델 하에서 최적 정책의 기대 누적 보상과 학습된 정책이 달성하는 기대 보상 사이의 차이를 공식화하며, 여기서 기대값은 알려지지 않은 선호도의 사후 분포에 대해 취해진다.
이 용어는 에이전트가 탐험(불확실성을 줄이기 위한 정보 수집)과 활용(즉각적인 보상을 최대화하기 위한 행동) 사이에서 균형을 잡아야 하는 상황에서 특히 관련이 있다. 낮은 Bayesian regret은 불완전한 지식에도 불구하고 에이전트의 결정이 거의 최적에 가깝다는 것을 나타내는 반면, 높은 regret은 학습 또는 의사 결정 과정의 비효율성을 신호한다. 이 측정값은 고정되었지만 알려지지 않은 매개변수를 가정하는 빈도주의적 regret과는 구별되며, Bayesian regret은 데이터가 도착함에 따라 갱신되는 사전 분포에 대해 적분한다.
결정 이론의 기초
Bayesian regret은 주관적 확률의 베이즈 프레임워크에 기반을 두며, 여기서 불확실성은 베이즈 정리를 통해 수정되는 확률 분포로 표현된다. 선호 학습의 맥락에서 사전 분포는 사용자 선호도에 대한 초기 가정을 인코딩하고, 사후 분포는 비교나 선택을 관찰한 후 계산된다. 이 개념은 불확실성 하에서 내려진 결정을 명시적으로 처벌함으로써 고전적 기대 효용 이론을 확장한다.
공식적인 정의는 종종 다중 팔 밴딧 및 강화 학습 문헌에 나타난다. 행동 또는 정책 집합이 주어졌을 때, T 시간 단계 후의 Bayesian regret은 최적 행동의 보상과 선택된 행동의 보상 사이의 차이의 기대 합이며, 보상은 사후 분포와 환경의 확률적 변동성에 대해 평균화된다. 이 기대값을 통해 실무자는 배포 전에 알고리즘을 비교할 수 있으며, 시뮬레이션된 사전 분포를 사용하여 성능을 예측할 수 있다.
인간 피드백 기반 강화 학습에서의 역할
현대 인공지능에서 Bayesian regret은 대규모 언어 모델을 인간의 가치와 정렬시키는 데 사용되는 기법인 인간 피드백 기반 강화 학습(RLHF)의 핵심이다. OpenAI의 ChatGPT와 Anthropic의 Claude와 같은 시스템은 모델 출력에 대한 인간 비교에 의존하여 보상 모델을 학습한다. Bayesian regret은 학습된 보상 모델이 진정한 인간 선호도를 얼마나 잘 근사하는지 정량화하는 데 도움이 되며, 불확실성을 효율적으로 줄이는 쿼리 정책 선택을 안내한다.
연구자들은 종종 선호에 대한 능동 학습을 Bayesian regret 최소화 문제로 구성한다. 에이전트는 사후 분산을 가장 빠르게 줄일 것으로 예상되는 쿼리를 선택하여 미래의 regret을 낮춘다. 선호 유도를 위한 베이즈 최적화와 같은 알고리즘은 regret 경계를 사용하여 수렴 속도를 보장하며, 모델 복잡성이 증가하더라도 필요한 인간 레이블 수가 관리 가능한 수준으로 유지되도록 한다.
다른 Regret 개념과의 비교
Regret은 온라인 학습에서 넓은 개념으로 여러 변형이 있다. 빈도주의적 regret은 진정한 매개변수가 고정되어 있다고 가정하고 가능한 진정한 값에 대한 최악의 경우 성능을 평가한다. 반면 Bayesian regret은 사전 분포에 대해 평균화하므로 사전 분포의 정확성에 민감하다. 이 구분은 실무에서 중요하다: 잘못 선택된 사전 분포는 Bayesian regret 추정치를 부풀릴 수 있는 반면, 빈도주의적 경계는 최악의 경우 보장을 제공하지만 지나치게 비관적일 수 있다.
또 다른 관련 개념은 단순 regret으로, 누적 성과가 아닌 최종 권장 행동의 비최적성을 측정한다. Bayesian regret은 대화형 추천 시스템과 같이 각 상호작용이 총 사용자 만족도에 기여하는 누적 목표에 자주 사용된다. 선호 정렬에서는 두 지표 모두 사용되지만, 일련의 상호작용에 걸쳐 총 불일치를 최소화하는 것이 목표일 때 Bayesian regret이 선호된다.
AI 시스템에서의 응용
Bayesian regret은 여러 배포된 AI 맥락에서 나타난다. 대화형 에이전트에서는 시스템이 현재 신념에 따라 행동하는 대신 명확화 질문을 얼마나 자주 해야 하는지를 안내한다. 자율 로봇 공학에서는 기술 습득 중 안전한 탐험의 균형을 유지하는 데 도움이 된다. Google DeepMind와 같은 회사는 추천 알고리즘에 regret 인식 훈련을 탐구하여 탐험적 행동이 사용자 경험을 과도하게 해치지 않도록 보장한다.
이 개념은 또한 커리큘럼 학습과 적응형 교수 전략의 평가에 정보를 제공한다. 학습자의 내부 불확실성을 모델링함으로써 교육자나 AI 튜터는 지식 습득에 대한 Bayesian regret을 최소화하는 연습 문제를 선택할 수 있다. 이 접근 방식은 인지 과학과 교육 기술에서 연구되었으며, Michael Jordan과 Brendan Lake와 같은 학자들의 연구와 연결된다.
도전 과제와 한계
대규모 모델에 대해 정확한 Bayesian regret을 계산하는 것은 종종 다루기 어려우며, 샘플링이나 변분 방법을 통한 근사가 필요하다. 사전 분포의 선택은 결과에 강하게 영향을 미치며, 잘못 지정된 사전 분포는 오해의 소지가 있는 regret 값을 초래한다. 또한 인간의 선호는 비정상적이고 맥락 의존적이어서 고정된 효용 함수의 가정을 깨뜨린다. 결과적으로 실용적인 시스템은 regret 추정치를 엄격한 최적화 목표보다는 경험적 지침으로 사용한다.
최근 연구는 Bayesian regret을 분포 강건성과 결합하여 최악의 경우 사전 분포에 대비함으로써 이러한 문제를 해결한다. MIT CSAIL과 토론토 대학과 같은 기관의 연구자들은 사전 분포가 적대적일 때에도 낮은 regret을 달성하는 알고리즘을 제안했다. 이러한 발전은 인간 피드백이 잡음이 많고 진화하는 실제 정렬 문제에 Bayesian regret을 더 적용 가능하게 만든다.