탐험-활용 트레이드오프(exploration-exploitation tradeoff)는 탐험-활용 딜레마라고도 불리며, 다양한 영역에서 나타나는 의사 결정의 기본 개념이다. 이는 두 가지 상반된 전략의 균형을 맞추는 것을 포함한다: 활용(exploitation)은 현재 지식(불완전하거나 오해를 불러일으킬 수 있음)에 기반하여 최선의 선택지를 고르는 것이고, 탐험(exploration)은 즉각적인 보상을 포기하는 대신 미래에 더 나은 결과를 가져올 수 있는 새로운 선택지를 시도하는 것이다. 최적의 균형을 찾는 것은 의사 결정 문제에서 장기적 이익을 극대화하는 데 중요하다.
기계 학습에서 이 트레이드오프는 강화 학습(RL)의 기초가 되며, 에이전트는 불완전하거나 지연된 피드백으로부터 의사 결정을 학습한다. 에이전트는 현재 가장 잘 알려진 정책을 활용할지, 아니면 성능을 개선하기 위해 새로운 정책을 탐험할지 결정해야 한다. 이 딜레마는 단순한 밴디트 문제에서 복잡한 실제 세계 시스템에 이르기까지 다양한 형태로 나타난다.
다중 팔 밴디트 방법
다중 팔 밴디트(MAB) 문제는 이 트레이드오프의 전형적인 예이며, 이를 해결하기 위해 많은 방법이 개발되었다. 일반적인 접근 방식으로는 엡실론-그리디(epsilon-greedy), 톰슨 샘플링(Thompson sampling), 그리고 상위 신뢰 경계(UCB)가 있다. 엡실론-그리디에서 에이전트는 대부분의 시간 동안 가장 잘 알려진 행동을 활용하지만, 확률 엡실론으로 무작위 행동을 선택하여 지속적인 탐험을 보장한다. UCB는 높은 상위 신뢰 경계를 가진 행동을 선택하여 탐험과 활용의 균형을 맞추며, 불확실한 보상을 가진 행동을 선호한다. 톰슨 샘플링은 베이지안 추론을 사용하여 사후 분포에서 샘플링하며, 두 전략을 자연스럽게 균형 있게 조정한다.
더 복잡한 RL 시나리오에서는 각 결정을 MAB로 취급할 수 있으며, 여기서 보상은 기대 미래 보상이다. 예를 들어, 체스와 바둑 같은 게임에서 사용되는 몬테카를로 트리 탐색은 UCB의 변형을 사용하여 탐색을 안내한다. 이러한 방법은 OpenAI와 Google DeepMind가 개발한 시스템을 포함한 인공 지능 시스템에 널리 적용된다.
탐험 문제
여러 과제가 실제로 탐험을 어렵게 만든다. 희소 보상(sparse rewards)은 보상이 드물게 발생할 때 나타나며, 예를 들어 아타리 게임 몬테주마의 복수(Montezuma's Revenge)에서 에이전트는 안내 부족으로 탐험을 지속하지 못할 수 있다. 기만적 보상(deceptive rewards)은 초기 행동이 작은 즉각적 보상을 제공하지만 더 큰 후기 보상에서 주의를 돌려 에이전트를 더 나은 전략에서 멀어지게 할 때 발생한다. 노이즈 TV 문제(noisy TV problem)는 특정 관찰이 본질적으로 무작위적이어서 에이전트를 비생산적인 탐험에 가두는 상황을 설명하며, 이는 잡음이 있는 텔레비전을 보는 것과 유사하다.
이러한 문제는 특히 심층 학습과 신경망 훈련에서 흔한 큰 행동 공간에서 정교한 탐험 전략의 필요성을 강조한다.
탐험 보상 방법
탐험 보상(또는 탐험 보너스) 방법은 탐험을 또 다른 형태의 보상으로 취급하여 딜레마를 활용의 균형으로 전환한다. 에이전트는 내재적 보상(탐험에서)과 외재적 보상(환경에서)의 합을 극대화한다. 내재적 보상은 외재적 보상과 달리 자유롭게 설계되며, 일반적으로 비정상적(non-stationary)으로 상태가 익숙해짐에 따라 감소한다.
카운트 기반 탐험은 상태 방문 횟수를 사용하여 보너스를 계산하지만, 이는 작고 이산적인 상태 공간에서만 가능하다. 밀도 기반 탐험은 밀도 모델을 사용하여 방문 횟수를 근사함으로써 이를 확장하며, 인접 상태로의 일반화를 가능하게 한다. 최대 엔트로피 탐험은 에이전트 정책의 엔트로피를 내재적 보상으로 포함하여 확률적 행동과 더 넓은 범위를 장려한다.
예측 기반 탐험
예측 기반 방법은 현재 상태와 행동이 주어졌을 때 다음 상태를 예측하는 순방향 역학 모델을 사용한다. 모델은 에이전트가 상호작용함에 따라 훈련되며, 자주 방문하는 상태-행동 쌍에 대한 예측을 개선한다. 탐험 보상은 예측 오차, 즉 예측된 다음 상태와 실제 다음 상태의 차이로 정의된다. 이는 에이전트가 모델이 부정확한 상태를 찾도록 장려하여 새로운 경험의 발견을 촉진한다.
이 접근 방식은 호기심 기반 학습과 관련이 있으며, 생성형 AI와 대규모 언어 모델에서 에이전트 훈련에 사용되는 것을 포함한 다양한 RL 프레임워크에서 탐구되었다.
응용 및 함의
탐험-활용 트레이드오프는 RL을 넘어 온라인 광고, 임상 시험, 추천 시스템과 같은 분야로 확장된다. Amazon Web Services와 Azure에서 밴디트 알고리즘은 리소스 할당과 사용자 참여를 최적화한다. AI 연구에서 탐험과 활용의 균형은 Stanford AI Lab과 Berkeley AI Research의 작업에서 볼 수 있듯이 강건한 모델 훈련에 중요하다.
이 트레이드오프는 개인적 선택에서 조직 전략에 이르기까지 인간의 의사 결정에도 영향을 미친다. 이를 이해하고 해결하는 것은 여전히 활발한 연구 영역이며, 커리큘럼 학습과 RLHF의 지속적인 발전을 통해 학습 효율성과 결과 품질을 개선하고 있다.