탐색-활용 딜레마(exploration-exploitation dilemma)는 탐색-활용 절충(explore-exploit tradeoff)이라고도 하며, 경제학에서 인공지능에 이르기까지 다양한 분야에 나타나는 의사 결정의 핵심 개념이다. 이는 두 가지 상반된 전략의 균형을 포함한다: 활용(exploitation)은 현재 지식(불완전하거나 오해를 불러일으킬 수 있음)에 기반하여 최선의 선택지를 고르는 것을 의미하고, 탐색(exploration)은 더 나은 미래 결과를 가져올 수 있는 새로운 선택지를 시도하되 활용 기회를 포기하는 비용을 지불하는 것을 의미한다. 장기적 보상을 최적화하려는 목표는 이러한 균형을 효과적으로 해결해야 한다.
기계 학습에서 이 절충은 강화 학습(RL)의 기본 요소이며, 이는 에이전트가 환경으로부터의 피드백(지연되거나 희소할 수 있음)에 기반하여 결정을 내리는 학습 유형이다. 에이전트는 현재 알려진 최선의 정책을 활용할지, 아니면 미래 성과를 개선하기 위해 새로운 정책을 탐색할지 결정해야 한다. 이 딜레마는 자율 주행, 추천 시스템, 게임 플레이 AI와 같은 영역에서 나타난다.
다중 팔 밴딧 방법
다중 팔 밴딧(MAB) 문제는 이 절충의 전형적인 예이며, 이를 위해 많은 방법이 개발되었다. 엡실론-그리디(epsilon-greedy)는 에이전트가 대부분의 시간 동안 알려진 최선의 행동을 활용하지만 엡실론 확률로 무작위 행동을 선택하는 간단한 접근 방식이다. 톰슨 샘플링(Thompson sampling)은 보상에 대한 사후 분포를 유지하고 이를 샘플링함으로써 탐색과 활용의 균형을 맞춘다. 상한 신뢰 구간(UCB) 알고리즘은 평균 보상과 불확실성 보너스를 비교하여 행동을 선택한다.
더 복잡한 설정에서 에이전트는 각 결정 지점을 기대 미래 보상이 지불금인 MAB로 취급할 수 있다. 예를 들어, 몬테카를로 트리 탐색은 체스 엔진과 같은 프로그램에서 볼 수 있듯이 게임 트리 탐색을 안내하기 위해 UCB 변형을 사용한다.
탐색 문제
특정 환경은 절충에 대한 특정한 도전 과제를 만든다.
희소 보상: 보상이 드물게만 나타나면 에이전트는 탐색을 지속하지 않을 수 있다. 표준적인 예는 명확한 보상이 부족한 아타리 게임 몬테주마의 복수(Montezuma's Revenge)이다.
기만적 보상: 일부 초기 행동이 즉각적이지만 작은 보상을 주고 다른 행동이 더 큰 지연 보상을 주는 경우, 에이전트는 초기의 작은 보상을 활용하는 데 갇힐 수 있다.
노이즈 TV 문제: 일부 관찰이 무작위 이미지가 있는 텔레비전과 같이 줄일 수 없이 노이즈가 많은 경우, 에이전트는 예측 불가능한 상태를 반복적으로 관찰하는 데 갇힐 수 있다.
이러한 문제는 최적의 균형을 달성하기 어렵게 만들며, 탐색을 안내하기 위한 추가 기술이 필요하다.
탐색 보상 방법
탐색 보상 방법은 탐색을 일종의 내재적 보상으로 취급함으로써 딜레마를 순수한 활용 문제로 전환한다. 에이전트는 환경으로부터의 외재적 보상과 내재적 탐색 보너스의 합을 최대화하는 것을 목표로 한다. 내재적 및 외재적 보상은 시간 단계 t에서 r_t^e 및 r_t^i로 표기된다.
이 접근 방식은 두 가지 핵심 측면에서 활용과 다르다: 첫째, 탐색 보상은 연구자가 자유롭게 설계하는 반면, 외부 보상은 환경에 의해 주어진다; 둘째, 외재적 보상은 일반적으로 고정적이지만 내재적 보상은 비고정적이며, 이는 동일한 행동이 익숙해질수록 점점 더 적은 보너스를 산출한다는 것을 의미한다.
개수 기반 탐색은 상태가 방문되는 빈도를 측정하고 덜 방문된 상태에 보상을 주지만, 이는 작고 이산적인 상태 공간에서만 실현 가능하다. 밀도 기반 탐색은 밀도 모델을 사용하여 이를 확장하며, 상태를 방문하면 근처 상태에도 부분적인 크레딧을 부여한다.
최대 엔트로피 탐색은 에이전트 정책의 엔트로피를 내재적 항으로 추가하여 무작위 또는 다양한 행동을 선호하는 정책을 장려한다.
예측 기반 탐색
순방향 역학 모델은 현재 상태와 행동에서 다음 상태를 예측한다: f: (s_t, a_t)가 s_{t+1}로 매핑된다. 에이전트가 환경과 상호 작용함에 따라 익숙한 경로에 대한 상태 전이를 더 잘 예측하도록 이 모델을 훈련한다. 예측 기반 탐색 보너스는 모델 예측과 실제 다음 상태 사이의 오차로 내재적 보상을 정의한다. 상태가 새로운 경우 모델 오차가 높아 해당 행동이 매력적으로 만든다.
예측에 의한 탐색은 개수를 사용할 수 없는 고차원 상태 공간에서 특히 유용하다. 모델의 오차는 놀라움에 대한 추정치 역할을 하며, 이는 에이전트가 예측하기 어려운 상태를 추구하도록 장려하여 외부 안내 없이 더 넓은 탐색을 촉진한다. 이 방법은 최근 심층 강화 학습 시스템에서 널리 사용된다.