이중 Q-러닝

Double Q-Learning은 두 개의 분리된 가치 함수를 사용하여 표준 Q-learning의 과대평가 편향을 해결하는 강화 학습 알고리즘으로, 확률적 환경에서 정책 정확도를 향상시킵니다.

Double Q-Learning은 강화 학습에서 Q-learning 알고리즘의 변형으로, 표준 Q-learning에서 발생할 수 있는 행동 가치의 과대평가를 줄이기 위해 설계되었다. 2010년 Hado van Hasselt에 의해 소개되었다. 이 방법은 두 개의 독립적인 Q-함수를 유지하고 업데이트 중에 교대로 사용하여, Bellman 방정식에서 최대 추정 값을 사용할 때 발생하는 양의 편향을 완화한다. 이는 노이즈가 있거나 확률적인 보상이 있는 환경에서 특히 유용하며, 표준 Q-learning은 부풀려진 가치 추정으로 인해 차선의 정책으로 수렴할 수 있다.

이 알고리즘은 모델-프리 방식으로, 환경의 모델을 요구하지 않으며, 확률적 전이와 보상을 적응 없이 처리할 수 있다. 유한한 Markov 결정 과정에서 Double Q-Learning은 Q-learning과 마찬가지로, 무한한 탐험 시간과 부분적으로 무작위한 정책이 주어졌을 때 연속적인 단계에서 기대 총 보상을 최대화하는 최적 정책을 찾는 것을 목표로 한다. "Q"라는 이름은 주어진 상태에서 취한 행동의 기대 보상을 계산하는 품질 함수를 가리킨다.

Q-learning에서의 과대평가

표준 Q-learning은 다음 상태의 모든 가능한 행동에 대한 최대 추정 Q-값을 사용하여 가치 함수를 업데이트한다. 이 최대 연산은 노이즈가 있는 추정의 최대값이 실제 최대값을 초과하는 경향이 있기 때문에 체계적인 양의 편향을 도입한다. 보상의 분산이 높거나 함수 근사가 있는 환경에서 이러한 과대평가는 에이전트가 실제보다 더 좋아 보이는 행동을 반복적으로 선택할 수 있으므로 성능 저하로 이어질 수 있다. 예를 들어, 에이전트가 10점의 출구에 도달하는 법을 배우는 격자 미로에서 Q-learning은 오른쪽이 더 빨리 출구에 도달하면 왼쪽보다 오른쪽으로 이동하는 것에 더 높은 값을 할당할 수 있지만, 노이즈가 덜 효율적인 경로의 값을 부풀리면 과대평가로 인해 차선의 경로를 선호하게 될 수 있다.

Double Q-Learning은 행동 선택과 그 가치 평가를 분리하여 이 문제를 해결한다. 단일 Q-함수를 사용하는 대신 Q_A와 Q_B라는 두 개의 별도 추정치를 유지한다. 각 업데이트 중에 하나의 함수는 다음 상태에서 최상의 행동을 선택하는 데 사용되고, 다른 함수는 그 가치를 추정하는 데 사용된다. 선택과 평가가 서로 다른 독립적인 추정치에 기반하므로 편향이 줄어든다.

알고리즘 메커니즘

Double Q-Learning의 핵심 업데이트 규칙은 두 개의 Q-함수를 포함한다. 각 시간 단계 t에서 에이전트는 행동 A_t를 선택하고, 보상 R_{t+1}을 관찰하며, 새로운 상태 S_{t+1}에 들어간다. 동일한 확률로 알고리즘은 Q_A 또는 Q_B를 업데이트한다. 예를 들어, Q_A를 업데이트할 때 Q_B를 사용하여 다음 상태에서 최상의 행동을 결정한 다음 Q_A를 사용하여 해당 행동의 가치를 평가한다. 업데이트는 학습률 alpha(0과 1 사이)와 할인 계수 gamma(또한 0과 1 사이)로 가중된 Bellman 스타일 방정식을 따르며, 이는 미래 보상보다 즉각적인 보상을 더 높게 평가한다. 이 교대 업데이트는 어느 함수도 지배하지 않도록 보장하며, 최대 연산이 한 함수에 적용되고 값이 다른 함수에서 읽히므로 과대평가가 줄어든다.

응용 및 확장

Double Q-Learning은 심층 강화 학습에서 널리 채택되었으며, 2015년 van Hasselt와 동료들이 소개한 Double Deep Q-Network(Double DQN) 알고리즘의 기초를 형성한다. Double DQN은 이 아이디어를 Deep learning 기술과 결합하여 신경망을 사용해 Q-함수를 근사하며, Atari 게임 플레이와 같은 작업에서 개선된 안정성과 성능을 보여주었다. 이 접근 방식은 가치 기반 방법이 순차적 의사 결정에 사용되는 Artificial intelligence 및 Machine learning과 같은 더 넓은 분야에도 관련이 있다. 연구자들은 이 개념을 다중 에이전트 시스템 및 연속 행동 공간과 같은 다른 설정으로 확장했지만, 이러한 확장은 종종 추가 수정이 필요하다.

다른 방법과의 관계

Double Q-Learning은 표준 Q-learning 및 SARSA를 포함하는 가치 기반 강화 학습 알고리즘 계열의 일부이다. 따르는 정책의 가치를 학습하는 SARSA와 달리 Double Q-Learning은 오프-폴리시 방법으로, 에이전트의 행동과 독립적으로 최적 정책을 학습할 수 있다. 이 속성은 탐험 전략에서 더 유연하게 만든다. 표준 Q-learning과 비교하여 Double Q-Learning은 두 함수를 유지하는 데 따른 약간의 계산 비용 증가를 편향의 상당한 감소와 교환하며, 이는 실제로 최적 정책으로의 더 빠른 수렴으로 이어지는 경우가 많다. 이 기술은 분산을 줄이기 위해 여러 추정치를 평균화하는 앙상블 방법과도 관련이 있지만, Double Q-Learning은 분산보다는 편향을 구체적으로 대상으로 한다.

한계 및 고려 사항

Double Q-Learning은 과대평가를 줄이지만, 특히 두 Q-함수가 시간이 지남에 따라 상관관계가 생기면 완전히 제거하지는 않는다. 어떤 경우에는 과소평가를 도입하여 초기 단계에서 학습을 늦출 수 있다. 이 알고리즘은 또한 학습률 및 할인 계수와 같은 하이퍼파라미터의 신중한 조정이 필요하다. 심층 강화 학습에서 Double DQN에서와 같은 타겟 네트워크의 사용은 추가 복잡성을 더하지만 안정성을 위해 종종 필요하다. 이러한 어려움에도 불구하고 Double Q-Learning은 이 분야의 기초 기술로 남아 있으며, 그 원리는 BAIR (Berkeley AI Research) 및 MIT CSAIL과 같은 기관에서 개발된 고급 시스템에 사용되는 것을 포함하여 많은 후속 알고리즘에 영향을 미쳤다.

정보 상자

유형: 개념
도입 연도: 2010
도입자: Hado van Hasselt
관련: q-learning