ダブルQラーニング

Double Q-Learningは、標準的なQ-learningにおける過大評価バイアスに対処する強化学習アルゴリズムであり、2つの別々の価値関数を使用することで、確率的環境における方策の精度を向上させる。

ダブルQラーニングは、強化学習におけるQラーニングアルゴリズムの変種であり、標準的なQラーニングで発生し得る行動価値の過大評価を低減するために設計されたものである。これは2010年にハド・ファン・ハッセルトによって導入された。この手法は2つの独立したQ関数を維持し、更新時にそれらを交互に使用することで、ベルマン方程式における最大推定値の使用から生じる正のバイアスを緩和する。これにより、報酬がノイズや確率的要素を含む環境で特に有用であり、標準的なQラーニングでは価値推定の膨張により準最適な方策に収束し得る場合でも、効果的に機能する。

このアルゴリズムはモデルフリーであり、環境のモデルを必要とせず、確率的な遷移や報酬を伴う問題に適応なしで対処できる。任意の有限マルコフ決定過程において、ダブルQラーニングはQラーニングと同様に、無限の探索時間と部分的なランダム方策の下で、連続するステップにおける期待総報酬を最大化する最適方策を見つけることを目指す。「Q」という名前は、与えられた状態で取られた行動の期待報酬を計算する品質関数を指す。

Qラーニングにおける過大評価

標準的なQラーニングは、次の状態における全ての可能な行動に対する最大推定Q値を使用して価値関数を更新する。この最大操作は、ノイズを含む推定値の最大値が真の最大値を超える傾向があるため、系統的な正のバイアスを導入する。報酬の分散が大きい環境や関数近似を用いる環境では、この過大評価はエージェントが実際よりも良く見える行動を繰り返し選択する可能性があるため、性能の低下につながる。例えば、エージェントが10ポイントの出口に到達することを学習するグリッド迷路では、右に移動すると出口に速く到達する場合、Qラーニングは左よりも右に移動する価値を高く割り当てるかもしれないが、ノイズが非効率な経路の価値を膨張させると、過大評価により準最適な経路を優先する可能性がある。

ダブルQラーニングは、行動の選択とその価値の評価を分離することでこれに対処する。単一のQ関数を使用する代わりに、Q_AとQ_Bという2つの別々の推定値を維持する。各更新中に、一方の関数が次の状態での最良の行動を選択するために使用され、他方がその価値を推定するために使用される。これにより、選択と評価が異なる独立した推定値に基づくため、バイアスが低減される。

アルゴリズムの仕組み

ダブルQラーニングの核心的な更新則は、2つのQ関数を含む。各時間ステップtで、エージェントは行動A_tを選択し、報酬R_{t+1}を観測し、新しい状態S_{t+1}に入る。等確率で、アルゴリズムはQ_AまたはQ_Bのいずれかを更新する。例えば、Q_Aを更新する場合、Q_Bを使用して次の状態での最良の行動を決定し、次にQ_Aを使用してその行動の価値を評価する。更新はベルマン形式の方程式に従い、学習率アルファ（0から1の間）と割引率ガンマ（これも0から1の間）で重み付けされ、即時報酬を将来の報酬よりも高く評価する。この交互更新により、どちらの関数も支配的にならず、最大操作が一方の関数に適用され、価値が他方から読み取られるため、過大評価が低減される。

応用と拡張

ダブルQラーニングは深層強化学習で広く採用されており、2015年にファン・ハッセルトらによって導入されたダブルディープQネットワーク（ダブルDQN）アルゴリズムの基礎を形成している。ダブルDQNはこのアイデアをDeep learning技術と組み合わせ、ニューラルネットワークを使用してQ関数を近似し、Atariゲームプレイなどのタスクで改善された安定性と性能を示している。このアプローチは、逐次意思決定に価値ベースの手法が使用されるArtificial intelligenceやMachine learningなどのより広い分野にも関連している。研究者はこの概念をマルチエージェントシステムや連続行動空間などの他の設定にも拡張しているが、これらの拡張には追加の修正が必要となることが多い。

他の手法との関係

ダブルQラーニングは、標準的なQラーニングやSARSAを含む価値ベースの強化学習アルゴリズムのファミリーの一部である。SARSAが従っている方策の価値を学習するのに対し、ダブルQラーニングはオフポリシー手法であり、エージェントの行動とは独立に最適方策を学習できる。この特性により、探索戦略においてより柔軟である。標準的なQラーニングと比較して、ダブルQラーニングは2つの関数を維持するためのわずかな計算コストの増加と引き換えに、バイアスの大幅な低減を実現し、実際には最適方策へのより速い収束につながることが多い。この手法は、複数の推定値を平均して分散を低減するアンサンブル手法とも関連しているが、ダブルQラーニングは特にバイアスではなく分散ではなくバイアスを対象としている。

制限と考慮事項

ダブルQラーニングは過大評価を低減するが、特に2つのQ関数が時間とともに相関する場合には、完全に排除するわけではない。場合によっては、過小評価を導入し、初期段階での学習を遅らせる可能性がある。このアルゴリズムはまた、学習率や割引率などのハイパーパラメータの慎重な調整を必要とする。深層強化学習では、ダブルDQNのようにターゲットネットワークの使用がさらなる複雑さを追加するが、安定性のためにしばしば必要である。これらの課題にもかかわらず、ダブルQラーニングはこの分野の基礎的な手法であり続けており、その原理はBAIR (Berkeley AI Research)やMIT CSAILなどの機関で開発された高度なシステムを含む多くの後続アルゴリズムに影響を与えている。

インフォボックス

タイプ: 概念
導入年: 2010
導入者: ハド・ファン・ハッセルト
関連: q-learning