Trust Region Policy Optimization（TRPO）は、逐次的な意思決定を行う知的エージェントを訓練するための強化学習（RL）アルゴリズムである。これは方策勾配法の一種であり、方策ネットワークが大きい場合に深層RLでよく使用され、2015年に初期のアルゴリズムの不安定性問題への対応として導入された。TRPOは、各更新における方策の変化を信頼領域を用いて制約し、旧方策と新方策の間のKullback-Leibler（KL）ダイバージェンスを制限することで、より信頼性の高い改善を保証する。
TRPOはオン方策アルゴリズムであり、現在の方策から収集したデータを用いて方策を更新することを意味する。これは、離散または連続のアクション空間を持つ環境に適用可能である。このアルゴリズムは、軌跡を収集し、アドバンテージを推定し、方策勾配を計算し、その後、制約付き最適化ステップを適用して方策パラメータを更新することを反復的に行う。
背景と動機
強化学習は、試行錯誤を通じて累積報酬を最大化することでエージェントを訓練することを目的とする。初期の深層RL手法、例えばDeep Q-Network（DQN）は、顕著な成功を収めたが、訓練中の不安定性に悩まされた。2013年にGoogle DeepMindの研究者によって導入されたDQNは、ニューラルネットワークを用いてQ値関数を近似したが、不安定な更新を示すことがあった。TRPOは、より安定した方策更新メカニズムを提供することでこれらの問題に対処するために開発された。
TRPOの核となるアイデアは、単一の更新で方策がどれだけ変化できるかを制限することである。これは、旧方策と新方策の間のKLダイバージェンスに制約を課すことで達成される。方策を信頼領域内に保つことで、TRPOは素朴な方策勾配法で発生し得る大規模で破壊的な更新を回避する。
アルゴリズムの詳細
TRPOは、現在の方策を環境で実行して一連の軌跡を収集することから始まる。各軌跡について、報酬の残りとアドバンテージ推定値を計算し、これはアクションが平均と比較してどれだけ優れているかを測定する。方策勾配は、これらのアドバンテージで重み付けされたアクションの対数確率の期待勾配として推定される。
主要な計算上の課題は、KLダイバージェンス制約を強制することである。TRPOは、KLダイバージェンスのヘッセ行列（二階導関数の行列）を用いて制約を近似する。しかし、ヘッセ行列を直接計算することは、大規模問題では計算コストが高い。これを緩和するため、TRPOは共役勾配アルゴリズムを用いて結果として得られる線形システムを近似的に解き、完全なヘッセ行列を明示的に形成する必要性を回避する。さらに、バックトラッキング直線探索により、更新された方策が制約を満たすことを保証する。
PPOとの関係
TRPOは、2017年に発表されたProximal Policy Optimization（PPO）の直接の前身である。PPOは、KLダイバージェンス制約をクリップされた目的関数で近似することでTRPOを簡素化し、ヘッセ行列の計算を不要にする。これにより、PPOは計算効率が高く実装が容易でありながら、同様の安定性の利点を保持する。2018年以降、PPOはOpenAIでのデフォルトのRLアルゴリズムであり、ロボットアームの制御、Atariゲームのプレイ、OpenAI Fiveプロジェクトの一環としてDota 2でプロプレイヤーを打ち負かすことなど、幅広いタスクに適用されてきた。
PPOの人気にもかかわらず、TRPOはRLにおける重要な基礎アルゴリズムであり続けている。その信頼領域アプローチは多くの後続手法に影響を与え、追加の計算コストが許容されるシナリオでは今でも使用されている。
応用と影響
TRPOは、安定した方策更新が重要となる移動や操作などの様々な連続制御タスクに適用されてきた。また、複雑な環境での方策最適化を研究するための研究設定でも使用されている。このアルゴリズムの単調改善への強調は、新しいRL手法を比較するためのベンチマークとなっている。
機械学習と人工知能のより広い文脈において、TRPOはRLにおけるニューラルネットワークのより堅牢な訓練技術の開発に貢献した。そのアイデアは多数の後続研究で拡張・適応され、深層RLの歴史におけるその地位を確固たるものにしている。
制限事項
TRPOの主な制限は、ヘッセ行列の計算と共役勾配反復による計算オーバーヘッドである。これにより、特に方策ネットワークが非常に大きい場合、PPOのようなより単純な手法よりも遅くなる。さらに、TRPOはKLダイバージェンス制限やバックトラッキング係数などのハイパーパラメータの慎重な調整を必要とし、これが性能に影響を与える可能性がある。
これらの欠点にもかかわらず、TRPOの理論的保証と安定性特性は、方策最適化を理解するための貴重なツールとなっている。これは、この分野で新しいアルゴリズムを評価するための参照点であり続けている。