近位策略最適化（PPO）は、知的エージェントを訓練するための強化学習（RL）アルゴリズムである。具体的には、方策勾配法の一種であり、方策ネットワークが非常に大きい場合の深層RLでしばしば用いられる。PPOは2017年に、信頼領域方策最適化（TRPO）の近似として導入され、二次導関数の計算コストをかけずに訓練の安定性を向上させるよう設計された。2018年以降、PPOはOpenAIにおけるデフォルトのRLアルゴリズムとなり、ロボットアーム制御、Atariゲームのプレイ、OpenAI Fiveプロジェクトを通じたDota 2でのプロプレイヤーへの勝利などの領域に適用されてきた。
PPOは方策勾配法のファミリーに属し、期待報酬の勾配を推定することで方策を直接最適化する。Deep Q-Networks（DQN）のような価値ベースの手法とは異なり、PPOはオン・ポリシーアルゴリズムであり、現在の方策から収集したデータを用いて方策を更新する。離散および連続の行動空間の両方をサポートしており、幅広い環境に対して汎用性が高い。
背景: 信頼領域方策最適化
PPOの前身である信頼領域方策最適化（TRPO）は2015年に発表された。TRPOは、DQNの不安定性の問題に、信頼領域法を用いて旧方策と新方策の間のKLダイバージェンスを制限することで対処した。この制約により、更新中に方策が急激に変化しないことが保証され、安定した学習の維持に役立つ。しかし、TRPOはこの制約を、二次導関数の行列であるヘッセ行列を計算することで強制するため、大規模な問題に対して計算コストが高く非効率である。この限界がPPOの開発の動機となり、PPOはヘッセ行列を必要とせずにTRPOの制約を近似する。
PPOアルゴリズム
PPOは、KLダイバージェンス制約をクリップされた目的関数に置き換えることでTRPOを簡素化する。核心的なアイデアは、新方策と旧方策の間の確率比をクリップすることで方策更新を制限することである。このクリップ機構は、訓練を不安定にしうる過度に大きな更新を防ぐ。目的関数は、方策改善の下限を提供するように設計されており、更新が保守的でありながらも効果的であることを保証する。
アルゴリズムは通常、以下の手順に従う。
- 現在の方策を環境で実行して軌跡を収集する。
- 報酬の累積（rewards-to-go）とアドバンテージ推定（例: 一般化アドバンテージ推定を使用）を計算する。
- クリップされた代理目的関数を最大化することで方策を更新する。多くの場合、確率的勾配上昇法を用いる。
- 任意で、アドバンテージ推定を改善するために価値関数を更新する。
PPOは、TRPOと比較して実装の単純さと容易さで知られており、多くのタスクで同等またはそれ以上の性能を達成する。強化学習研究における標準的なベースラインとなっている。
応用と影響
PPOは研究と産業の両方で広く採用されている。OpenAIでは、2018年にデフォルトのRLアルゴリズムとなり、2019年にDota 2の現役世界チャンピオンを破ったOpenAI Fiveなどのプロジェクトで使用された。PPOはロボット制御にも使用されており、操作タスクを実行するロボットアームの訓練や、多くのタイトルで人間超の性能を達成したAtariゲームのプレイにも用いられている。
このアルゴリズムの安定性とサンプル効率は、特に人間のフィードバックからの強化学習（RLHF）の文脈において、大規模言語モデルの微調整に人気のある選択肢となっている。多くの現代の大規模言語モデルは、PPOまたはその変種を用いて調整されており、生成AIシステムの開発に貢献している。
他の手法との比較
PPOは、A2C（アドバンテージ・アクター・クリティック）やDDPG（深層決定論的方策勾配）などの他の方策勾配アルゴリズムとしばしば比較される。複数の並列環境を使用するA2Cとは異なり、PPOは単一の環境で動作し、重要度サンプリングを用いてデータを再利用できる。オフ・ポリシーで決定論的なDDPGと比較して、PPOはオン・ポリシーで確率的であり、ハイパーパラメータの変動に対してより堅牢である。PPOのクリップされた目的関数は、TRPOの信頼領域のより単純な代替手段を提供し、計算オーバーヘッドを削減しつつ安定性を維持する。
限界と拡張
その成功にもかかわらず、PPOには限界がある。クリップパラメータやアドバンテージ推定法の選択に敏感であり得る。また、学習率やミニバッチサイズなどのハイパーパラメータの慎重な調整を必要とする。研究者らは、一般化アドバンテージ推定を組み込んだPPO-λや、クリップ範囲を適応的に調整する変種などの拡張を提案している。さらに、PPOのオン・ポリシー性は、オフ・ポリシー法と比較してサンプル非効率であり得るが、これはしばしばその安定性によって相殺される。