ポリシー勾配法は、強化学習アルゴリズムの一種であり、ポリシー最適化手法のサブクラスである。価値ベースの手法が価値関数を学習してポリシーを導出するのとは異なり、ポリシー最適化手法は価値関数を参照せずに行動を選択するポリシー関数を直接学習する。ポリシー勾配を適用するには、ポリシー関数が微分可能なパラメータ（通常はシータと表記）でパラメータ化されている必要があり、目的はポリシーパラメータに対する勾配上昇を通じて期待累積報酬を最大化することである。
これらの手法は、現代の強化学習の中心を成し、ロボティクス、ゲームプレイ、自律システムなどの分野に応用されている。特に、価値ベースの手法が苦手とする連続行動空間を持つ環境で有用である。ポリシー勾配法は、勾配を推定するために確率的サンプリングに依存するため、「モンテカルロ勾配推定」という名称でも研究されている。
概要
ポリシーベースの強化学習において、アクターはパラメータ化されたポリシー関数であり、状態を行動上の確率分布に写像する。与えられた状態に対して、ポリシーは各可能な行動の確率を出力し、行動空間が離散的か連続的かに応じて、全行動にわたる和または積分は1に等しくなる。目的は、初期状態から始まる時間軸にわたる割引報酬の合計として定義される期待エピソード報酬を最大化するパラメータを見つけることである。
ポリシー勾配は、ポリシーパラメータに関するこの期待報酬の勾配である。異なるポリシー勾配法は、この勾配を異なる方法で確率的に推定するが、すべて勾配を上昇させることでポリシーを反復的に改善することを目指している。重要な課題は、勾配の不偏かつ低分散の推定値を得ることであり、これによりベースラインやアクタークリティックアーキテクチャなどのさまざまな手法が生まれてきた。
REINFORCE
1992年にロナルド・J・ウィリアムズによって導入されたREINFORCEアルゴリズムは、最初のポリシー勾配法である。これは、ポリシー勾配を、ログポリシーの勾配と総報酬の積の軌跡上の期待値として表現する基本恒等式に基づいている。重要な改良点は「因果性トリック」であり、各行動をそのタイムステップ以降の報酬のみで重み付けすることで、バイアスを導入せずに分散を低減する。REINFORCEはモンテカルロ法であり、完全なエピソードを使用して勾配を推定するため、分散が高くなる可能性があるが、実装は簡単である。
アクタークリティック法
アクタークリティック法は、ポリシー勾配と価値関数近似を組み合わせて分散を低減する。アクターはポリシーネットワークであり、クリティックは価値関数を推定し、ベースラインまたはアドバンテージ関数の計算に使用される。これにより、純粋なREINFORCEと比較して、より安定したサンプル効率的な学習が可能になる。代表的な例としては、A2C（アドバンテージアクタークリティック）やA3C（非同期アドバンテージアクタークリティック）があり、深層強化学習で広く使用されている。
現代の変種
現代のポリシー勾配法には、破壊的な大きなステップを避けるためにポリシー更新を制約する近接ポリシー最適化（PPO）や信頼領域ポリシー最適化（TRPO）が含まれる。これらの手法は、その信頼性と性能により、深層強化学習の標準となっている。Dota 2やStarCraft IIなどのゲームのエージェント訓練や、ロボティクスや自動運転の研究に使用されている。
応用と課題
ポリシー勾配法は、人工知能研究、機械学習システム、深層学習フレームワークなど、さまざまな分野に応用されている。特に、ロボット操作や移動などの連続制御タスクに効果的である。しかし、サンプル複雑性が高く、ハイパーパラメータに敏感であるなどの課題に直面している。研究はこれらの問題に対処し続けており、ニューラルネットワークアーキテクチャや最適化手法の進歩が進んでいる。
ポリシー勾配法はまた、大規模言語モデルの訓練にも関連しており、人間のフィードバックからの強化学習（RLHF）は、ポリシー勾配に類似した更新を使用して、モデルを人間の好みに合わせて調整する。この関連性は、これらのアルゴリズムが従来の強化学習設定を超えて広く適用可能であることを強調している。