TD3

TD3（Twin Delayed Deep Deterministic Policy Gradient）是一种用于连续控制的强化学习算法，通过双评论家、延迟策略更新以及目标平滑来应对过估计偏差，从而在DDPG基础上加以改进。。

TD3（Twin Delayed Deep Deterministic Policy Gradient）は、連続行動空間向けに設計された深層強化学習アルゴリズムである。これはDeep Deterministic Policy Gradient（DDPG）法の拡張であり、アクター・クリティック法において性能を低下させることが多い過大評価バイアスに対処するために導入された。TD3は、スコット・フジモト、ヘルケ・ファン・ホーフ、デイビッド・メガーによって2018年の論文「Addressing Function Approximation Error in Actor-Critic Methods」で提案された。

このアルゴリズムは、アクター・クリティック構造と、クリップ付きダブルQ学習、遅延ポリシー更新、ターゲットポリシースムージングという3つの主要な修正を組み合わせている。これらの変更により、分散が低減され安定性が向上し、TD3は機械学習研究における連続制御タスクの広く使用されるベースラインとなっている。

コアメカニズム

TD3は標準的な強化学習フレームワーク内で動作し、エージェントは累積報酬を最大化するために環境と相互作用する。アクターネットワークは状態を行動にマッピングし、クリティックネットワークは状態・行動ペアの期待リターン（Q値）を推定する。単一のクリティックを使用するDDPGとは異なり、TD3は2つのクリティックネットワークを維持し、ターゲット値の計算時にそれらの推定値の最小値を使用する。このクリップ付きダブルQ学習は、関数近似誤差から生じる過大評価バイアスを軽減する。

また、このアルゴリズムはポリシー更新を遅延させる。アクターはクリティックよりも低頻度で更新される（通常、クリティック更新2回ごとに1回）。これにより、ポリシーが調整される前にクリティックがより正確になり、不安定化する更新のリスクが低減される。さらに、ターゲットポリシースムージングはターゲット行動に小さなランダムノイズを追加し、値推定を正則化して、ポリシーがQ関数の狭いピークを利用することを防ぐ。

DDPGとの比較

2016年にティモシー・P・リリクラップらによって導入されたDDPGは、深層ニューラルネットワークを用いた連続制御の先駆的アルゴリズムであった。しかし、Q値の過大評価に悩まされることが多く、最適ではないポリシーにつながることがあった。TD3は、ツインクリティックメカニズムやその他の安定化を組み込むことで、この問題に直接対処している。MuJoCoロコモーション環境（HalfCheetah、Walker2d、Hopperなど）などのベンチマークタスクに関する実証研究では、TD3が最終性能とサンプル効率の両方においてDDPGを一貫して上回ることが示されている。

毎ステップでポリシーを更新するDDPGとは異なり、TD3の遅延更新はポリシーと値関数の更新間の相関を低減し、これが安定性の向上に寄与している。ターゲットスムージング項は、教師あり学習におけるノイズ追加に類似したAI正則化の一形態としても機能する。

実装の詳細

実際には、TD3は遷移を格納する経験リプレイバッファを使用し、そこからミニバッチがトレーニング用にサンプリングされる。両方のクリティックネットワークは、2つのターゲットクリティックの出力の最小値として計算された同じターゲット値を使用して更新される。アクターは決定論的ポリシー勾配を使用して更新されるが、クリティック更新の固定回数後にのみ更新される。アクターとクリティックの両方のターゲットネットワークは、通常0.005の小さなタウパラメータによるソフト更新（ポリアック平均化）を介して更新される。

このアルゴリズムのハイパーパラメータは比較的標準的である。クリティックの学習率は約1e-3、アクターは1e-4、割引係数は0.99、バッチサイズは256である。探索ノイズは通常、標準偏差0.1のガウスノイズであり、ターゲットスムージングノイズは標準偏差0.2で、-0.5から0.5の範囲にクリップされる。

応用と影響

TD3は、特にロボティクスや制御タスクにおいて、強化学習研究の標準的なベースラインとなっている。バークレーAI研究や他の学術研究所で、新しいアルゴリズムのベンチマークに頻繁に使用されている。その原理は、エントロピー正則化を通じて過大評価に対処するがツインクリティックは使用しないSoft Actor-Critic（SAC）などの後続手法に影響を与えている。

このアルゴリズムは、自動運転やロボット手術研究のシミュレーション環境に適用されているが、実世界での展開は依然として限られている。産業界では、OpenAIやGoogle DeepMindが連続制御に同様のアクター・クリティックアプローチを探求しているが、TD3自体は主に研究ツールである。

制限と拡張

TD3は環境がマルコフ的であり、ポリシーが決定論的であることを前提としており、探索を制限する可能性がある。TD3+BC（行動クローニング付き）などの変種が、エージェントが固定データセットから学習するオフライン強化学習用に提案されている。その他の拡張には、分散クリティックや、分散をさらに低減するためのアンサンブル法が含まれる。

その強みにもかかわらず、TD3はハイパーパラメータ調整に敏感であり、高次元または部分的に観測可能な環境では苦戦する可能性がある。研究者たちはそのフレームワークに基づいて構築を続けており、現代の深層強化学習への基礎的な貢献となっている。