非同期アドバンテージアクタークリティック（A3C）は、強化学習アルゴリズムであり、アクタークリティックアーキテクチャと非同期並列トレーニングを組み合わせたものである。これは、2016年にGoogle DeepMindの研究者らによって導入され、深層ニューラルネットワークポリシーのトレーニングを安定化・高速化する方法として提案された。核心となるアイデアは、複数の独立したエージェント（ワーカー）を並列環境で実行し、それぞれが経験を収集して勾配を計算し、それを共有モデルに非同期に適用するというものである。この並列性によりトレーニングデータの相関が低減され、経験リプレイの必要性が減り、単一のマルチコアCPU上でより高速かつ堅牢な学習が可能になる。
このアルゴリズムは、機械学習手法のより広いファミリーに属し、ニューラルネットワークを用いてポリシーと価値関数を近似する。A3Cは、単純な非同期更新が、Atari 2600ゲームなどの困難なタスクにおいて、Deep Q-Network（DQN）のようなより複雑な同期手法と同等以上の性能を達成できることを実証した点で重要な進歩であった。その設計は、その後のアルゴリズム、例えば同期版であるA2Cや、PPOのような後続のアクタークリティック手法に影響を与えた。
アーキテクチャと構成要素
A3Cはアクタークリティックフレームワークに基づいて構築されており、アクターとクリティックの2つの主要な構成要素からなる。アクターはポリシーネットワークであり、状態が与えられたときの行動に対する確率分布を出力する。一方、クリティックは価値ネットワークであり、その状態からの期待収益を推定する。A3Cでは、両方のネットワークが共通の層（通常は画像入力用の畳み込み層）を共有し、ポリシーと価値のための個別の出力ヘッドを持つ。
このアルゴリズムはアドバンテージ関数を使用する。これは、与えられた状態における平均的な行動と比較して、ある行動がどれだけ優れているかを測定するものである。アドバンテージは、割引収益と推定価値の差として計算され、多くの場合、一般化アドバンテージ推定（GAE）と呼ばれる手法を用いて分散を低減する。アクターは正のアドバンテージを持つ行動の確率を高めるように更新され、クリティックはその予測と実際の収益との間の平均二乗誤差を最小化するように更新される。
非同期トレーニングメカニズム
A3Cでは、複数のワーカースレッドが並行して実行され、それぞれが独自の環境コピーとネットワークパラメータのローカルコピーを持つ。各ワーカーは、通常20から40ステップの間、環境と相互作用し、勾配を蓄積する。このロールアウトの後、ワーカーは勾配を計算し、それをグローバルな共有モデルに非同期に適用する。共有オプティマイザー（通常はRMSPropまたはAdam）が使用される。その後、ワーカーは更新されたグローバルパラメータを取得し、次のロールアウトを続行する。
この非同期設計にはいくつかの利点がある。第一に、異なるワーカーが状態空間の異なる部分を同時に探索するため、連続するトレーニングサンプル間の相関が断ち切られる。第二に、DQNでトレーニングを安定させるために不可欠だった大規模な経験リプレイバッファの必要性がなくなる。第三に、アルゴリズムがCPUコア数に比例してスケールするため、GPUのような専用アクセラレータを必要とせず、標準的なハードウェア上で効率的に動作する。
歴史的経緯と影響
A3Cの開発は、深層強化学習エージェントのトレーニングにおける課題、特に相関データによる不安定性と同期手法の高い計算コストに対処するために動機づけられた。この論文「Asynchronous Methods for Deep Reinforcement Learning」は、2016年にVolodymyr Mnih、Adria Puigdomenech Badia、Mehdi Mirza、Alex Graves、Timothy Lillicrap、Tim Harley、David Silver、Koray Kavukcuogluによって発表された。この論文では、A3Cに加えて、非同期ワンステップQ学習や非同期nステップQ学習などの他の非同期変種も提示された。
A3Cは、Atari 2600ベンチマークにおいて最先端の結果を達成し、多くのゲームでDQNを上回りながら、計算リソースを大幅に削減した。また、MuJoCo物理シミュレータを用いた連続制御タスクでも優れた性能を示した。このアルゴリズムの単純さと有効性により、研究や応用において広く採用され、強化学習コミュニティで広く受け入れられた。
関連手法との比較
A3Cは、その同期版であるA2C（アドバンテージアクタークリティック）としばしば比較される。A2Cは同じアーキテクチャを使用するが、グローバルモデルを同期方式で更新し、すべてのワーカーがロールアウトを完了してから勾配を適用する。A2Cは実装がより単純で、一部の設定ではより安定する場合があるが、A3Cの非同期更新はより良い探索とより高速なウォールクロックトレーニング時間を提供できる。
もう一つの関連手法は、OpenAIによって2017年に導入されたPPO（近位ポリシー最適化）である。PPOはアクタークリティックフレームワークに基づくが、クリップされた代理目的関数を使用してポリシー更新を制限する。PPOはその堅牢性とチューニングの容易さから実際には好まれることが多いが、A3Cは深層強化学習における並列処理の力を実証した基礎的アルゴリズムとして歴史的に重要である。
遺産と現代における関連性
A3Cはもはや多くのベンチマークで最先端ではないが、その原理は多くの現代アルゴリズムに影響を与えている。複数の並列ワーカーを使用してトレーニングを安定化させるというアイデアは、現在ではIMPALA（Importance Weighted Actor-Learner Architecture）やApe-Xなどの分散強化学習システムにおいて標準となっている。アクタークリティックアーキテクチャ自体も、ロボット工学からゲームプレイに至るまでの応用において、強化学習の基礎であり続けている。
A3Cはまた、人工知能のより広い分野に対して、アルゴリズムの単純さと計算効率の重要性を強調することで貢献した。CPUのみのハードウェアでの成功は、大規模なGPUクラスターを利用できない研究者や実務者にとって、深層強化学習をより身近なものにした。2020年代半ば現在、A3Cは主に教育的な例やベースラインとして研究されているが、スケーラブルな強化学習アルゴリズムの設計に対するその影響は今もなお続いている。