DeepMind DQN（Deep Q-Network）は、Google DeepMindの研究者らによって開発された画期的な人工知能モデルである。このモデルは、単一のアルゴリズムが、生のピクセル入力とゲームスコアを報酬信号としてのみ使用し、多種多様なAtari 2600ビデオゲームを人間のパフォーマンスに匹敵するか、それを上回るレベルで学習できることを実証した。この研究は2015年2月にNature誌に「Human-level control through deep reinforcement learning」というタイトルで発表され、機械学習と人工知能の分野における重要なマイルストーンとなった。
DQNの中核的な革新は、深層ニューラルネットワークと強化学習技術であるQ学習の組み合わせにあった。従来のQ学習手法は小さな状態空間に限定されていたが、DQNは畳み込みニューラルネットワークを使用してQ関数を近似し、現在のゲーム画面に対する各行動の期待将来報酬を推定した。これにより、モデルは手作業による特徴量を必要とせずに、ビデオゲームの高次元の視覚入力を処理できた。
アーキテクチャとトレーニング
DQNのアーキテクチャは、3つの畳み込み層とそれに続く2つの全結合層を持つ畳み込みニューラルネットワークで構成されていた。入力は、動き情報を捉えるための4つの連続した84x84グレースケールフレームのスタックであった。ネットワークは、各可能な行動（例：左移動、右移動、発射）に対してQ値を出力した。トレーニングでは経験再生が使用され、エージェントは遷移（状態、行動、報酬、次の状態）をメモリバッファに保存し、ランダムなミニバッチをサンプリングしてネットワークを更新することで、シーケンシャルデータの相関を断ち切った。
もう1つの重要な要素はターゲットネットワークであり、これはメインのネットワークの定期的に更新されるコピーで、ターゲットQ値の計算に使用された。これにより、ネットワーク自身の予測で更新することによる発散のリスクを低減し、トレーニングを安定化させた。モデルはAdamオプティマイザー（ただし、元の論文ではRMSPropを使用）と、時間とともに減衰する学習率スケジュールを使用した。トレーニングは単一のNvidia GTX 580 GPUで実行され、各ゲームは約38日間のゲーム時間（2億フレームに相当）でプレイされた。
結果と影響
2015年のNature論文では、DQNは49のAtariゲームで評価された。半数以上のゲームで人間の平均スコアの少なくとも75%を達成し、Breakout、Pong、Space Invadersなどの古典的なゲームを含む29のゲームで人間のパフォーマンスを上回った。モデルのパフォーマンスは、Breakoutのような長期的な計画を必要とするゲームで特に顕著であり、壁の隙間を利用して高得点を達成することを学習した。
DQNの成功は、深層強化学習の研究の波を引き起こした。これは、深層学習が画像認識のような教師ありタスクだけでなく、逐次的な意思決定問題にも適用できることを実証した。その後の研究はDQNの基盤の上に構築され、Double DQN、Dueling DQN、Prioritized Experience Replayなどの改善につながり、Q値の過大評価や非効率的なサンプリングなどのいくつかの限界に対処した。
他のAI開発との関係
DQNは、AlphaGoやAlphaZeroなどの後のモデルを含むGoogle DeepMindの業績のより広い系譜の一部である。DQNはビデオゲームに焦点を当てていたが、ニューラルネットワークと強化学習を組み合わせるというその原則は、ボードゲームやロボティクスに拡張された。このモデルはまた、生成AIと大規模言語モデルの開発にも影響を与えた。なぜなら、これらのシステムの多くは、行動を微調整するために人間からのフィードバックを用いた強化学習（RLHF）を使用しており、これはDQNの報酬駆動型学習と概念的なルーツを共有する技術だからである。
OpenAIの後の汎用エージェントに関する研究とは異なり、DQNはAtari環境に特化していたが、深層ニューラルネットワークが生の感覚データから複雑な制御ポリシーを学習できるという概念実証を提供した。これは、同様の深層強化学習アプローチが適用される自動運転（例：Waymo、Tesla Autopilot）やロボティクスの研究に影響を与えた。
限界と遺産
その成功にもかかわらず、DQNには顕著な限界があった。学習に数百万フレームの経験を必要とし、人間の学習と比較してサンプル非効率的であった。また、報酬が疎なゲームや広範な探索を必要とするゲームでは苦戦した。モデルはハイパーパラメータに敏感であり、そのパフォーマンスはゲームによって異なり、特定のタイトルではまったく学習できないこともあった。
それでも、DQNは人工知能における基礎的な研究であり続けている。学術文献で広く引用され、新しい強化学習アルゴリズムを評価するための標準的なベンチマークとなっている。コードとトレーニング済みモデルはDeepMindによってオープンソース化され、世界中の研究者が結果を再現し、拡張できるようになった。2020年代半ばの時点で、DQNの影響は現代のAI研究、特にマルチエージェント強化学習やメタ学習の分野で持続している。
主要な貢献者
DQN論文の著者は、Volodymyr Mnih、Koray Kavukcuoglu、David Silver、Andrei A. Rusu、Joel Veness、Marc G. Bellemare、Alex Graves、Martin Riedmiller、Andreas K. Fidjeland、Georg Ostrovski、Stig Petersen、Charles Beattie、Amir Sadik、Ioannis Antonoglou、Helen King、Dharshan Kumaran、Daan Wierstra、Shane Legg、Demis Hassabisである。その中で注目すべき人物には、後にDeepMindの研究ディレクターとなったKoray Kavukcuogluや、DeepMindの共同創設者であるDemis Hassabis（提供されたリストには含まれていないが）がいる。この研究は、強化学習の理論的基盤を開発したRichard Sutton（リストに含まれていない）やAndrew Barto（リストに含まれていない）などの研究者による初期の貢献の上に構築された。