逆強化学習（IRL）は、機械学習の一分野であり、知的エージェントの観測された行動（通常はデモンストレーションの形）から報酬関数を推測することを目的とする。標準的な強化学習では、エージェントが既知の報酬信号を最大化する方策を学習するのに対し、IRLは逆問題を扱う。すなわち、専門家の軌跡の集合が与えられたとき、その専門家が暗黙的に最適化している報酬関数を復元する。これは、ロボット工学、自動運転、人間の行動モデリングなど、報酬関数を手動で指定することが難しいシナリオで特に有用である。IRLは見習い学習と密接に関連しており、そこではデモンストレーションから方策を学習することを目的とし、多くの場合、まず報酬関数を復元してからそれを最適化する。
IRLの形式的な設定は、通常、状態空間、行動空間、遷移確率、および報酬関数によって定義されるマルコフ決定過程（MDP）である。標準的なRLでは報酬関数が与えられ、エージェントは最適方策を求める。IRLでは報酬関数が未知であり、アルゴリズムは観測された状態-行動ペアからそれを推定しなければならない。観測された行動は、真の報酬関数に関して準最適であると仮定されるが、実際にはデモンストレーションがノイズを含むか、準最適である場合もある。IRLアルゴリズムは、報酬に関する不確実性をモデル化するためにベイズ学習メカニズムの手法や、データを説明する報酬を見つけるための最適化手法を用いることが多い。
歴史的背景
逆強化学習の概念は、1990年代後半から2000年代初頭にかけて形式化された。2000年のAndrew NgとStuart Russellによる画期的な論文がこの問題を導入し、線形計画法に基づくアルゴリズムを提案した。その後、Pieter AbbeelとAndrew Ng（2004年）は、IRLを用いて専門家のパフォーマンスに一致する方策を学習する見習い学習フレームワークを開発した。この研究は、最大エントロピーIRL（Ziebartら、2008年）やベイズIRL（RamachandranとAmir、2007年）など、その後の多くのアプローチの基礎を築いた。これらの手法は、ロボットが人間のデモンストレーションからタスクを学習するロボット工学や、戦略的行動をモデル化するためのゲーム理論などの分野で応用されている。
主要なアルゴリズム
IRLにはいくつかのアルゴリズムのファミリーが存在する。NgとRussellによって提案された最も初期のアプローチは、特徴量に対する線形報酬関数を仮定し、線形計画法を用いて専門家の方策を最適にする報酬を見つける。見習い学習アルゴリズムは、専門家の特徴期待値と学習者のそれとの間のマージンを最大化する方策を反復的に計算し、報酬の推定を洗練させる。最大エントロピーIRLは、専門家の行動を軌跡上の確率分布としてモデル化し、累積報酬が高いほど高い確率を与え、勾配ベースの最適化を用いて報酬パラメータを適合させる。ベイズIRLは報酬を事前分布を持つ確率変数として扱い、観測されたデモンストレーションに基づいて事後分布に更新し、不確実性の尺度を提供する。より最近の手法では、高次元の状態空間を扱うために深層学習を組み込んでおり、深層IRLや敵対的IRLなど、ニューラルネットワークを用いて報酬関数を表現するものがある。
応用
IRLは多様な分野で応用されている。ロボット工学では、人間のデモンストレーションから操作やナビゲーションのタスクを学習し、手作業による報酬関数の必要性を回避できる。自動運転では、記録された軌跡からドライバーの好みを推測し、より人間らしい運転方策の設計に役立てることができる。人間の行動モデリングでは、経済的または社会的文脈における意思決定を理解するためにIRLが用いられる。また、強化学習とゲーム理論を組み合わせて、対戦相手の戦略をモデル化するためにも応用されている。医療分野では、臨床判断から患者の好みを推測し、個別化治療の改善に役立つ可能性がある。しかし、IRLは計算的に困難であり、特に大規模な状態空間では、慎重な特徴量エンジニアリングや関数近似が必要となることが多い。
課題と限界
IRLにおける根本的な課題は、問題の不良設定性である。同じ観測された行動を説明できる報酬関数は多数存在する。例えば、どこでもゼロの報酬は任意の方策を最適にするため、追加の仮定や事前分布が必要となる。一般的な解決策には、専門家が最適であると仮定する、最大エントロピーを用いて最も偏りのない報酬を選択する、または事前知識を組み込むことが含まれる。もう一つの問題は、十分かつ多様なデモンストレーションの必要性である。専門家が狭い範囲の行動しか示さない場合、推測された報酬は過適合になる可能性がある。スケーラビリティも懸念事項であり、多くのIRLアルゴリズムはRL問題を繰り返し解く必要があり、これは高コストである。最後に、IRLは専門家の行動が単一の報酬関数と整合的であると仮定するが、これはマルチエージェントや非定常的な設定では成立しない可能性がある。
他の学習パラダイムとの関係
IRLは教師あり学習と強化学習の間に位置する。教師あり学習が状態を直接行動にマッピングするのに対し、IRLは報酬関数という形でより深い説明モデルを求める。標準的なRLが既知の報酬を仮定するのに対し、IRLはこの仮定を緩和する。また、ラベルなしデータから潜在構造（報酬）を抽出する点で教師なし学習とも関連するが、データは通常、逐次的である。IRLは能動学習と組み合わせて情報量の多いデモンストレーションを選択したり、少数ショット学習と組み合わせて非常に少ない例から報酬を推測したりすることができる。人工知能のより広い文脈では、IRLは見習い学習の主要な構成要素であり、深層強化学習パイプラインで報酬関数を初期化または整形するために使用される。