逆向强化学习（IRL）是机器学习的一个子领域，旨在从观察到的行为（通常以示范形式呈现）中推断智能体的奖励函数。与标准的强化学习（智能体学习策略以最大化已知奖励信号）不同，IRL处理的是逆问题：给定一组专家轨迹，恢复专家隐式优化的奖励函数。这在手动指定奖励函数困难的场景中尤为有用，例如机器人技术、自动驾驶或人类行为建模。IRL与学徒学习密切相关，后者的目标是从示范中学习策略，通常先恢复奖励函数，再对其进行优化。
IRL的正式设定通常是马尔可夫决策过程（MDP），由状态空间、动作空间、转移概率和奖励函数定义。在标准强化学习中，奖励函数是给定的，智能体寻求最优策略。在IRL中，奖励函数未知，算法必须从观察到的状态-动作对中估计它。观察到的行为被假定相对于真实奖励函数是近似最优的，尽管在实践中示范可能带有噪声或并非最优。IRL算法常利用贝叶斯学习机制中的技术来对奖励的不确定性进行建模，或利用优化技术来找到能解释数据的奖励。
历史背景
逆向强化学习的概念在20世纪90年代末和21世纪初被正式化。Andrew Ng和Stuart Russell在2000年发表的一篇开创性论文提出了该问题，并基于线性规划提出了一种算法。后来，Pieter Abbeel和Andrew Ng（2004年）开发了学徒学习框架，该框架使用IRL来学习与专家表现相匹配的策略。这项工作为后续许多方法奠定了基础，包括最大熵IRL（Ziebart等人，2008年）和贝叶斯IRL（Ramachandran和Amir，2007年）。这些方法已应用于机器人技术等领域，其中机器人从人类示范中学习任务，以及应用于博弈论中对策略行为进行建模。
核心算法
存在几类IRL算法。最早的方法由Ng和Russell提出，假设奖励函数在特征上是线性的，并使用线性规划来找到使专家策略最优的奖励。学徒学习算法迭代计算一个策略，以最大化专家特征期望与学习者特征期望之间的边际，从而细化奖励估计。最大熵IRL将专家行为建模为轨迹上的概率分布，累积奖励越高则概率越高，并使用基于梯度的优化来拟合奖励参数。贝叶斯IRL将奖励视为具有先验的随机变量，在观察到示范后更新为后验，从而提供不确定性的度量。更近期的方法结合了深度学习来处理高维状态空间，例如深度IRL和对抗性IRL，它们使用神经网络来表示奖励函数。
应用
IRL已在多个领域找到应用。在机器人技术中，它使机器人能够从人类示范中学习操作或导航任务，避免了手工设计奖励函数的需要。在自动驾驶中，IRL可以从记录的轨迹中推断驾驶员偏好，有助于设计更类人的驾驶策略。在人类行为建模中，IRL用于理解经济或社会背景下的决策过程。它也被应用于强化学习中的博弈论，以对对手策略进行建模。在医疗保健中，IRL可以从临床决策中推断患者偏好，可能改善个性化治疗。然而，IRL在计算上具有挑战性，尤其是在大规模状态空间中，并且通常需要仔细的特征工程或函数逼近。
挑战与局限性
IRL的一个基本挑战是问题的病态性质：许多奖励函数可以解释相同的观察行为。例如，处处为零的奖励使任何策略都最优，因此需要额外的假设或先验。常见解决方案包括假设专家是最优的，使用最大熵来选择偏差最小的奖励，或结合先验知识。另一个问题是需要充分且多样的示范；如果专家只展示了一组狭窄的行为，推断出的奖励可能会过拟合。可扩展性也是一个问题，因为许多IRL算法需要反复求解强化学习问题，这代价高昂。最后，IRL假设专家行为与单一奖励函数一致，这在多智能体或非平稳环境中可能不成立。
与其他学习范式的关系
IRL介于监督学习和强化学习之间。与直接将状态映射到动作的监督学习不同，IRL寻求以奖励函数形式存在的更深层解释模型。与假设奖励已知的标准强化学习不同，IRL放宽了这一假设。它也与无监督学习相关，因为它从无标签数据中提取潜在结构（奖励），尽管数据通常是序列性的。IRL可以与主动学习结合以选择信息丰富的示范，或与少样本学习结合以从极少数示例中推断奖励。在人工智能的更广泛背景下，IRL是学徒学习的关键组成部分，并用于深度强化学习流程中，以初始化或塑造奖励函数。