贝叶斯遗憾是决策理论和机器学习中的一个概念，用于量化智能体因对用户真实偏好或效用函数的不确定性而遭受的预期损失。在基于偏好的学习中，人工智能系统通常必须从间接反馈（如比较或排名）中推断奖励，而非明确的数值奖励。贝叶斯遗憾形式化了在真实偏好模型下最优策略的预期累积奖励与学习策略所达到的预期奖励之间的差距，其中期望是在未知偏好的后验分布上计算的。
该术语在智能体必须平衡探索（收集信息以减少不确定性）与利用（采取行动以最大化即时奖励）的场景中尤为重要。低贝叶斯遗憾表明，尽管知识不完整，智能体的决策仍接近最优，而高遗憾则表明学习或决策过程中的低效。这一度量不同于频率派遗憾，后者假设参数固定但未知，而贝叶斯遗憾则对先验分布进行积分，该分布随数据到达而更新。
决策理论基础
贝叶斯遗憾建立在主观概率的贝叶斯框架之上，其中不确定性通过概率分布表示，并借助贝叶斯定理进行修正。在偏好学习的背景下，先验编码了关于用户偏好的初始假设，而后验则在观察比较或选择后计算得出。该概念通过明确惩罚在不确定性下做出的决策，扩展了经典期望效用理论。
正式定义常出现在多臂老虎机和强化学习文献中。给定一组动作或策略，经过T个时间步后的贝叶斯遗憾是最优动作奖励与所选动作奖励之间差异的期望总和，其中奖励在后验和环境随机性上取平均。这一期望允许从业者在部署前比较算法，使用模拟先验来预测性能。
在人类反馈强化学习中的作用
在现代人工智能中，贝叶斯遗憾是强化学习从人类反馈（RLHF）的核心，这是一种用于使大型语言模型与人类价值观对齐的技术。OpenAI的ChatGPT和Anthropic的Claude等系统依赖人类对模型输出的比较来学习奖励模型。贝叶斯遗憾有助于量化学习到的奖励模型在多大程度上近似真实的人类偏好，从而指导选择能高效减少不确定性的查询策略。
研究人员常将偏好主动学习框架化为贝叶斯遗憾最小化问题。智能体选择预期能最快降低后验方差的查询，从而降低未来遗憾。诸如用于偏好引导的贝叶斯优化等算法利用遗憾界来保证收敛速度，确保即使模型复杂度增长，所需的人类标签数量仍保持可控。
与其他遗憾概念的比较
遗憾是在线学习中一个广泛的概念，有多种变体。频率派遗憾假设真实参数固定，并评估可能真实值上的最坏情况性能。相比之下，贝叶斯遗憾在先验上取平均，因此对先验的准确性敏感。这一区别在实践中很重要：选择不当的先验可能夸大贝叶斯遗憾估计，而频率派界提供最坏情况保证，但可能过于悲观。
另一个相关概念是简单遗憾，它衡量最终推荐动作的次优性，而非累积性能。贝叶斯遗憾通常用于累积目标，例如交互式推荐系统，其中每次交互都对总用户满意度有贡献。在偏好对齐中，两种度量都被使用，但当目标是最小化一系列交互中的总错位时，贝叶斯遗憾更受青睐。
在人工智能系统中的应用
贝叶斯遗憾出现在多个已部署的人工智能场景中。在对话智能体中，它指导系统应多久提出澄清问题，而非基于当前信念采取行动。在自主机器人技术中，它有助于在技能获取期间平衡安全探索。Google DeepMind等公司已探索将遗憾感知训练用于推荐算法，确保探索性行动不会过度损害用户体验。
该概念还为课程学习和自适应教学策略的评估提供信息。通过建模学习者的内部不确定性，教育者或人工智能导师可以选择能最小化知识获取中贝叶斯遗憾的练习。这种方法已在认知科学和教育技术中得到研究，与Michael Jordan和Brendan Lake等学者的研究相关联。
挑战与局限
对于大型模型，计算精确的贝叶斯遗憾通常难以处理，需要借助采样或变分方法进行近似。先验的选择强烈影响结果；错误设定的先验会导致误导性的遗憾值。此外，人类偏好是非平稳且依赖上下文的，打破了固定效用函数的假设。因此，实际系统将遗憾估计用作启发式方法，而非严格的优化目标。
近期工作通过将贝叶斯遗憾与分布鲁棒性相结合来解决这些问题，对冲最坏情况先验。MIT CSAIL和多伦多大学等机构的研究人员提出了即使在先验对抗的情况下也能实现低遗憾的算法。这些进展使贝叶斯遗憾更适用于现实世界的对齐问题，其中人类反馈是嘈杂且不断演变的。