期望传播（EP）是贝叶斯机器学习中的一种技术，用于近似那些在计算上难以精确处理的概率分布。它由托马斯·明卡在2001年发表于第17届不确定性人工智能会议的一篇论文中提出。该方法旨在通过利用目标分布的因子分解结构，找到一个易于处理的近似分布，从而在机器学习及相关领域的各种推理问题中发挥作用。
EP的核心思想是用一个更简单、易于处理的分布 \(q(\mathbf{x})\) 来近似一个难以处理的分布 \(p(\mathbf{x})\)。这通过最小化Kullback-Leibler散度 \(\mathrm{KL}(p||q)\) 来实现，该散度衡量了一个概率分布相对于另一个概率分布的偏离程度。这种散度方向的选择是与变分贝叶斯方法的一个关键区别，后者最小化的是 \(\mathrm{KL}(q||p)\)。实际后果是，EP倾向于关注匹配目标分布的整体形状，包括其矩，而不是避开目标分布较小的区域。
当近似分布 \(q(\mathbf{x})\) 被选为高斯分布 \(\mathcal{N}(\mathbf{x}|\mu, \Sigma)\) 时，最小化 \(\mathrm{KL}(p||q)\) 会得到一个闭式解：最优的 \(\mu\) 和 \(\Sigma\) 就是目标分布 \(p(\mathbf{x})\) 的均值和协方差。这一操作称为矩匹配，是EP算法的核心。在实践中，EP迭代更新近似的各个因子，细化矩直到收敛，这使得它能够处理复杂的因子化模型。
算法框架
EP算法通过维护目标分布每个因子的近似来运作。最初，这些因子近似被设置为简单形式，通常是均匀分布或高斯分布。然后，算法遍历每个因子，将其从当前近似中移除，计算一个空腔分布，然后通过矩匹配将得到的倾斜分布投影回易于处理的分布族。这个过程重复进行，直到近似稳定，最终得到一个近似完整目标的 \(q(\mathbf{x})\)。
EP的一个显著优势是它能够处理非高斯因子，例如指示函数，这些函数在涉及约束或离散结果的模型中很常见。矩匹配步骤确保近似捕捉了这些因子的关键统计量，即使精确推理不可能。这种灵活性使EP成为概率图模型及其他结构化预测任务中近似推理的热门选择。
应用
EP的一个突出应用是在TrueSkill的推导中，这是一个由微软研究院为在线游戏开发的排名系统。TrueSkill将玩家技能建模为高斯分布，并根据比赛结果更新这些估计。胜负事件产生的指示函数难以直接处理，但EP提供了一种高效近似它们的方法，从而支持实时技能估计和匹配。
除了TrueSkill，EP还应用于神经网络训练等领域，可用于权重的贝叶斯推理，以及在大型语言模型背景下进行不确定性量化。它提供校准不确定性估计的能力，使其在人工智能和深度学习等领域具有相关性，这些领域越来越重视模型的概率解释。
与其他方法的比较
EP在最小化的Kullback-Leibler散度方向上与变分贝叶斯方法有根本不同。变分方法最小化 \(\mathrm{KL}(q||p)\)，倾向于产生更保守的近似，通常低估目标的方差。相比之下，EP使用 \(\mathrm{KL}(p||q)\) 可能导致更好地捕捉目标方差的近似，尽管在某些情况下可能不太稳定。
另一种相关方法是马尔可夫链蒙特卡洛（MCMC），它提供渐近精确的样本，但计算成本可能很高。EP提供了一种确定性替代方案，通常更快，但代价是引入近似误差。这种权衡使EP在大规模问题中特别有吸引力，因为在这些问题中采样不切实际。
局限性与扩展
EP并不能保证对所有模型收敛，其性能可能取决于因子近似的初始化。在某些设置中，矩匹配更新可能振荡或发散，需要阻尼或其他稳定技术。研究人员开发了变体，如带阻尼的期望传播和分数阶EP，以解决这些问题。
尽管存在这些挑战，EP仍然是贝叶斯推理工具箱中广泛使用的工具。其理论基础，在明卡的原始工作中奠定，启发了从计算机视觉到强化学习的众多扩展和应用。该方法在准确性和计算效率之间取得平衡的能力，使其继续成为斯坦福人工智能实验室及其他领先机构活跃研究的主题。
参见
- variational-inference
- 贝叶斯推断
- moment-matching
- trueskill