期望最大化（EM）算法是一种迭代方法，用于统计学中，在依赖于未观测潜在变量的统计模型中寻找参数的局部最大似然或最大后验（MAP）估计。该算法在期望（E）步骤和最大化（M）步骤之间交替进行，其中E步骤根据当前参数估计计算期望对数似然，而M步骤更新参数以最大化该期望对数似然。这些更新后的参数随后用于下一次E步骤，过程重复直至收敛。EM广泛应用于机器学习等领域，用于估计混合模型、处理缺失数据以及训练隐马尔可夫模型。
EM所解决的核心挑战出现在似然函数同时涉及观测数据和未观测潜在变量时。直接对所有未知量求导以最大化似然通常会产生相互交织的方程，无法解析求解。EM通过迭代求解一组未知量同时固定另一组来规避此问题，交替进行直至两者收敛到固定点。该方法保证每次迭代增加似然，但可能收敛到局部最大值或鞍点，而非全局最优。
历史
EM算法在1977年由Arthur Dempster、Nan Laird和Donald Rubin发表的经典论文中正式命名并阐述。然而，该方法此前已被早期作者在特殊情况下提出。Cedric Smith引入了一种用于估计等位基因频率的基因计数方法，H.O. Hartley在1958年提出了相关方法，Hartley和Hocking在1977年进一步发展。Rolf Sundberg在其论文及后续文章中为指数族提供了详细处理，基于与Per Martin-Löf和Anders Martin-Löf的合作。1977年的Dempster-Laird-Rubin论文概括了这些思想并概述了收敛性分析，确立了EM作为主要统计工具的地位。正确的收敛性证明后来由C. F. Jeff Wu在1983年发表，解决了原始分析中的缺陷，并将收敛性保证扩展到指数族之外。
算法描述
给定观测数据X、潜在数据Z和未知参数θ，目标是最大化边际似然L(θ; X) = ∫ p(X, Z | θ) dZ。EM迭代由两个步骤组成：
- E步骤：计算对数似然函数的期望值Q(θ | θ^(t))，相对于Z在给定X和当前参数估计θ^(t)下的条件分布。
- M步骤：找到最大化Q(θ | θ^(t))的参数θ^(t+1)。
更新后的参数随后用于下一次E步骤，过程重复直至参数或似然的变化低于阈值。该过程单调增加似然，确保收敛到平稳点。
应用
EM常用于估计混合模型（如高斯混合模型）的参数，其中每个观测数据点假定来自多个底层组件之一。它还能处理缺失数据问题，即某些观测不完整。在人工智能中，EM支撑了隐马尔可夫模型的训练算法，这些模型用于语音识别和生物信息学。此外，EM可以解决具有潜在变量的多元线性回归问题，并应用于因子分析和聚类。
性质与局限性
EM计算效率高且易于实现于许多模型，但存在局限性。它可能收敛到局部最大值，最终解依赖于初始化。在混合模型中，EM可能找到奇异解，即某个组件方差为零，这是无意义的最大值。该算法还需要指定潜在组件或状态的数量，而这通常是未知的。广义EM算法和随机EM等变体解决了其中一些问题，但基本方法仍是统计计算中的基础工具。
相关概念
EM算法与机器学习中的其他迭代优化技术密切相关，例如基于梯度的方法如SGD变体和Adam优化器。它还与深度学习中的变分推断相关，其中优化近似后验分布。在生成式人工智能中，EM风格的方法出现在潜在变量模型的训练中，其原理是理解更高级算法（如Reinforcement Learning from AI Feedback (RLAIF)和课程学习）的基础。