期望最大化（EM）算法是统计学和机器学习中的一种迭代方法，用于在统计模型中寻找包含未观测潜变量的参数的最大似然估计或最大后验估计。EM算法在期望（E）步骤和最大化（M）步骤之间交替进行：E步骤利用当前参数估计值，计算关于潜变量的期望对数似然函数；M步骤则更新参数，以最大化该期望对数似然函数。更新后的参数将用于下一次E步骤，如此循环，直至收敛。
在机器学习中，EM算法是处理数据不完整模型（如混合模型（例如高斯混合模型）和隐马尔可夫模型）的核心工具。它广泛应用于聚类、图像分割以及概率图模型的参数估计，并且是深度生成模型中更高级变分推断的基础。
历史
EM算法在1977年由Arthur Dempster、Nan Laird和Donald Rubin正式命名并阐述，但该方法在更早之前已针对特定情况被提出。Cedric Smith曾使用基因计数法来估计等位基因频率，H.O. Hartley在1958年引入了一种相关方法，Hocking在1977年对其进行了扩展，并提供了关键概念。Rolf Sundberg针对指数族分布进行了详细阐述，并受到了Per Martin-Löf和Anders Martin-Löf的影响。Dempster-Laird-Rubin的论文对该方法进行了推广和扩展，尽管其收敛性证明存在缺陷。C. F. Jeff Wu在1983年提供了修正后的收敛性分析，确立了EM算法在更广泛范围内的有效性。该算法随后成为统计学中的标准工具，后续研究如Meng和van Dyk（1997）的工作对其进行了进一步改进。
算法步骤
EM算法解决的是似然函数包含潜变量，导致无法直接进行基于梯度的最大化优化问题。相反，该算法通过迭代求解相互关联的方程组：参数依赖于潜变量，而潜变量又依赖于参数，直接代入通常会产生难以求解的方程。
EM通过交替执行以下两个步骤来打破这种循环：
- E步骤：根据上一轮迭代得到的当前参数估计值，计算在给定观测数据条件下，潜变量分布的对数似然函数的期望值。
- M步骤：最大化该期望对数似然函数，以求得新的参数估计值，这些新估计值保证能增加（或保持）观测数据的似然值。此过程不断重复，直至收敛。
如果模型中的潜变量是独立的，E步骤可以简化为寻找潜变量的最大后验估计，例如在隐马尔可夫模型中使用维特比算法。整个迭代过程最终会收敛到边际似然函数的局部最大值，但无法保证找到全局最优解。在混合模型中，当某个分量的方差为零且其均值与某个数据点重合时，该过程可能会收敛到具有奇异性的解。
应用
EM算法被广泛应用于高斯混合模型的参数估计，以及处理含有缺失数据的多元线性回归问题。在机器学习中，它是处理潜变量模型（如用于聚类的高斯混合模型）的核心组件，在scikit-learn等库中均有实现。它也是用于文本序列和图像分割的马尔可夫链算法的基础。
该方法已被应用于贝叶斯网络等概率图模型领域，Michael Jordan和Daphne Koller等学者对其进行了推广。在现代框架中，EM算法是图核心模型迭代优化的理论基础，尽管深度神经网络通常采用基于梯度的方法。
变体与扩展
有多种变体对基础EM算法进行了改进。广义EM（GEM）算法放宽了M步骤的要求，只要求找到能增加（而非最大化）期望对数似然的参数。期望条件最大化（ECM）算法将M步骤分解为更简单的子步骤，这对于处理有约束的参数非常有用。当E步骤中的期望对数似然无法解析计算时，蒙特卡洛EM算法会使用随机采样（如马尔可夫链蒙特卡洛方法）进行近似。这些方法保留了EM算法的核心优势，同时解决了特定计算难题。
在生成式AI领域，当生成模型涉及潜变量时，EM思想会以多种形式出现，但现代生成式AI通常依赖于频率学派或贝叶斯学派的方法，这些方法针对神经网络进行了专门设计。
局限性与注意事项
EM算法无法保证找到全局最大值，它可能收敛于局部最大值或鞍点。该算法对初始化值敏感，并且在某些情况下，解可能具有人为的奇异性。此外，E步骤要求能够计算期望对数似然，这对于复杂模型可能难以实现。对于此类情况，变分推断（一种近似推断的替代方法）或联合方法可能更为合适。在现代机器学习背景下，专业人士通常因其简洁性而使用EM算法，但对于深度高斯过程模型或神经网络，基于梯度的优化方法则更受青睐。
参见
参考文献
- Dempster, A. P.; Laird, N. M.; Rubin, D. B. (1977). "Maximum Likelihood from Incomplete Data via the EM Algorithm". Journal of the Royal Statistical Society.
- Wu, C. F. J. (1983). On the convergence properties of the EM algorithm. Annals of Statistics.
- Hartley, H. O. (1958). Maximum likelihood estimation from incomplete data. Biometrics.