期望最大化（EM）算法是一种迭代方法，用于统计学中在统计模型依赖于未观测到的潜在变量时，寻找参数的最大似然估计或最大后验估计。当参数的方程无法直接求解时，例如在混合模型或数据包含缺失值的情况下，该方法尤为有用。
EM迭代在期望（E）步骤和最大化（M）步骤之间交替进行。E步骤根据当前参数估计计算完整数据的期望对数似然，M步骤则通过最大化该期望对数似然来更新参数。更新后的参数估计随后用于下一个E步骤，如此重复直至收敛。该算法保证收敛到似然函数的局部最大值或鞍点，但不一定是全局最大值。
历史发展
EM算法在1977年由Arthur Dempster、Nan Laird和Donald Rubin发表的论文中被正式命名和阐述，后来被称为DLR论文。该工作确立了该方法作为统计分析的核心工具。然而，早期作者已在特定情况下提出了该技术。
一个前身是Cedric Smith为估计等位基因频率而开发的基因计数方法。H.O. Hartley在1958年也提出了一个早期版本，Hartley和Hocking在1977年对其进行了扩展。Rolf Sundberg在与Per Martin-Löf和Anders Martin-Löf合作后，在其论文及后续文章中为指数族提供了详细处理。
1977年的DLR论文推广了这些早期方法，并为广泛的问题类别勾勒了收敛性分析。然而，该分析存在缺陷，后来在1983年由C. F. Jeff Wu发表了正确的收敛性证明，他也确立了指数族之外的收敛性。
核心思想与相互关联的方程
在具有潜在变量的统计模型中，最大似然估计通常需要求解涉及两个链的方程。参数的解需要潜在变量的值，而潜在变量的值又需要参数，从而形成一个无法解析求解的相互依赖系统。
EM算法通过初始化一组值（通常是参数的任意猜测）并在估计步骤之间交替来解决这一问题。例如，它可以基于当前参数估计潜在变量，然后利用这些潜在变量更新参数，重复循环直到两组值收敛到一个固定点。虽然直观上简单，但该方法具有已证明的收敛性质：在最终点，似然的导数趋近于零。
应用与局限性
一个常见的应用是估计高斯混合模型的参数，其中每个观测数据点属于一个未观测的混合成分。EM也可用于具有缺失数据的多元线性回归，尽管它经常应用于Machine learning、Artificial intelligence等领域，以及其他具有潜在结构的领域。
一个局限性是EM可能收敛到局部最大值而非全局最大值，且某些似然函数可能存在奇点。例如，在混合模型中，如果某个成分被赋予零方差，可能会出现无意义的极大值解，这是迭代过程的一个已知结果，尽管存在问题。
扩展与实际注意事项
EM的扩展，如期望条件最大化（ECM）算法或蒙特卡洛EM，旨在解决潜在的收敛问题或计算复杂性。在实践中，当完整数据的似然比边际似然更容易优化时，即使观测数据不完整，也会选择EM。它仍然是估计潜在变量参数的基础方法，在统计学中具有广泛的相关性。
参考文献
DLR论文的名称和Wu在1983年的收敛性分析定义了现代形式。Christopher Bishop（《模式识别与机器学习》）和Chris Bishop等作者的教科书提供了详细处理，将EM与概率建模及其他学习算法的更广泛主题联系起来。