隐马尔可夫模型（HMM）是一种统计模型，其中系统被假定遵循具有未观测（隐藏）状态的马尔可夫过程，且每个状态根据概率分布产生可观测的输出。该模型由两个随机过程定义：隐藏状态序列X和可观测序列Y，其中Y在任何时间的输出仅依赖于X的当前状态，而不依赖于过去的状态或观测。这种条件独立性性质使得HMM能够有效地分析底层原因不可直接观测的序列数据。
HMM广泛应用于热力学、统计力学、物理学、化学、经济学、金融学、信号处理、信息论和模式识别等学科。具体应用包括语音识别、手写识别、手势识别、词性标注、乐谱跟踪、局部放电分析和生物信息学。该框架提供了一种原则性方法，用于从观测序列推断隐藏状态，并从数据中估计模型参数。
数学定义
形式上，设X_n和Y_n为n ≥ 1的离散时间随机过程。若X_n是行为不可直接观测的马尔可夫过程，且对于每个n ≥ 1、每个序列x_1, ..., x_n以及每个Borel集A，概率P(Y_n ∈ A | X_1 = x_1, ..., X_n = x_n)等于P(Y_n ∈ A | X_n = x_n)，则对(X_n, Y_n)是隐马尔可夫模型。该条件确保时间n的观测仅依赖于同一时间的隐藏状态。存在连续时间类比，其中X_t和Y_t为连续时间过程，且给定所有过去状态后，时间t_0的观测仅依赖于X_{t_0}。
参数估计
HMM参数的估计通常使用最大似然估计。对于线性链HMM，通常采用Baum-Welch算法，它是期望最大化（EM）算法的一个特例。该迭代过程在计算给定当前参数的期望充分统计量（E步）和更新参数以最大化期望对数似然（M步）之间交替进行。该算法收敛到似然函数的局部最大值，但不保证全局最优性。在实践中，通常使用多次随机初始化来改善结果。
推断算法
除参数估计外，HMM还需要推断算法。前向算法计算给定模型下观测序列的概率，适用于模型比较。Viterbi算法找到产生给定观测序列的最可能隐藏状态序列，广泛用于语音识别等解码任务。前向-后向算法计算每个时间步每个隐藏状态的后验概率，支持平滑和分割等任务。这些算法均以多项式时间运行，使HMM在许多应用中具有计算效率。
序列建模中的应用
HMM在序列建模中具有基础性作用，尤其是在深度学习兴起之前。在语音识别中，HMM将音素建模为隐藏状态，声学观测作为输出。在生物信息学中，它们用于基因发现、蛋白质二级结构预测和序列比对。在自然语言处理中，HMM被应用于词性标注和命名实体识别。虽然现代方法如Transformer模型和神经网络架构在许多领域已基本取代HMM，但HMM对于数据有限或可解释性和概率保证重要的问题仍然具有价值。它们还作为通往更复杂的序列到序列模型和生成式AI系统的概念桥梁。
与现代机器学习的关系
HMM与机器学习和人工智能共享概念根源，特别是在对潜在变量进行概率推断方面。Baum-Welch算法影响了后来的深度学习优化技术，隐藏状态的思想在大型语言模型架构中持续存在。然而，HMM假定固定的马尔可夫结构和离散状态，而现代模型如Transformer学习灵活表示，无需显式状态转换。尽管如此，HMM仍用于混合系统，例如将HMM与神经网络结合用于语音识别，以及在强化学习等时间依赖性重要的领域。其数学清晰性继续为概率建模和无监督学习的研究提供启示。
局限性与扩展
HMM存在已知局限性，包括限制长距离依赖的马尔可夫假设，以及难以扩展到高维观测空间。扩展包括隐半马尔可夫模型，允许显式建模状态持续时间，以及捕获多尺度结构的层次HMM。在连续观测空间中，通常使用高斯混合模型作为发射概率。这些扩展解决了一些弱点，但增加了计算复杂性。截至2020年代，HMM仍是统计学和信号处理中的标准工具，尽管其在序列建模中的主导地位已被深度学习方法所超越。