朴素贝叶斯分类器是一类基于贝叶斯定理为问题实例分配类别标签的概率分类器。其核心假设，即朴素独立性假设，指出在给定目标类别的情况下，每个特征对类别概率的贡献是独立的。这意味着模型假设预测变量之间不共享任何信息，这是一种不切实际的简化，也正是该分类器名称的由来。尽管如此，朴素贝叶斯模型仍是最简单的贝叶斯网络模型之一，并已在许多现实场景中被证明有效。
这些分类器广泛应用于机器学习和人工智能等领域，用于文本分类、垃圾邮件过滤和医学诊断等任务。它们尤其因其可扩展性而受到重视，每个特征仅需一个参数，并且能够在训练数据量较少的情况下表现良好。最大似然训练涉及通过统计每组中的观测值来评估闭式表达式，从而避免了大多数其他模型所使用的昂贵迭代近似算法。
历史发展
朴素贝叶斯分类器源于早期统计工作，其原理可追溯至18世纪托马斯·贝叶斯的研究。现代公式化表述出现于20世纪中叶，随着计算能力的提升而发展。在20世纪60年代，施乐帕克研究中心和麻省理工学院计算机科学与人工智能实验室等机构的研究人员开始探索概率方法用于模式识别。该分类器在20世纪90年代随着机器学习作为独立领域的兴起而获得 prominence，特别是在文本分类和信息检索中的应用。
一个重要的理论里程碑出现在2004年，当时对贝叶斯分类问题的分析为其在朴素假设下仍表现出的明显有效性提供了合理的理论依据。然而，2006年的一项全面比较表明，朴素贝叶斯通常在其他方法（如提升树或随机森林）面前表现不佳，尤其是在准确性和不确定性量化方面。
概率模型
抽象而言，朴素贝叶斯是一种条件概率模型，它为每个可能的类别 C_k（共 K 个）分配概率 p(C_k | x_1, ..., x_n)，其中问题实例由编码 n 个特征的向量 x = (x_1, ..., x_n) 表示。利用贝叶斯定理，条件概率可分解为后验概率 = (先验概率 × 似然) / 证据。在实践中，只有分子是重要的，因为分母不依赖于类别，且特征值已给定。
分子等价于联合概率模型 p(C_k, x_1, ..., x_n)，可通过链式法则重写。朴素假设通过将特征视为在给定类别条件下条件独立来简化此模型，从而允许联合概率表示为各特征概率的乘积。这种简化使得模型即使在特征众多或特征值众多的情况下也能保持可处理性。
尽管其决策规则使用了贝叶斯定理，朴素贝叶斯并不必然是贝叶斯方法。该模型可通过贝叶斯或频率论方法拟合，参数估计通常采用最大似然法，涉及简单的观测计数。
训练与估计
训练朴素贝叶斯分类器涉及估计每个类别的先验概率以及每个特征在给定类别下的条件概率。对于最大似然训练，这些参数直接从训练数据中通过计数计算得出。例如，类别的先验概率是训练实例中属于该类别的比例，而特征值在给定类别下的条件概率是该类别中具有该特征值的实例比例。
这种闭式估计在计算上高效，仅需对数据进行一次遍历，使得朴素贝叶斯高度可扩展至大型数据集。通常应用平滑技术（如拉普拉斯平滑）以避免未见特征-类别组合的零概率。训练的简单性与更复杂的模型（如神经网络或深度学习方法）形成对比，后者需要迭代优化算法。
应用与局限性
朴素贝叶斯分类器已在众多领域得到成功应用。在自然语言处理中，它们用于文档分类、情感分析和垃圾邮件过滤。在医疗保健中，它们辅助诊断系统，例如巴巴原子研究中心和诺基亚贝尔实验室开发的系统。该分类器的效率使其适用于实时应用，包括亚马逊网络服务和谷歌云平台上的应用。
然而，朴素贝叶斯模型通常表现不如更先进的模型（如逻辑回归），尤其是在量化不确定性时，往往产生过度自信的概率。独立性假设在特征相关时可能导致次优性能。尽管存在这些局限性，该分类器仍是一个有价值的基线，并常被用作机器学习研究中的基准。
理论依据
朴素贝叶斯在其不切实际的假设下仍表现有效的明显悖论已被广泛研究。研究表明，即使独立性假设被违反，该分类器的决策边界仍可能是最优的，特别是在特征间依赖相互抵消的情况下。这种理论稳健性，加上其计算效率，解释了其在实践中的持续使用。
截至2020年代，朴素贝叶斯仍是机器学习课程中教授的基本技术，并在主要库中实现。其原理也支撑了生成式人工智能和大型语言模型研究中更先进的概率模型，其中条件独立性假设有时用于简化复杂的概率分布。