决策树是一类用于分类和回归任务的监督学习算法家族。它们将决策及其可能后果建模为树形结构，其中内部节点表示对输入特征的测试，分支对应测试结果，叶节点提供最终预测。其可解释性和简洁性使其成为机器学习中的基础工具，并作为随机森林和梯度提升等更高级集成方法的构建模块。
核心思想可追溯至统计学和心理学的早期研究，并在20世纪60年代和70年代取得重大发展。1986年，罗斯·昆兰提出的ID3算法推广了使用信息增益进行分裂的方法。昆兰随后开发了C4.5，该算法能处理分类和连续特征，并引入了剪枝技术。大约同一时期，由利奥·布雷曼及其同事于1984年开发的CART（分类与回归树）框架因其能同时处理分类和回归任务而被广泛采用。这些基础方法至今仍具影响力，现代实现如scikit-learn使用了优化版的CART。
决策树的工作原理
决策树通过递归划分特征空间来构建。在每个节点处，算法根据基尼不纯度或信息增益等准则，选择最能分离训练数据的特征和阈值。对于分类任务，基尼不纯度衡量的是，如果根据该节点处的类别分布随机标注一个元素，其被错误分类的概率。信息增益源自熵，量化了分裂后不确定性的减少。对于回归任务，通常使用方差减少。
树的生长会持续到满足停止准则，例如最大深度、每个叶节点的最小样本数或纯度不再进一步改善。为避免过拟合，剪枝技术会移除预测能力较弱的分支。这一过程生成的模型可可视化为流程图，便于向非专家解释。
优势与局限
决策树的主要优势之一是其可解释性。与神经网络或深度学习模型不同，决策树的决策可从根节点追溯到叶节点，为每次预测提供清晰解释。它们对数据预处理要求低，无需缩放或独热编码即可处理数值和分类特征。它们还能自然捕捉特征之间的非线性关系和交互作用。
然而，决策树容易产生高方差。训练数据的微小变化可能导致完全不同的树，使其不稳定。若未适当约束或剪枝，它们也倾向于过拟合。此外，它们可能偏向于具有多水平的特征，并且在高度不平衡的数据集上若不进行调整可能表现不佳。这些局限通常通过集成方法（如随机森林和梯度提升）组合多棵树来缓解。
应用与变体
决策树广泛应用于多个领域，包括金融中的信用评分、医疗中的诊断支持以及营销中的客户细分。其可解释性在必须解释模型决策的监管行业中尤为宝贵。决策桩（单次分裂的树）等变体用于提升算法，而斜决策树在每个节点使用特征的线性组合以增强表达能力。
在现代实践中，决策树作为强大集成技术的基础学习器。2001年由利奥·布雷曼提出的随机森林在自助样本上构建多棵树并平均其预测。梯度提升机（如XGBoost和LightGBM）则顺序添加树来纠正先前树的错误。这些方法在众多机器学习竞赛中占据主导地位，并在工业界广泛部署，在表格数据上往往优于更复杂的深度学习模型。
与其他AI方法的关系
决策树属于更广泛的机器学习领域，该领域既包括经典算法，也包括现代深度学习方法。神经网络需要大量数据和计算资源，而决策树能从小型数据集学习并提供透明模型。它们常被用作许多项目中的基线模型，其性能相比更复杂的方法往往出人意料地强大。
在人工智能的背景下，决策树被视为一种符号学习形式，因为它们产生显式规则。这与神经网络的亚符号表示形成对比。研究人员还探索了将决策树与神经网络结合，例如使用可微分裂函数的软决策树，使其能通过梯度下降进行训练。这些混合模型旨在保留可解释性，同时利用深度学习的强大能力。
结论
决策树因其简洁性、可解释性和有效性，仍是机器学习的基石。它们不仅作为独立模型有用，也作为更强大集成的组成部分。随着领域的发展，决策树不断被改编并与新技术整合，确保其在研究和实际应用中的相关性。