成本敏感机器学习是机器学习中的一种方法，它明确考虑了预测错误所带来的财务、社会或运营成本。与通常最小化错误率的标准分类方法不同，成本敏感方法为不同类型的错误（例如，假阳性与假阴性）分配不同的惩罚，并优化模型以降低总预期成本。这在错误后果不对称的领域尤为重要，例如医学诊断、欺诈检测和信用评分。
该领域源于决策理论和统计学习，早期工作可追溯至1980年代和1990年代，由Chris Bishop和Michael Jordan等研究者形式化了成本敏感损失函数。现代应用涵盖人工智能系统，包括深度学习模型，其中成本敏感训练可以集成到损失函数和神经网络架构中。
成本矩阵与不对称损失
核心概念是成本矩阵，它指定了每种真实类别与预测类别组合的惩罚。对于二分类，典型矩阵包括真阳性（通常为零）、真阴性（零）、假阳性和假阴性的成本。当这些成本不相等时，最优决策阈值会偏离0.5。例如，在医学筛查中，假阴性（漏诊疾病）可能远比假阳性代价更高，因此模型应偏向阳性预测。
成本敏感学习可以通过修改损失函数来实现，例如使用加权交叉熵，或在训练后调整决策阈值。在深度学习中，使用常见损失（如二元交叉熵）的成本敏感变体，并且梯度裁剪和学习率调度等技术可以适应处理成本加权梯度。
方法与算法
存在多种成本敏感学习的算法策略。最直接的是成本敏感重采样，即根据误分类成本对训练样本进行过采样或欠采样。另一种方法是成本敏感提升，它修改提升算法以按成本加权错误。对于神经网络，成本敏感学习可以通过将成本项纳入损失函数并使用标准优化器（如Adam或SGD变体）来实现。
阈值移动是一种更简单的后处理方法：在训练概率分类器后，选择决策阈值以最小化预期成本，通常使用验证集。当模型的概率估计校准良好时，这尤其有效。在实践中，许多从业者结合重采样与阈值调整以获得稳健性能。
高风险领域的应用
成本敏感学习广泛应用于错误成本不对称的领域。在医疗保健中，疾病检测模型被训练以最小化漏诊成本，通常使用基于治疗成本和患者结果的成本矩阵。在金融领域，信用评分模型权衡批准不良贷款的成本与拒绝优质申请者的成本。欺诈检测系统优先捕获欺诈交易，即使以更多误报为代价。
在生成式人工智能和大型语言模型中，成本敏感原则出现在基于人类反馈的强化学习（RLHF）中，其中不同类型的错误（例如，有害与无帮助的响应）被分配不同的成本。类似地，模型剪枝和数据增强可以受成本考虑指导，以保持关键类别的性能。
评估与指标
传统指标如准确率不足以应对成本敏感问题。相反，从业者使用基于成本的指标，如预期成本、成本曲线以及精确率和召回率的成本敏感版本。总成本通过将每个错误计数与其相关成本相乘后求和来计算。成本曲线于2000年代初引入，可视化假阳性率与假阴性率之间随成本比率变化的权衡。
在比较模型时，可以使用成本敏感的ROC曲线下面积（AUC）或成本敏感的F度量。这些指标有助于选择与业务或临床目标一致的模型。在研究中，基准测试通常同时报告准确率和成本，以突出成本敏感方法的优势。
挑战与未来方向
一个关键挑战是准确估计成本矩阵，因为成本通常是领域特定的，可能难以量化。在某些应用中，成本不是固定的，而是随上下文变化，需要动态成本敏感学习。另一个挑战是成本敏感方法可能增加模型复杂性和训练时间，尤其是在集成到大型深度学习系统中时。
未来研究探索在Transformer基模型和多头注意力架构中的成本敏感学习，其中成本信息可以注入注意力机制。还有兴趣将成本敏感学习与课程学习和批量归一化结合，以提高训练稳定性。随着人工智能系统在更多关键领域部署，成本敏感机器学习将继续成为使模型行为与现实世界优先事项对齐的重要工具。