评估指标是用于衡量人工智能系统性能、质量与可靠性的标准化定量测度。这些指标为比较不同模型、追踪训练进展以及判断模型是否适合部署到实际应用提供了通用语言。它们覆盖了广泛的任务类型，从分类、回归到自然语言生成与概率预测，每类任务都有其适用的度量方法。
评估指标的选择从根本上塑造了人工智能模型的开发与优化方式。指标会影响关于模型架构、训练目标和超参数调优的决策。一个选择不当的指标可能导致模型在错误的方向上优化，而设计良好的指标体系则能揭示模型细微的优劣之处。随着人工智能从基于规则的系统演进到机器学习与深度学习范式，评估指标的工具箱也在不断扩展，以应对生成内容质量与模型校准等新挑战。
分类指标
在分类任务中，模型需要将输入归入离散的类别，其评估依赖于由混淆矩阵衍生出的若干核心指标。混淆矩阵记录了真正例、真负例、假正例和假负例的数量，所有其他分类指标均由此计算而来。
准确率是最简单的指标，定义为所有预测中正确预测的比例。尽管直观易懂，但在类别不平衡的数据集中，准确率可能具有误导性。例如，一个总是预测多数类的模型可能获得很高的准确率，但实际上毫无实用价值。
精确率衡量的是被预测为正类的样本中真正为正类的比例，计算公式为真正例数除以真正例数与假正例数之和。高精确率意味着模型预测为正类时通常是正确的，这在垃圾邮件检测等假正例代价高昂的应用中至关重要。
召回率又称灵敏度或真正例率，衡量的是实际为正类的样本中被正确识别的比例，计算公式为真正例数除以真正例数与假负例数之和。高召回率在医疗筛查或欺诈检测等漏报后果严重的场景中不可或缺。
F1分数是精确率与召回率的调和平均值，用一个综合分数平衡两者。其取值范围为0到1，1表示精确率和召回率均达到完美。在类别不平衡且假正例与假负例都需考虑成本的情况下，F1分数尤为有用。
回归指标
在回归任务中，模型需要预测连续数值，评估指标侧重于预测误差的大小与方向。
均方误差（MSE）计算预测值与实际值之差的平方的平均值。由于误差被平方，大误差会受到不成比例的惩罚，这使得MSE对异常值较为敏感。均方根误差（RMSE）是MSE的平方根，将指标还原到目标变量的原始单位，便于解释。
平均绝对误差（MAE）计算预测值与实际值之差的绝对值之平均。与MSE不同，MAE对所有误差一视同仁，对异常值的鲁棒性更强。在MSE与MAE之间的选择取决于应用中大误差是否特别不可接受。
决定系数（R²）衡量模型解释因变量方差的比例。其取值范围为负无穷到1，1表示完美拟合。R²提供了对模型拟合优度的直观认识，但在应用于非线性模型或外推预测时可能产生误导。
生成模型指标
随着大型语言模型和生成式人工智能的兴起，评估生成文本、图像及其他内容质量的新指标应运而生。
BLEU（双语评估替补）最初为机器翻译而开发，通过计算生成文本与参考译文之间的n-gram重叠度来评估质量。它计算一个经简短惩罚修正的精确率分数，以抑制过短的输出。BLEU在翻译任务中与人工评判有较好的相关性，但存在已知局限，如对语义不敏感，且在创造性文本生成中表现不佳。
ROUGE（面向摘要评估的召回导向替补）是一组主要用于摘要任务的指标。ROUGE-N衡量生成摘要与参考摘要之间的n-gram重叠度，而ROUGE-L则使用最长公共子序列来捕捉句子层面的结构。与BLEU不同，ROUGE强调召回率，即生成内容对参考内容覆盖程度。
困惑度是语言模型常用的指标，衡量一个概率分布对样本的预测能力。较低的困惑度表示模型对序列中下一个词元的预测更有信心，即赋予了实际出现的词元更高的概率。困惑度在数学上等价于每个词元平均负对数似然的指数。虽然困惑度适用于在同一语料上比较语言模型，但它并不直接衡量生成文本的质量或连贯性。
校准指标
校准衡量模型预测概率与实际结果之间的一致性。一个校准良好的模型，当其预测某事件发生概率为70%时，该事件实际发生的频率应约为70%。
期望校准误差（ECE）将预测按置信度分箱，然后计算每个箱内准确率与置信度之差的加权平均。ECE越低，表示模型校准越好。布里尔分数是另一个校准指标，它同时考量校准性与锐度，计算预测概率与实际结果之间差的平方的平均值。
校准在医疗诊断或自动驾驶等高风险应用中尤为重要，因为过度自信的预测可能导致危险决策。现代神经网络往往存在校准不佳的问题，温度缩放等技术被用于在训练后改善其校准性。
任务特定指标
不同的人工智能应用领域发展出了针对其特定需求的专门指标。
在信息检索与搜索领域，平均精度均值（MAP）和归一化折损累积增益（NDCG）用于评估系统对相关结果排序的能力。NDCG考虑了相关结果在排序中的位置，对排在前面的相关结果给予更高分数。
在计算机视觉的目标检测任务中，交并比（IoU）衡量预测边界框与真实边界框的重叠程度。平均精度均值（mAP）则在不同IoU阈值和物体类别上聚合精确率-召回率曲线，成为COCO等数据集上的标准评估指标。
在强化学习中，指标侧重于累积奖励、样本效率与安全性。回报衡量一个回合内累积的折扣奖励总和，而成功率则追踪智能体达成目标的回合比例。
实践考量
选择合适的评估指标需要仔细考虑任务性质、数据分布和部署环境。若干实际问题会影响指标的使用。
数据泄漏指测试集信息在训练过程中被模型获取，导致指标值虚高。正确的数据集划分和交叉验证程序对于获得可信的估计至关重要。多重比较问题出现在评估大量模型或超参数配置时，仅凭偶然因素就可能发现虚假的优异结果。
指标也可能被“玩弄”。模型可能通过利用指标定义的漏洞来获得高分，而并未真正改进。例如，BLEU分数可以通过生成与参考译文高度重叠但缺乏流畅性或语义的文本而被人为抬高。这引发了人们对人工智能研究中指标驱动开发方式的批评，并促使学界呼吁采用更全面的评估方法。
人工评估在许多任务中仍是黄金标准，尤其是那些涉及创造力、有用性或安全性等主观特质的任务。然而，人工评估成本高昂、速度缓慢，且可能不一致。将自动化指标与针对性人工审查相结合的混合方法，正越来越多地被业界采用。
未来方向
人工智能评估领域正在快速发展，以应对现有指标的局限。斯坦福人工智能实验室、伯克利人工智能研究中心和麻省理工学院计算机科学与人工智能实验室等机构的研究人员正在开发新的评估框架，以更全面地捕捉模型能力与风险。
基准测试套件如MMLU、HELM和BIG-bench提供了跨领域评估大型语言模型的标准测试集。这些基准旨在衡量通用知识、推理能力和指令遵循能力，但它们也有自身局限，包括训练数据可能包含基准测试内容而导致的污染问题。
对抗性评估通过刻意构造具有挑战性的样本来探测模型弱点。这种方法揭示了模型在轻微扰动或分布外输入面前可能出现的显著脆弱性。
基于过程的评估不仅考察输出结果，还审视人工智能系统的推理与决策过程。这对于安全关键型应用尤为重要，因为理解模型做出特定决策的原因与决策本身同样重要。
随着人工智能系统能力不断增强并部署到越来越重要的领域，开发严谨、全面的评估指标仍然是研究的优先方向。该领域持续面对一系列根本性问题：什么构成良好性能、如何可靠地度量性能，以及如何确保指标引导人工智能系统朝着真正有益的方向发展。