CLEVER分数（Cross-Lipschitz Extreme Value for nEtwork Robustness）是一种用于评估神经网络分类器对对抗样本鲁棒性的定量指标。该指标由Tsui-Wei Weng及其同事于2018年提出，它估计了改变网络对给定输入分类所需的最小扰动的一个下界。该分数解决了深度学习中的一个核心挑战：在不针对每个输入求解难以处理的优化问题的情况下，提供一种实用且可扩展的测量最坏情况鲁棒性的方法。
传统的对抗鲁棒性度量通常依赖于攻击算法，这些算法只能找到一种成功的特定扰动，或者依赖于形式化验证，后者计算成本高昂且很少能扩展到大型网络。CLEVER提供了一种替代方案，将理论保证与计算效率近似相结合，使其可用于现代架构，如神经网络和深度学习模型。
方法论
CLEVER通过估计网络输出函数相对于输入的Lipschitz常数来计算局部鲁棒性证书。对于分类网络，相关函数是真实类别与每个竞争类别的logits（softmax前输出）之间的差值。局部Lipschitz常数捕捉了当输入被扰动时这些logit差值可能变化的速度。
关键创新在于使用极值理论。CLEVER不是直接计算全局Lipschitz常数（这对深度网络来说不切实际），而是在输入周围的球内随机采样梯度。然后，它将极值分布（具体来说是广义极值分布）拟合到观测到的最大梯度幅度上。估计的尾部参数用于推导最小对抗扰动的一个概率下界。
这种方法避免了对精确验证中使用的混合整数规划或SAT求解器的需求，使CLEVER显著更快。所得分数是一个带有置信水平的近似值，而非严格保证，但已证明它比许多先前的启发式边界更紧。
应用与比较
CLEVER已被用于基准测试各种分类器的鲁棒性，包括MNIST和CIFAR-10等图像分类基准上的分类器。在评估中，与基于攻击的度量（如快速梯度符号法或投影梯度下降攻击）相比，它提供了更准确的模型鲁棒性排序。例如，具有更高CLEVER分数的模型被证明需要更大的扰动才能导致错误分类，这与更好的对抗防御相关。
与Reluplex或Planet等形式化验证工具相比，CLEVER精度较低，但可扩展到具有数百万参数的网络。它已应用于具有ReLU激活的前馈网络以及卷积架构，尽管扩展到循环和基于transformer的模型因计算成本较高而较少见。
扩展与变体
已提出了几种扩展。Multi-CLEVER（2019）将该方法扩展到在随机扰动下计算验证的错误界，而不仅仅是最坏情况。Robust-CLEVER将分数整合到对抗训练中作为正则化器，引导网络朝向更平坦的决策边界。其他工作已将CLEVER调整为处理\ell_2、\ell_\infty和\ell_1扰动范数，通过提供定制的Lipschitz估计技术。
软件实现，包括TensorFlow和PyTorch工具箱，允许研究人员在自定义模型上计算CLEVER分数。该方法也被用于研究随机平滑防御的鲁棒性，其中分数在平滑分类器上进行评估。
局限性
CLEVER对极值理论的依赖引入了统计不确定性。下界仅在指定概率（例如95%）下有效，这可能不适用于安全关键应用。对于高维输入，所需的梯度样本数量会增加，从而增加计算量。该方法还假设损失函数是局部Lipschitz的，这对大多数标准网络成立，但可能被阶跃函数等非平滑激活函数违反。
在实践中，CLEVER有时会低估鲁棒性，，比边界更小的对抗扰动仍可被复杂攻击找到。这一差距促使了对更严格证书的进一步研究，例如基于谱归一化或障碍函数的Lipschitz常数证书。
遗产
CLEVER分数为机器学习中日益增长的鲁棒性验证领域做出了贡献。它影响了后续在认证防御框架下关于局部鲁棒性界的研究，如CROWN和SparseGROWN。尽管更新的验证方法提供了更紧的界，CLEVER仍然是实证研究中有用的基线，并在众多对抗鲁棒性论文中被引用。
参见
- 对抗样本
- 形式化验证
- Lipschitz连续性
- 神经网络鲁棒性