显著图是一种可视化表示，用于突出图像中与特定任务最相关的区域，无论是针对人类视觉注意力，还是针对机器学习模型的决策过程。在计算机视觉领域，这类图反映了每个像素对人类视觉系统或某个不透明模型的重要程度。例如，在一张照片中，观看者可能首先注意到一座堡垒或明亮的云朵；相应的显著图会通过增强这些区域的亮度来标示其显著性。眼动追踪显著图近似于人类注视的分布，而基于梯度的显著图则揭示了机器学习模型在预测时关注的焦点。
在人工智能的语境下，显著图已成为可解释AI的核心工具。它们通过高亮对模型输出影响最大的输入像素或特征，为深度神经网络的决策提供了可视化解释。这一技术尤其常用于图像分类和目标检测，并延伸至基于注意力机制的后续Transformer架构中。显著图的概念连接了认知科学与机器学习，其根源在于对人类视觉的研究，并深刻影响了算法设计与评估方法的发展。
人类视觉显著图
人类视觉显著图旨在预测人们首先关注的区域。根据V1显著假说，初级视觉皮层（V1）在生成显著图的过程中扮演关键角色，这使得显著图具有坚实的生物学基础。计算模型通常利用颜色、对比度、边缘和运动等低级视觉特征来模拟这一过程。
该领域最常见的应用包括：
- 图像与视频压缩：人眼仅对画面中的小范围显著区域敏感；利用显著图，可以在非显著区域采用更低的编码质量，从而在几乎不影响感知质量的前提下减小文件体积。
- 图像与视频质量评估：通过赋予显著区域更高的权重，质量评估指标能够更准确地反映主观感知的差异。
- 图像重定向：在调整图像尺寸时，显著图用于保护重要内容，同时压缩或裁剪非信息区域。
- 目标检测与识别：与其在整个图像上运行复杂算法，不如先利用显著图定位最可能包含目标的区域，从而提升效率与准确性。
经典的显著图算法主要分为三类，并在OpenCV等库中得到了实现：基于静态图像特征（如颜色和对比度）的静态显著图；基于光流等运动信息的动态显著图；以及用于生成可能包含物体的边界框的“对象性”显著图。此外，还有一种较新的静态方法，通过分析视觉失真敏感性来生成显著图，该方法利用边缘、梯度阈值、形态学操作和距离变换来分离显著的目标轮廓。
显著图与图像分割
显著图可以被视为一种特殊的图像分割任务。图像分割是将数字图像划分为多个区域或超像素的过程，旨在简化图像表示，使其更易于分析。在显著图的情境下，分割问题被简化为二分类：每个像素要么属于显著的前景，要么属于背景。输出通常是一张二值掩码，其中显著物体为白色，背景为黑色；或者是一张连续的灰度热力图，亮度代表显著程度。
这种联系之所以重要，是因为图像分割的技术和损失函数可以直接应用于显著目标检测。然而，与通常产生硬边界的语义分割不同，显著图往往提供的是渐变的、软性的重要性度量。
基于梯度的深度网络显著图
在深度学习中，一种常见的显著图生成方法是计算类别得分相对于输入图像的梯度。这种方法最初在2010年代针对卷积神经网络提出。其基本思想是：对于每个像素，计算模型输出对该像素微小变化的敏感度。梯度的大小即代表了该像素对预测结果的影响程度。
在此基础上，研究者开发了更先进的技术：
- 积分梯度：通过沿着从基线（如全黑图像）到实际输入的路径累加梯度，该方法解决了梯度饱和问题，确保归因的准确性。
- 类别激活映射（CAM）：利用最后一个卷积层的特征图及其对应于目标类别的权重，生成一个分辨率较低但语义明确的显著图。
- 梯度加权类别激活映射（Grad-CAM）：作为CAM的扩展，它使用特征图的梯度来加权，从而更精确地定位模型关注的目标区域。
这些方法最初是针对卷积神经网络设计的，但后来被推广到Transformer架构中，通过分析注意力权重来生成显著图，例如注意力展开和类别判别注意力图等技术。
Transformer中的注意力显著图
随着Transformer架构在自然语言处理和计算机视觉领域的普及，注意力权重本身也被用作一种显著图。在Transformer中，多头注意力机制会计算输入序列中各个token之间的相关性分数。这些分数可以跨层、跨头进行聚合，从而生成一张反映模型决策依据的显著图。
这类注意力显著图常用于解释模型的分类决策。例如，在文本分类中，它可以高亮对结果影响最大的关键词。在视觉Transformer中，它则能指出图像中对分类起决定性作用的区域。近年来，显著图检测已成为大语言模型可解释性研究的一个活跃方向。不过，注意力权重与模型最终输出之间的因果关系并非总是直接对应，因此这类显著图在忠实度上可能不如基于梯度的方法。
经典算法示例
一个简单的经典显著图算法可以这样描述：对于图像中的每个像素，计算其灰度值与图像中所有其他像素灰度值之差的绝对值之和。这个和值即为该像素的显著度。用公式表示，对于像素值I_k，其显著度S(I_k) = Σ |I_k - I_i|，其中i遍历图像中的所有像素。这个计算可以借助图像的直方图高效完成：S(I_k) = Σ F_n × |I_k - I_n|，其中F_n是灰度级n的频率。该算法的时间复杂度为O(N)（N为像素总数）。虽然这种方法计算简单，但它代表了显著图的基本思想：与周围环境差异越大的区域越显著。如今，这类经典方法大多已被基于深度学习的方案所取代。
深度学习方法
现代显著目标检测模型通常采用端到端的深度学习架构。例如，TASED-Net等模型包含一个编码器，用于提取视频中的低分辨率时空特征，以及一个解码器，用于聚合这些特征并生成最终的显著图。STRA-Net等模型则进一步结合了视觉和光流信息，通过注意力机制来融合多尺度特征。STAViS等模型甚至引入了音频模态，利用声音线索来辅助定位显著物体。
这些深度模型在大规模视频数据集上进行训练，能够学习到比传统方法更复杂、更准确的显著性模式。它们不仅利用了空间特征，还充分利用了时间动态信息，显著提升了视频显著图预测的性能。
在可解释AI中的应用
在可解释人工智能（XAI）领域，显著图是理解模型行为的关键工具。它们能够揭示模型在做决策时“看”的是图像的哪一部分。例如，对于一个将照片分类为“狗”的模型，显著图会高亮图像中狗的头或身体，而不是背景。这有助于验证模型是否依据合理的特征进行判断，而非依赖于背景中的虚假关联。
不同的显著图方法在质量和解释力上有所差异。简单的梯度方法计算快，但可能产生噪声。积分梯度和Grad-CAM等方法则能提供更清晰、更可靠的归因结果。然而，显著图并不能完全解释模型的内部逻辑，它们只是提供了输入与输出之间相关性的一种近似。因此，关于显著图忠实度的研究仍在继续，以追求更稳健、更可信的解释方法。
总结
显著图架起了人类视觉研究与深度学习模型内部机制之间的桥梁。它既是对人类注意力的生物学建模，也是用于模型调试、图像压缩和决策解释的实用工具。随着技术从经典图像处理发展到深度学习和Transformer注意力机制，显著图的生成方法变得更加灵活和强大。尽管如此，关于“什么构成了一个重要的区域”这一根本问题，仍然没有统一的答案。显著图的发展仍在持续，它已成为连接像素级分析与神经网络可解释性不可或缺的一部分。