特征矩是一类用于计算机视觉和模式识别中的图像描述符。它们通过计算由图像的几何矩构成的矩阵的特征值来构造。这些特征值作为对某些变换（尤其是旋转）不变的特性，使其在物体识别、形状分析和图像检索等任务中具有重要价值。这一概念将经典矩理论与线性代数联系起来，为图像的形状和强度分布提供了一种紧凑的表示。
特征矩的基础在于使用几何矩，即图像中像素强度的加权平均值。对于二维图像函数 f(x, y)，阶数为 (p+q) 的原始矩定义为 m_pq = ∫∫ x^p y^q f(x, y) dx dy。这些矩捕捉全局形状信息，但对平移和缩放敏感。特征矩通过首先将图像归一化到标准位置和大小，然后从选定的矩构造一个类似协方差的矩阵来解决这一问题。该矩阵的特征值即为特征矩，并且当图像旋转时它们保持不变，因为旋转对应于保持特征值的正交变换。
数学构造通常涉及中心矩，这些矩相对于图像质心计算，确保平移不变性。缩放归一化通过将矩除以零阶矩（总质量）的幂来实现。在这些预处理步骤之后，形成一个矩阵，通常使用二阶矩。例如，一种常见的方法使用矩阵 [[μ20, μ11], [μ11, μ02]]，其中 μpq 是中心矩。这个对称矩阵的特征值是实数且非负的，它们提供两个旋转不变的特征。可以纳入高阶矩以形成更大的矩阵，从而产生更多的特征矩和更丰富的描述符。
历史发展与背景
特征矩的概念出现在20世纪末，当时研究人员寻求用于自动化物体识别的稳健特征。虽然其确切起源并非单一归因，但该技术在上世纪90年代随着数字图像处理和机器学习的发展而获得关注。它是更广泛的矩不变量发展努力的一部分，紧随早期关于Hu的七个不变矩（于1962年提出）的工作，后者使用矩的代数组合来实现不变性。特征矩通过利用特征值分解提供了一种更系统的方法，这种方法自然地处理旋转，并提供了一种降维的原则性方式。
MIT CSAIL和Carnegie Mellon University等机构的研究人员为基于矩的识别的理论基础做出了贡献，尽管特征矩具体是通过工业检测和医学成像中的应用研究而发展起来的。该方法在字符识别和卫星图像分析中找到了早期应用，其中旋转不变性至关重要。与需要大量训练数据集的基于神经网络的方法不同，特征矩直接从图像统计中计算，使其在小样本场景中具有吸引力。
在机器学习与视觉中的应用
特征矩已作为特征提取器集成到传统机器学习流程中。在典型的工作流程中，图像被预处理为灰度、归一化，然后计算特征矩并输入到支持向量机或决策树等分类器中。这种方法在深度学习广泛采用之前很常见，因为它提供了可解释且计算高效的特征。例如，在手写数字识别中，高达四阶的特征矩可以在标准基准上实现高精度，补充了像U-Net这样的分割任务方法。
在Deep learning时代，特征矩作为独立特征的使用较少，但它们仍然出现在混合系统中。一些研究人员将特征矩与Convolutional neural network特征结合，以提高对几何失真的鲁棒性。它们也用于Data Augmentation策略中，其中生成图像的旋转版本并确保一致的特征矩特征有助于训练泛化更好的模型。此外，特征矩作为评估新的不变特征学习方法的基础，特别是在医学成像等解剖结构旋转常见的领域。
数学性质与扩展
特征矩的一个关键性质是它们的正交性和紧凑性。特征值是有序的，通常只保留最大的几个，提供一种捕捉主导形状特征的低维表示。这类似于主成分分析（PCA），但应用于矩矩阵而非原始像素数据。使用的特征矩数量是一个超参数；使用太少会损失判别能力，而太多可能引入噪声。
特征矩的扩展包括复特征矩，它使用复值矩来处理旋转和反射不变性。另一种变体是使用Zernike矩，它在单位圆盘上正交，并产生通常在噪声鲁棒性方面优于标准特征矩的旋转不变描述符。然而，特征矩在计算和解释上仍然更简单。研究人员还探索了将特征矩与Batch Normalization和其他归一化技术结合，以稳定学习系统中的特征分布。
与其他描述符的比较
特征矩通常与其他不变描述符进行比较，如Hu矩、傅里叶描述符和尺度不变特征变换（SIFT）。Hu矩计算量较轻，但对复杂形状的判别性较差。傅里叶描述符捕捉边界信息，但需要轮廓提取。SIFT特征对尺度和旋转高度鲁棒，但它们是局部的，需要关键点检测，因此更昂贵。特征矩提供了一个中间选择：全局、紧凑且旋转不变，但它们对噪声和遮挡敏感，因为它们总结了整个图像。
在实际应用中，特征矩在干净、分割良好的物体场景中表现出色。它们不太适合需要局部特征的杂乱场景。特征矩与深度学习特征之间的选择通常取决于数据可用性和计算约束。对于小数据集，特征矩可以优于神经网络，因为它们不需要大量训练。对于大数据集，由Residual Network (ResNet)等模型学习的深度特征往往更具表现力。
当前相关性与未来方向
虽然深度学习主导现代计算机视觉，但特征矩在专门应用中仍保持相关性。它们用于计算资源有限的嵌入式系统和实时处理中，例如机器人和自动驾驶车辆。例如，Waymo和Tesla依赖深度学习进行感知，但轻量级的基于矩的特征可以作为后备或用于特定任务，如车道标记检测。在工业检测中，Intuitive Surgical等公司使用特征矩进行手术机器人中的器械跟踪，其中旋转不变性至关重要。
未来研究可能探索将特征矩与Transformer (architecture)架构集成，将它们用作位置或结构先验。也有兴趣在神经网络内端到端学习基于矩的特征，可能提高可解释性。截至2020年代中期，特征矩不是顶级AI会议的主流话题，但它们在教科书和应用工程中持续存在。它们的数学优雅性确保它们仍然是图像处理和模式识别领域学生和从业者的基础概念。