尺度不变特征变换（SIFT）是一种计算机视觉算法，用于检测、描述和匹配图像中的局部特征，由David Lowe于1999年发明。它能够在缩放、旋转和光照变化下实现稳健的目标识别，应用包括目标识别、机器人地图构建与导航、图像拼接、三维建模、手势识别、视频跟踪、野生动物个体识别以及运动匹配。
SIFT从参考图像中提取关键点并将其存储在数据库中。为了在新图像中识别目标，每个特征通过特征向量的欧氏距离与数据库进行比较，并通过广义霍夫变换的高效哈希表实现识别一致的匹配簇。包含三个或更多特征的簇会被验证，并计算正确匹配的概率。该算法由Lowe经过十年的反复试验开发而成；其专利于2020年到期。
概述
对于图像中的任何目标，可以提取重要点以提供特征描述。该描述取自训练图像，可以在包含其他目标的新图像中定位该目标。特征必须在缩放、噪声和光照变化下仍可检测，通常位于高对比度区域（如边缘）。特征之间的相对位置应在图像间保持一致；例如，仅使用门角在任何位置都有效，但如果门移动，框架上的点则失效。SIFT使用大量特征，减少了局部变化对匹配误差的影响。
SIFT在杂乱和部分遮挡下能稳健地识别目标，因为其描述符对均匀缩放、方向和光照变化具有不变性，并对仿射畸变具有部分不变性。该描述符基于感受野方面的图像测量，通过尺度选择建立局部尺度不变参考框架。
特征类型
SIFT特征是局部的，基于兴趣点的外观，并对尺度和旋转具有不变性。它们对光照变化、噪声和轻微视点变化具有稳健性。它们高度独特，易于提取，并允许以低误匹配概率进行正确识别。由于高维度，与大型数据库的匹配使用概率算法，如k-d树和最佳优先搜索。仅需三个SIFT特征即可计算目标的位置和姿态，从而在现代硬件上实现接近实时的识别。
阶段
尺度不变特征检测
Lowe的方法将图像转换为对平移、缩放和旋转不变的特征向量集合，对光照部分不变，并对几何畸变具有稳健性。这些特征类似于初级视觉皮层中编码基本形式的神经元，用于灵长类视觉中的目标检测。关键位置是尺度空间中高斯差分函数的最大值和最小值，应用于平滑和重采样的图像。低对比度候选点和边缘响应被丢弃，并分配主导方向。通过对关键位置周围的局部方向平面进行模糊和重采样，获得对仿射畸变稳健的描述符。
特征匹配与索引
索引存储SIFT键，并从新图像中识别匹配。Lowe使用最佳优先搜索，这是一种改进的k-d树算法，通过有限计算以高概率找到最近邻，使用基于堆的优先级队列按距离查询的顺序搜索箱子。对于每个关键点，通过最小欧氏距离在数据库中找到最近邻。如果到最近不同类特征的距离之比足够大，则保留候选，确保不同目标类别不会干扰匹配。然后验证一致的簇。
应用与影响
SIFT已被广泛采用于计算机视觉，影响了人工智能和机器学习等领域。在深度学习和神经网络方法普及之前，其稳健性使其成为目标识别的标准。该算法在2020年专利保护到期，促进了在商业和研究应用中的更广泛使用。
SIFT的原理也启发了后来的特征描述符，并促进了计算机视觉和机器人技术的进步，特别是在Waymo和特斯拉自动驾驶中的导航应用。其处理部分遮挡和杂乱的能力在野生动物识别和电影制作中的运动匹配等场景中仍然有价值。
遗产
尽管深度学习模型中的学习特征兴起，SIFT仍然是一项基础技术，常被用作特征匹配基准中的基线。其在尺度空间理论中的理论基础继续为图像分析研究提供信息。该算法十年的开发过程体现了计算机视觉中的迭代改进，其专利保护的到期鼓励了相关领域的创新。