图像配准是将不同数据集转换到同一坐标系下的计算过程。这些数据可以是多张照片、来自不同传感器的数据、不同时间采集的数据，或不同视角获取的数据。它广泛应用于计算机视觉、医学影像、军事自动目标识别，以及卫星图像和数据的编译与分析。配准对于实现不同测量所得数据的比较或整合是必要的，例如不同传感器类型、不同时间或不同视角获取的数据。
图像配准的目标是在几何上对齐两幅或多幅图像，通常是参考图像和移动（或感知）图像，使对应的特征或结构重合。该过程涉及确定一种空间变换，将移动图像中的点映射到参考图像中。这种变换可以是刚性的（平移和旋转）、仿射的（包括缩放和剪切），或非刚性的（可变形），具体取决于应用场景和错位性质。
核心步骤与方法
图像配准通常遵循一个通用流程。首先，特征检测识别两幅图像中的显著点、边缘或区域。常见的特征检测器包括角点检测器（如Harris角点）或尺度不变特征变换（SIFT）关键点。其次，特征匹配建立检测特征之间的对应关系，通常使用对尺度、旋转或光照变化具有不变性的描述子。第三，变换模型估计利用匹配的对应关系计算所选空间变换的参数，通常采用随机采样一致性（RANSAC）等鲁棒方法来处理离群点。最后，图像变换和重采样将估计的变换应用于移动图像，使用双线性或三次插值等插值技术生成对齐后的输出。
替代方法包括基于强度（或基于区域）的方法，这些方法直接在变换参数上优化相似性度量，而无需显式特征提取。常用的度量包括归一化互相关、互信息或平方差之和。这些方法在特征稀疏或图像具有不同模态时特别有用，例如将磁共振成像（MRI）扫描与计算机断层扫描（CT）扫描对齐。
在医学影像中的应用
在医学影像中，图像配准对于结合不同模态的图像（如PET和CT）、跟踪肿瘤随时间的生长，或对齐术前和术中图像以进行手术导航至关重要。例如，在放射治疗中，将计划CT图像与每日锥形束CT图像配准，可确保辐射精确传递到靶区，同时保护健康组织。非刚性配准通常需要应对器官变形、呼吸运动或患者移动。诸如U-Net架构（最初为生物医学图像分割而开发）等技术已被改编用于基于深度学习的配准，其中神经网络直接从图像对中学习预测变形场。
在遥感与计算机视觉中的应用
在遥感中，配准对齐不同时间、不同传感器或不同视角下获取的卫星或航空图像。这支持变化检测，例如监测城市发展或森林砍伐，以及创建大地理区域的镶嵌图。多模态配准，如将光学图像与合成孔径雷达（SAR）图像对齐，由于图像特征不同而带来挑战。在计算机视觉中，配准用于全景拼接（将多张重叠照片对齐以创建广角视图）和增强现实（将虚拟对象与真实场景对齐）。它还支撑着自动驾驶系统，其中来自多个摄像头和传感器的图像必须融合成一致的空间表示。
深度学习方法
随着深度学习的兴起，卷积神经网络（CNN）已被应用于图像配准。监督方法训练网络从图像对中预测变换参数或变形场，需要真实对齐标签进行训练。无监督方法受空间变换网络启发，使用可微图像采样器来扭曲移动图像并最小化相似性损失（如归一化互相关），而无需真实标签。这些方法在推理时可能更快，并能处理复杂的非刚性变形。然而，它们通常需要大量训练数据，并且可能无法很好地泛化到未见过的解剖结构或传感器类型。混合方法将经典优化与深度学习相结合，例如使用网络来初始化变换或正则化变形场。
挑战与未来方向
图像配准仍面临挑战，原因包括大变形、遮挡、强度变化和多模态差异等因素。对噪声和离群点的鲁棒性是一个持续关注的问题。未来方向包括使用基于transformer的架构来捕捉长距离依赖，以及将配准与分割或分类等其他任务集成到联合框架中。大规模数据集和标准化评估指标的开发持续推动进展。截至2020年代中期，基于深度学习的方法在临床和工业环境中日益普及，尽管经典方法因其可解释性和低数据需求仍具有价值。
参见
- 计算机视觉
- 医学影像
- 遥感
- 空间变换网络