图像融合是一种计算技术，它将同一场景的两幅或多幅源图像中的互补信息整合到单一合成图像中。其目标是生成一幅比任何单独输入图像更具信息量、更适合人类视觉感知或后续自动化分析的输出。该过程通常涉及对齐源图像（配准），然后在像素、特征或决策层面应用融合规则。应用领域涵盖遥感、医学诊断、监控和摄影，这些领域常见多传感器或多曝光数据。
这一概念源于信号处理和计算机视觉，早期工作可追溯至20世纪80年代。现代方法利用深度学习，特别是卷积神经网络和Transformer架构，从数据中学习最优融合策略。图像融合不同于图像拼接（其创建更宽的视野）和图像混合（其平滑过渡），因为它强调信息提取而非仅几何对齐。
像素级融合方法
像素级融合直接作用于对齐图像的强度值。最简单的技术包括平均法，其中每个输出像素是相应输入像素的均值，以及加权平均法，其中权重基于局部对比度或清晰度等指标选择。更高级的方法使用多尺度变换，如拉普拉斯金字塔或离散小波变换。在这些方法中，图像被分解为频带，融合规则选择每个频带中活动性最大（例如，绝对值最高）的系数，然后重建合成图像。这些方法比简单平均更好地保留边缘和细节，但如果分解和重建不完全匹配，则可能引入伪影。
对于多曝光融合（其中图像亮度不同），像素级方法通常计算质量图（例如，基于饱和度、对比度和良好曝光度）来指导权重选择。这在消费摄影中常用于高动态范围（HDR）成像。
特征级和决策级融合
特征级融合从每幅源图像中提取显著特征，如边缘、角点或纹理描述符，并将它们组合成联合特征向量。然后，该向量用于分类或分割任务。例如，在遥感中，全色锐化通过将高分辨率全色图像的空间细节注入低分辨率多光谱图像来融合两者，通常是在特征层面进行。决策级融合，也称为语义融合，结合多个分类器或检测器的输出，每个分类器或检测器基于不同源进行操作。方法包括多数投票、贝叶斯推理或Dempster-Shafer理论。这一层面对传感器噪声具有鲁棒性，但要求每个源提供有意义的决策。
深度学习方法
自2010年代中期以来，深度学习主导了图像融合研究。卷积神经网络（CNN）用于直接从配对训练数据中学习融合规则。典型架构包括从每个输入提取特征的编码器、组合这些特征的融合层（例如，通过逐元素加法或注意力机制），以及重建融合图像的解码器。U-Net架构最初为生物医学分割开发，由于其多尺度特征提取和保留细粒度的跳跃连接，经常被改编用于融合。
最近，基于Transformer的模型，依赖多头注意力机制，已被应用于捕捉图像中的长距离依赖。这些模型将图像块视为标记，并学习全局上下文，这可以改善具有大均匀区域或复杂纹理场景的融合质量。训练通常使用平衡源图像保真度（例如，均方误差）和感知质量（例如，结构相似性指数）的损失函数。一些方法使用生成对抗网络产生视觉上逼真的输出，尽管这增加了训练不稳定性。
应用与挑战
在遥感中，图像融合对卫星图像的全色锐化、结合光学和雷达数据（例如，来自Sentinel-1和Sentinel-2）以及变化检测至关重要。在医学成像中，它融合计算机断层扫描（CT）和磁共振成像（MRI）扫描，提供解剖和功能信息，辅助诊断和手术规划。在监控中，可见光和红外图像的融合增强了低光或遮挡条件下的目标检测。自动驾驶车辆使用摄像头、LiDAR和雷达数据的融合，尽管这通常属于传感器融合而非严格意义上的图像融合。
关键挑战包括源之间的错位、不同分辨率以及空间细节和光谱保真度之间的权衡。融合图像的评估很困难，因为地面真实合成图像很少存在；使用互信息、边缘保留和视觉信息保真度等指标，但主观评估仍然常见。截至2020年代初，没有单一方法在所有场景中优于其他方法，研究继续关注自适应和任务特定的融合。
与更广泛AI的关系
图像融合是计算机视觉的一个子领域，与机器学习和深度学习密切相关。它与数据增强共享技术，后者也结合或修改图像以提高模型鲁棒性。融合算法的发展受益于神经网络架构和训练方法的进步，如残差网络和批归一化。像MIT CSAIL和斯坦福AI实验室等机构的研究团队为理论基础和实际实现都做出了贡献。行业采用可见于Google DeepMind（用于卫星图像分析）和三星研究院（用于智能手机相机增强）等公司的产品。
未来方向
新兴趋势包括与大型语言模型的多模态理解融合，其中图像融合与文本描述结合以生成更丰富的场景表示。边缘设备上的实时融合是另一个焦点，由高效架构和硬件加速器（如AWS Trainium或高通芯片）驱动。此外，正在探索无监督和自监督融合方法，以减少对标记训练数据的依赖。融合与生成模型的集成可能使合成图像不仅是复合物，而是在理想条件下场景的合理重建。
总体而言，图像融合仍然是一个活跃的研究领域，其轨迹朝向更智能、上下文感知的算法，能够适应多样化的传感器和任务。