图像分割是计算机视觉中的一项基础任务，涉及将数字图像划分为多个片段或像素集合。其目标是简化并改变图像的表示形式，使其更有意义且更易于分析。与为整幅图像分配单一标签的图像分类不同，分割在像素级别操作，提供对场景中对象和区域空间布局的详细理解。这一过程对于使机器能够以类似于人类感知的方式解释视觉数据至关重要，构成了人工智能、机器学习和深度学习等领域的关键组成部分。
分割通常分为三种主要类型：语义分割、实例分割和全景分割。语义分割将图像中的每个像素分类为预定义类别（例如，道路、汽车、人），而不区分同一类别的单个对象。实例分割更进一步，识别并描绘每个不同的对象实例，即使它们属于同一类别。全景分割统一了这两种方法，通过为所有像素分配语义类别和实例ID来提供全面的场景理解。这些任务通常使用神经网络架构实现，特别是卷积神经网络（CNN），以及最近的基于Transformer (architecture)的模型。
历史发展
图像分割的根源可以追溯到20世纪70年代和80年代的经典图像处理技术，如边缘检测、阈值分割和区域生长。早期方法，包括Canny边缘检测器和分水岭算法，依赖于手工设计的特征和启发式方法来识别区域之间的边界。这些方法计算效率高，但常常难以处理复杂、嘈杂或纹理丰富的图像。施乐帕洛阿尔托研究中心和麻省理工学院计算机科学与人工智能实验室等机构的研究为基础算法做出了贡献，但由于缺乏稳健的模型和计算能力，进展受到限制。
20世纪90年代和21世纪初，机器学习的出现引入了马尔可夫随机场和支持向量机等统计方法用于像素分类。然而，2012年深度CNN在图像分类中的成功带来了重大突破，推动了端到端分割模型的发展。2015年，伯克利人工智能研究团队引入的全卷积网络（FCN）标志着一个转折点，证明了CNN可以训练用于密集的像素级预测任务。随后，2015年U-Net架构的开发成为生物医学图像分割的标准，因其编码器-解码器结构和跳跃连接而广受欢迎。
深度学习架构
现代图像分割由深度学习模型主导。U-Net架构最初为医学图像设计，具有捕获上下文的收缩路径和用于精确定位的对称扩展路径，使其在训练数据有限的情况下非常有效。其他有影响力的架构包括SegNet，它使用带有池化索引的编码器-解码器，以及DeepLab，它采用空洞（膨胀）卷积来捕获多尺度上下文而不损失分辨率。这些模型通常在ImageNet等大型数据集上预训练，并针对特定分割任务进行微调。
最近，基于Transformer (architecture)的模型已被应用于分割。视觉变换器（ViT）及其变体，如Swin Transformer，将图像补丁视为令牌，并使用自注意力机制来建模长距离依赖。SegFormer和Mask2Former等模型通过将变换器与高效解码器相结合，取得了最先进的结果。这些架构使用批归一化、Dropout和残差连接等先进技术进行训练，并使用Adam优化器和SGD变体等算法进行优化。损失函数的选择，如交叉熵或Dice损失，对于处理分割数据集中的类别不平衡至关重要。
应用
图像分割在各行业具有广泛的实际应用。在医学成像中，它用于在CT、MRI和X射线扫描中描绘器官、肿瘤和 anatomical 结构，辅助诊断和手术规划。直觉外科等公司将分割集成到机器人辅助手术系统中，用于实时 tissue 识别。在自动驾驶中，分割对于场景理解至关重要，使车辆能够检测道路、行人、车辆和障碍物。韦莫和特斯拉自动驾驶依赖先进的分割模型来处理摄像头输入并做出驾驶决策。
在农业中，分割有助于监测作物健康，并从 aerial 图像中识别杂草或疾病，如Fermata等初创公司所展示的。在零售和电子商务中，它支持背景移除和产品识别。此外，分割还用于卫星图像分析中的土地覆盖分类、机器人中的对象操作以及增强现实中的环境映射。该技术也是生成式人工智能系统不可或缺的一部分，通过提供对区域的精确控制来辅助图像编辑和合成。
挑战与未来方向
尽管取得了显著进展，图像分割仍面临若干挑战。一个主要问题是需要大量像素级标注数据，这既昂贵又耗时。正在探索半监督和弱监督学习等技术以减少这种依赖。另一个挑战是处理遮挡、变化的照明条件以及训练与部署环境之间的域偏移。自动驾驶等应用中的实时分割需要高效模型，在准确性和计算成本之间取得平衡，通常通过模型剪枝和量化来实现。
未来研究正专注于更泛化和稳健的模型，包括能够通过最少微调适应新任务的基础模型。大型语言模型和多模态方法的集成可能通过结合视觉和文本信息实现更丰富的场景理解。随着硬件的持续进步，来自英伟达和谷歌云等公司的专用加速器，使得在边缘设备上部署复杂分割模型变得更加可行。深度学习技术的持续发展有望使图像分割更加准确和通用，为科学、工业和日常生活解锁新应用。
评估指标
为了评估分割模型的性能，使用了几种标准指标。交并比（IoU），也称为杰卡德指数，衡量预测区域与真实区域之间的重叠，值范围从0到1。Dice系数与IoU类似，在医学成像中特别流行。像素准确率计算正确分类像素的百分比，简单但可能对不平衡数据集产生误导。平均交并比（mIoU）通常用于语义分割基准，而平均精度（AP）等指标用于实例分割任务。这些指标使研究人员能够客观地比较模型，并推动算法设计的改进。