Mask R-CNN是一种用于实例分割的深度学习架构，实例分割是计算机视觉中的一项任务，结合了目标检测与像素级分割。它通过添加一个并行分支来预测分割掩码，扩展了Faster R-CNN目标检测框架，使模型既能用边界框定位对象，又能描绘其精确的像素边界。Mask R-CNN由Facebook AI Research（现为Meta的一部分）的研究人员开发，于2017年提出，并成为自动驾驶、医学影像和机器人技术中众多下游应用的基础模型。
该架构直接构建于Faster R-CNN之上，后者本身由早期的基于区域的卷积神经网络演变而来。Faster R-CNN使用区域提议网络（RPN）生成候选对象区域，随后通过感兴趣区域（RoI）池化层提取固定大小的特征图，用于分类和边界框回归。Mask R-CNN用RoIAlign取代了RoI池化，这是一项关键修改，消除了RoI池化引入的空间量化误差。RoIAlign使用双线性插值在采样点计算精确值，保留了精确掩码预测所必需的精细空间细节。这一变化使掩码分支能够在对齐的特征图上运行，显著提高了分割质量。
掩码分支本身是一个小型全卷积网络，应用于每个RoI，为每个类别生成一个二值掩码。在训练期间，损失函数结合了分类损失、边界框回归损失和掩码预测上的平均二值交叉熵损失。这种多任务学习设置使模型能够联合优化检测和分割，从而在COCO数据集等基准上取得强劲性能。在COCO test-dev上，Mask R-CNN在发布时实现了35.7%的掩码平均精度和39.8%的边界框平均精度，超越了先前的最先进方法。
架构与组件
Mask R-CNN由多个集成组件组成。骨干网络（通常是ResNet或ResNeXt）从输入图像中提取层次化特征图。可以将特征金字塔网络（FPN）附加到骨干网络上，通过结合低分辨率、语义强的特征与高分辨率、空间精确的特征，改善跨尺度的检测。随后，RPN提出候选区域，这些区域由RoIAlign处理以生成对齐的特征图。这些特征输入到两个头部：一个用于分类和边界框回归的头部，以及一个掩码预测头部。掩码头部独立应用于每个RoI，为每个类别输出大小为28x28像素的掩码，然后上采样到原始RoI大小以进行最终预测。
训练与推理
训练Mask R-CNN遵循多步骤流程。模型通常使用在ImageNet上预训练的权重初始化骨干网络。在训练期间，正RoI（与真实边界框具有高交并比的区域）被采样用于掩码损失计算。掩码分支仅在正RoI上训练，而分类和回归头部使用正负样本。总损失是各个损失之和，默认情况下权重相等。推理涉及运行RPN、应用RoIAlign，然后将预测掩码在0.5处阈值化以生成二值分割。对边界框预测应用非极大值抑制以去除重复检测。
影响与应用
Mask R-CNN对计算机视觉领域产生了重大影响。它提供了一个简单、灵活且准确的实例分割框架，成为后续研究的标准基线。其设计影响了后来的模型，如Cascade Mask R-CNN以及将transformer与卷积骨干相结合的混合方法。在实践中，Mask R-CNN已应用于医学图像分析中的肿瘤分割、自动驾驶车辆感知中的行人和车辆识别，以及农业监测中的植物计数。该架构还作为生成式人工智能流水线中的组件，其中精确的对象掩码能够实现受控的图像编辑和生成。
局限性与扩展
尽管取得了成功，Mask R-CNN仍存在已知的局限性。它计算密集，需要大量GPU资源进行训练和推理，这可能阻碍实时应用。该模型在处理严重遮挡对象和小实例时也面临困难，掩码预测可能带有噪声。扩展方法已解决这些问题：Mask Scoring R-CNN添加了一个掩码IoU预测头部以提高掩码质量，而PointRend使用基于点的迭代方法细化掩码边缘。更近期的架构（如基于变换器解码器的架构）已在某些基准上超越了Mask R-CNN，但该模型因其成熟性和广泛的预训练权重及库生态系统而仍被广泛使用。
与其他方法的关系
Mask R-CNN属于计算机视觉中更广泛的基于区域的方法家族，该家族还包括早期的模型如R-CNN和Fast R-CNN。它与YOLO和SSD等单阶段检测器形成对比，后者优先考虑速度而非准确性。在人工智能和机器学习的背景下，Mask R-CNN体现了多任务学习的趋势，即单个神经网络处理多个相关输出。其发展是2010年代中期深度学习进步浪潮的一部分，与大型语言模型研究的突破并行，尽管这两个领域在应用上有所分化。代码和预训练模型以开源许可证发布，加速了学术界和工业界的采用，包括在亚马逊云服务和谷歌云等公司，它们提供运行此类模型的托管服务。