全景分割是一项计算机视觉任务，它将语义分割（为每个像素分配类别标签）与实例分割（区分单个物体实例）结合到一个统一的框架中。该术语由 Alexander Kirillov 等人于 2018 年提出，“panoptic”源自希腊语，意为“全视”，反映了其提供对场景完整且连贯理解的目标。与将同一类别的所有像素统一对待的语义分割不同，全景分割区分同一类别的不同实例（例如，单独的行人或汽车）。与通常仅关注“东西”（可计数物体）的实例分割不同，全景分割还涵盖“stuff”（无定形背景区域，如天空、道路或草地）。这种整体方法使自动驾驶、机器人和增强现实等应用能够同时感知物体级和场景级信息。
背景与动机
传统的图像分割方法分为两类：语义分割和实例分割。语义分割为每个像素分配类别标签，但不区分同一类别的多个物体。实例分割则检测并勾勒出每个单独的物体，但常常忽略背景区域。这种二分法在场景理解中造成了空白，因为许多现实世界应用既需要物体级信息，也需要区域级信息。全景分割通过提供包含“东西”（可计数物体）和“stuff”（不可计数背景区域）的统一输出来填补这一空白。该任务由 Kirillov 等人在 2018 年的论文《Panoptic Segmentation》中正式提出，该论文还引入了用于评估的全景质量（PQ）指标。
技术方法
全景分割方法通常采用深度学习架构，常基于卷积神经网络（CNN）或Transformer。一种常见的方法是双分支设计：一个分支处理语义分割，生成逐像素的类别概率图；另一个分支处理实例分割，生成物体提议和掩码。然后使用融合模块合并这些输出，以解决冲突（例如，重叠区域）并为每个物体分配唯一的实例ID。最近的最先进方法，如 Panoptic FPN（特征金字塔网络）和 Mask2Former，使用基于Transformer的架构在统一框架中联合预测类别标签和实例掩码。这些模型在 COCO（常见物体上下文）和 Cityscapes 等大规模数据集上进行训练，这些数据集为“东西”和“stuff”类别都提供了标注。
应用
全景分割具有众多实际应用。在自动驾驶中，它使车辆不仅能够识别行人、车辆和交通标志（东西），还能识别车道、人行道和天空（stuff），从而促进安全导航。在机器人技术中，它帮助机器人通过区分背景表面上的单个物体来理解和交互于杂乱环境。在医学影像中，全景分割可以在组织区域（stuff）内描绘出单个细胞（实例），有助于诊断和研究。此外，它还被用于增强现实，以精确处理遮挡的方式将虚拟物体叠加到真实场景中，以及用于视频监控，在保持场景上下文的同时跟踪多个物体。
评估指标
全景分割的主要评估指标是全景质量（PQ），由 Kirillov 等人提出。PQ 结合了分割质量（SQ）和识别质量（RQ）。SQ 衡量匹配片段的平均 IoU（交并比），而 RQ 衡量实例匹配的 F1 分数。PQ 是 SQ 和 RQ 的乘积，并对所有类别取平均。该指标既奖励准确的像素级分割，也奖励正确的实例区分。其他指标，如分割质量和识别质量，有时也会单独报告以进行详细分析。
挑战与未来方向
尽管取得了显著进展，全景分割仍面临若干挑战。类别不平衡存在于“东西”和“stuff”类别之间，可能会使训练产生偏差，需要仔细的损失加权。实时性能对于自动驾驶等应用至关重要，但许多最先进的模型计算量很大。遮挡和重叠实例在拥挤场景中尤其难以处理。未来的研究方向包括通过模型压缩和知识蒸馏提高效率，将时间信息纳入视频全景分割，以及利用自监督学习来减少对昂贵标注的依赖。此外，将全景分割与深度估计和3D重建等其他任务相结合，也是一个活跃的探索领域。