全景分割是一项计算机视觉任务，它将语义分割（为每个像素分配类别标签）和实例分割（区分单个对象实例）结合到一个统一框架中。该术语由Alexander Kirillov等人于2018年提出，"panoptic"源自希腊语，意为"全视"，反映了其提供完整且连贯场景理解的目标。与语义分割将所有同类像素统一处理不同，全景分割区分同一类别的不同实例（例如，单个行人或汽车）。与通常仅关注"物体"（可计数的对象）的实例分割不同，全景分割还涵盖"背景"（无定形的背景区域，如天空、道路或草地）。这种整体方法使自动驾驶、机器人和增强现实等应用能够同时感知对象级和场景级信息。
背景与动机
传统的图像分割方法分为两类：语义分割和实例分割。语义分割为每个像素分配类别标签，但不区分同一类别的多个对象。另一方面，实例分割检测并描绘每个不同的对象，但通常忽略背景区域。这种二分法在场景理解中造成了差距，因为许多现实应用需要对象级和区域级信息。全景分割通过提供包含"物体"（具有可计数实例的对象）和"背景"（不可计数的背景区域）的统一输出来解决这一差距。该任务在Kirillov等人2018年的论文《Panoptic Segmentation》中正式确立，该论文还引入了用于评估的全景质量（PQ）指标。
技术方法
全景分割方法通常采用深度学习架构，通常基于卷积神经网络（CNN）或Transformer。一种常见的方法是双分支设计：一个分支处理语义分割，生成逐像素的类别概率图，而另一个分支处理实例分割，生成对象提议和掩码。然后通过融合模块合并这些输出，该模块解决冲突（例如，重叠区域）并为每个对象分配唯一的实例ID。最近的最先进方法，如Panoptic FPN（特征金字塔网络）和Mask2Former，使用基于Transformer的架构在统一框架中联合预测类别标签和实例掩码。这些模型在COCO（Common Objects in Context）和Cityscapes等大规模数据集上进行训练，这些数据集为物体和背景类别都提供了标注。
应用
全景分割具有众多实际应用。在自动驾驶中，它使车辆不仅能够识别行人、车辆和交通标志（物体），还能识别车道、人行道和天空（背景），从而促进安全导航。在机器人技术中，它通过区分单个对象与背景表面，帮助机器人理解和交互杂乱环境。在医学成像中，全景分割可以在组织区域（背景）内描绘单个细胞（实例），有助于诊断和研究。此外，它还被用于增强现实，以准确的遮挡处理将虚拟对象叠加到真实场景上，以及用于视频监控，在保持场景上下文的同时跟踪多个对象。
评估指标
全景分割的主要指标是全景质量（PQ），由Kirillov等人提出。PQ结合了分割质量（SQ）和识别质量（RQ）。SQ衡量匹配片段的平均IoU（交并比），而RQ衡量实例匹配的F1分数。PQ计算为SQ和RQ的乘积，并对所有类别取平均。该指标既奖励准确的像素级分割，也奖励正确的实例区分。其他指标，如分割质量和识别质量，有时会单独报告以进行详细分析。
挑战与未来方向
尽管取得了显著进展，全景分割仍面临若干挑战。物体和背景类别之间的类别不平衡可能使训练产生偏差，需要仔细的损失加权。实时性能对于自动驾驶等应用至关重要，但许多最先进的模型计算量较大。遮挡和重叠实例仍然困难，尤其是在拥挤场景中。未来的研究方向包括通过模型压缩和知识蒸馏提高效率，结合时间信息进行视频全景分割，以及利用自监督学习减少对昂贵标注的依赖。此外，将全景分割与其他任务（如深度估计和3D重建）集成是一个活跃的探索领域。