上下文图像分类是机器学习和计算机视觉的一个子领域，它通过利用更广泛场景中的信息来为图像或图像区域分配标签，而不是孤立地分析每个像素或物体。这种方法认识到，视觉元素的意义往往取决于其周围环境：一个模糊的小形状如果出现在天空中，比出现在道路上更可能是鸟。通过建模物体之间的关系、空间布局和场景级线索，上下文方法旨在减少歧义并提高分类准确性，尤其是在杂乱或自然环境中。
这一概念的根源可追溯至1970年代和1980年代的早期计算机视觉研究，当时Xerox PARC和MIT CSAIL等机构的研究人员开始探索空间上下文如何辅助物体识别。与传统基于像素的分类器（独立处理每张图像）不同，上下文分类整合了邻近区域的特征、全局场景统计或物体共现模式。这使得它在遥感、医学影像和自动驾驶等应用中尤为有用，因为在这些场景中，仅依赖局部外观往往不够充分。
历史发展
1980年代的早期工作使用概率图模型（如马尔可夫随机场）来编码相邻像素或分割区域之间的空间依赖性。这些模型允许分类器在图像中传播标签信息，从而平滑噪声预测。1990年代，Carnegie Mellon University和Stanford AI Lab的研究人员将这些思想扩展到更高层次的场景上下文，如道路或建筑物的存在，以优化物体标签。
2010年代Deep learning的兴起改变了这一领域。卷积神经网络（CNN），尤其是诸如Residual Network (ResNet)和U-Net等架构，学习了隐含局部上下文的层次化特征。然而，对于需要全局推理的任务，如Waymo自动驾驶汽车或Tesla系统中的场景理解，显式上下文建模仍然很有价值，因为行人姿态和交通信号必须联合解释。
关键技术
现代上下文图像分类采用了几类技术。空间上下文方法使用Data Augmentation和多尺度分析来整合更大范围的信息。例如，分类器可能先对图像区域进行划分，然后使用第二个网络根据其邻域的输入对每个区域进行分类。
语义上下文方法利用物体共现统计。如果模型检测到方向盘，那么附近即使部分被遮挡的深色形状也更可能被分类为座椅。这些方法通常使用图模型或Attention机制，例如Transformer (architecture)架构中的Multi-Head Attention，来对不同场景元素的影响。
全局上下文方法计算场景级描述符，如物体类别的直方图或低维嵌入，并用它来调整局部预测。这常用于遥感中，通过结合像素级光谱数据和场域统计对城市图像进行分类。
应用
最活跃的应用领域之一是遥感。来自Google Cloud和Oracle Cloud Infrastructure等平台的卫星和航空图像通常包含大片均匀区域（森林、水体、农田）及其细微边界。上下文分类通过考虑纹理和邻近图案来区分相似的地覆盖类型，从而提高土地制图和环境监测的准确性。
在医学成像中，上下文方法通过标注CT或MRI扫描中的解剖结构来辅助放射科医生。例如，肺部扫描中如果一个小结节位于胸膜附近或既往炎症区域内，则更可能是恶性的。Samsung Research和Nokia Bell Labs开发的系统已使用上下文特征减少癌症筛查中的假阳性。
信号传输深度依赖上下文分类。Waymo和Tesla使用摄像头和激光雷达数据识别物体，但上下文有助于区分场景：尽管有树枝遮挡，交通歧义仍能得到识别。类似地，Intuitive Surgical等手术机器人系统在手术过程中使用上下文提示来区分组织类型。
挑战与未来方向
尽管上下文图像分类具有优势，仍面临多项挑战。计算成本较大，因为建模长距离依赖往往需要较大的接收范围或多次推理。诸如Model Pruning和高效注意力机制等技术正在被开发以缓解此问题。
上下文歧义也可能影响性能。如果场景包含矛盾或异常信息，上下文模型可能强化错误。例如，企鹅在海滩上可能因海边环境被误判为鸟类，尽管其外貌与众不同。
未来研究正在探索将Large language model嵌入与视觉特征整合的模型，允许场景理解部分自然语言理解。OpenAI和Google DeepMind等公司正在开发多模态模型，这些模型联合处理文本和图像，望能实现更大性。