COCO Instance Segmentation é uma tarefa de referência em visão computacional definida pelo conjunto de dados Microsoft COCO (Common Objects in Context). O objetivo é detectar cada instância de um objeto em uma imagem e produzir uma máscara em nível de pixel que delineie precisamente cada instância, distinguindo entre objetos separados da mesma classe. A tarefa abrange 80 classes de "coisas", que são objetos contáveis, como pessoa, carro e cachorro, em oposição a classes de "material" como céu ou grama. É amplamente utilizada para avaliar o desempenho de modelos de aprendizado profundo em tarefas que exigem tanto localização quanto compreensão espacial de granulação fina.
O conjunto de dados COCO foi lançado pela primeira vez em 2014 por uma equipe da Microsoft, com as anotações de segmentação de instância adicionadas na versão de 2015. O conjunto contém mais de 200.000 imagens, com mais de 1,5 milhão de instâncias de objetos rotuladas com polígonos que definem seus contornos. A métrica de avaliação oficial é a Precisão Média (AP) calculada sobre os limites de Intersecção sobre União (IoU) de 0,5 a 0,95 em incrementos de 0,05, com métricas adicionais para objetos pequenos, médios e grandes. Essa métrica, frequentemente chamada de COCO AP, tornou-se o padrão de facto para comparar modelos de segmentação de instância.
Evolução dos Modelos
As abordagens iniciais para segmentação de instância baseavam-se em estruturas de detecção de objetos. A arquitetura Mask R-CNN, introduzida em 2017 por Kaiming He e colegas da Facebook AI Research, estendeu o detector Faster R-CNN adicionando um ramo que prevê máscaras de segmentação em paralelo com a regressão de caixas delimitadoras. A Mask R-CNN alcançou melhorias significativas em relação aos métodos anteriores e estabeleceu uma linha de base forte, atingindo cerca de 35 AP no conjunto de teste COCO. Seu sucesso popularizou o uso de backbones ResNet com Redes de Pirâmide de Características para extração de características em múltiplas escalas.
Modelos subsequentes melhoraram a precisão e a eficiência. O YOLACT, introduzido em 2019, propôs uma abordagem em tempo real que gera máscaras protótipo e as combina com coeficientes por instância, alcançando inferência mais rápida com algum custo em precisão. Em 2020, a variante Cascade Mask R-CNN melhorou a AP aplicando uma cascata de detectores. O modelo DETR, introduzido em 2020 pela Facebook AI, usou uma arquitetura de codificador-decodificador Transformer (architecture) para tratar a detecção de objetos como um problema de previsão de conjuntos, eliminando componentes artesanais como caixas de âncora e supressão não máxima. O DETR e seus sucessores, como o Mask2Former (2021), unificaram as tarefas de segmentação de instância, panóptica e semântica sob uma única estrutura de classificação de máscaras.
Avaliação e Métricas
A métrica principal para segmentação de instância COCO é a Precisão Média (AP), calculada classificando todas as máscaras previstas por confiança e medindo precisão e revocação em vários limites de IoU. A avaliação oficial do COCO também relata AP em IoU 0,50 e 0,75 separadamente, bem como AP para diferentes tamanhos de objetos: pequenos (área menor que 32^2 pixels), médios (entre 32^2 e 96^2) e grandes (maior que 96^2). O desafio também acompanha a Revocação Média (AR) com um número fixo de detecções por imagem. Essas métricas permitem comparações nuançadas, pois os modelos podem se destacar na detecção de objetos grandes enquanto têm dificuldade com os pequenos.
O conjunto test-dev do COCO é usado para o desafio anual, mas os pesquisadores frequentemente relatam resultados no conjunto de validação (val2017) para iteração mais rápida. O conjunto de dados é dividido em train2017 (cerca de 118.000 imagens) e val2017 (5.000 imagens). O servidor oficial de avaliação garante avaliação consistente, mas muitos artigos também usam a biblioteca pycocotools localmente para calcular métricas.
Aplicações e Impacto
A segmentação de instância é crítica para aplicações que exigem contornos precisos de objetos, como direção autônoma, robótica, imagem médica e realidade aumentada. Na direção autônoma, segmentar pedestres, veículos e objetos de estrada ajuda os sistemas de percepção a entender cenas. Na robótica, máscaras em nível de pixel permitem a apreensão e manipulação de objetos específicos. O benchmark COCO impulsionou progresso rápido nessas áreas, com modelos de última geração melhorando de cerca de 35 AP em 2017 para mais de 60 AP até 2024, em grande parte devido a avanços em arquiteturas de redes neurais, técnicas de aumento de dados e estratégias de treinamento.
A tarefa também serve como base para problemas relacionados. A segmentação panóptica combina segmentação de instância e semântica, exigindo que os modelos rotulem cada pixel com uma classe e um ID de instância. O conjunto de dados COCO foi estendido para incluir anotações panópticas, e modelos como o Mask2Former lidam com ambas as tarefas. Além disso, a segmentação de instância é usada em modelos generativos para edição de imagens, onde máscaras precisas permitem modificações direcionadas.
Desafios e Limitações
Apesar do progresso, a segmentação de instância COCO continua desafiadora. Objetos pequenos são particularmente difíceis devido à informação limitada de pixels, e instâncias ocluídas ou sobrepostas podem confundir os modelos. As 80 classes de coisas são desbalanceadas, com classes comuns como pessoa e carro dominando, enquanto classes raras como secador de cabelo e escova de dentes têm poucos exemplos. O conjunto de dados também tem vieses, como uma predominância de imagens de contextos ocidentais, o que pode afetar a generalização do modelo. A partir de 2025, os pesquisadores continuam a abordar essas questões por meio de melhores funções de perda, poda de modelos para eficiência e o desenvolvimento de conjuntos de dados maiores e mais diversos.
Outra limitação é o alto custo computacional do treinamento de modelos de última geração, que frequentemente exigem múltiplas GPUs e dias de treinamento. Isso levou ao interesse em arquiteturas eficientes e técnicas de poda. O benchmark COCO continua sendo uma ferramenta chave para medir o progresso, mas alguns argumentam que ele está saturando, levando à criação de benchmarks mais desafiadores como o LVIS (Large Vocabulary Instance Segmentation), que tem mais de 1.200 classes.
Ver Também
- U-Net - uma arquitetura popular para segmentação semântica
- Aumento de Dados - técnicas usadas para melhorar a generalização do modelo
- Redes Residuais - arquiteturas de backbone comumente usadas em modelos de segmentação
- Funções de Perda - incluindo perda de máscara e perda de caixa delimitadora