O Conjunto de Dados de Fronteiras Semânticas (SBD, do inglês Semantic Boundaries Dataset) é um conjunto de dados de referência para tarefas de visão computacional, projetado especificamente para detecção de fronteiras de objetos e segmentação semântica. Foi introduzido em 2011 por pesquisadores da Universidade da Califórnia, Berkeley, como uma extensão do conjunto de dados PASCAL VOC 2011. O SBD fornece anotações densas em nível de pixel para 20 classes de objetos (por exemplo, pessoa, carro, avião, gato) em 11.355 imagens, com uma divisão de 8.498 imagens de treinamento e 2.857 imagens de validação. O conjunto de dados é notável por suas fronteiras de alta qualidade, que são anotadas manualmente e refinadas usando uma plataforma de crowdsourcing, tornando-o um padrão de referência para avaliar algoritmos em segmentação semântica e detecção de bordas.
O objetivo principal do SBD é facilitar a pesquisa em segmentação semântica, onde a meta é atribuir um rótulo de classe a cada pixel em uma imagem. Diferentemente de conjuntos de dados anteriores que forneciam caixas delimitadoras ou máscaras grosseiras, o SBD oferece fronteiras de objetos precisas, permitindo que os modelos aprendam detalhes espaciais finos. As anotações são armazenadas em formato PNG com rótulos de classe codificados por cores, e o conjunto de dados também inclui máscaras de segmentação em nível de instância, que são úteis para tarefas como segmentação de instâncias e detecção de objetos. O SBD foi amplamente adotado na comunidade de aprendizado profundo, servindo como conjunto de treinamento para modelos como Redes Totalmente Convolucionais (FCNs, do inglês Fully Convolutional Networks), U-Net e várias arquiteturas baseadas em redes neurais convolucionais (CNNs).
Estrutura e Anotações do Conjunto de Dados
O SBD consiste em imagens do desafio PASCAL VOC 2011, que inclui cenas diversas com múltiplos objetos. Cada imagem é acompanhada por uma máscara de segmentação onde cada pixel é atribuído a uma das 20 classes de objetos ou a uma classe de fundo (classe 0). As anotações são fornecidas em dois formatos: máscaras em nível de classe (onde cada pixel tem um único rótulo de classe) e máscaras em nível de instância (onde cada instância de objeto é identificada de forma única). O conjunto de dados também inclui mapas de fronteiras que destacam as bordas entre objetos, que são derivados das máscaras de segmentação. O site oficial fornece o conjunto de dados como um único arquivo (cerca de 1,2 GB) contendo imagens, máscaras e metadados.
Criação e Metodologia
O conjunto de dados foi criado por Hariharan et al. (2011) como parte do grupo de pesquisa de Berkeley. O processo de anotação envolveu uma combinação de segmentação automática e refinamento manual. Inicialmente, as imagens foram segmentadas usando um algoritmo para propor regiões candidatas, que foram então corrigidas manualmente por anotadores usando uma interface personalizada. Para garantir a qualidade, cada imagem foi anotada por vários trabalhadores, e as divergências foram resolvidas por meio de um mecanismo de votação. As anotações finais foram validadas em relação aos rótulos originais do PASCAL VOC para manter a consistência. Essa metodologia resultou em fronteiras de alta qualidade que são mais precisas do que as do conjunto de dados PASCAL VOC original, que usava caixas delimitadoras para detecção de objetos.
Aplicações e Impacto
O SBD tornou-se um padrão de facto para avaliar modelos de segmentação semântica. É usado em inúmeros artigos de pesquisa e competições, incluindo o desafio de segmentação do PASCAL VOC, onde o SBD serve como dados de treinamento. O conjunto de dados foi fundamental para o avanço do aprendizado profundo em segmentação, pois fornece um corpus grande o suficiente para treinar modelos complexos. Por exemplo, as arquiteturas FCN (Long et al., 2015) e DeepLab (Chen et al., 2017) foram treinadas e avaliadas no SBD. Além disso, o SBD tem sido usado para aprendizado por transferência, onde modelos pré-treinados no SBD são ajustados em outros conjuntos de dados como Cityscapes ou COCO. O conjunto de dados também apoia a pesquisa em detecção de fronteiras, onde modelos como HED (Detecção de Bordas Holisticamente Aninhada, do inglês Holistically-Nested Edge Detection) são treinados nos mapas de fronteiras do SBD.
Limitações e Extensões
Apesar de sua utilidade, o SBD tem limitações. O conjunto de dados é relativamente pequeno em comparação com conjuntos de dados modernos em grande escala como COCO (com mais de 200.000 imagens) ou Open Images. As imagens também são limitadas às categorias do PASCAL VOC, que podem não cobrir todos os cenários do mundo real. Além disso, as anotações não são tão densas quanto as de conjuntos de dados mais recentes como Cityscapes, que incluem mais classes e imagens de maior resolução. Para resolver esses problemas, pesquisadores estenderam o SBD combinando-o com outros conjuntos de dados ou usando técnicas de aumento de dados. Por exemplo, o SBD é frequentemente usado em conjunto com o conjunto de dados PASCAL VOC 2012, onde o conjunto de treinamento é aumentado com imagens do SBD para melhorar o desempenho do modelo. Além disso, alguns trabalhos criaram variações sintéticas do SBD para estudos de adaptação de domínio.
Disponibilidade e Uso
O SBD está disponível gratuitamente para fins de pesquisa na página oficial do projeto. O conjunto de dados é distribuído como um arquivo ZIP contendo as imagens (formato JPEG), máscaras de segmentação (PNG) e uma lista de IDs de imagens para as divisões de treinamento e validação. Pesquisadores geralmente baixam o conjunto de dados e o usam com frameworks populares de aprendizado profundo, como PyTorch ou TensorFlow. O conjunto de dados também está integrado em várias bibliotecas de código aberto, incluindo torchvision e GluonCV, que fornecem carregadores de dados integrados. Ao usar o SBD, é costume citar o artigo original: "Semantic Contours from Inverse Detectors" de Bharath Hariharan, Pablo Arbeláez, Lubomir Bourdev, Subhransu Maji e Jitendra Malik, apresentado na Conferência Internacional de Visão Computacional (ICCV) de 2011.
Ver Também
- PASCAL VOC
- Segmentação semântica
- Detecção de objetos
- Visão computacional
- Aprendizado profundo
- Rede neural convolucional
- Rede totalmente convolucional
- U-Net
- Cityscapes
- Conjunto de dados COCO
- Detecção de bordas
- Segmentação de instâncias
- Aprendizado por transferência
- PyTorch
- TensorFlow
- ICCV
- Berkeley
- Hariharan
- Arbeláez
- Malik