Cityscapes é um conjunto de dados em larga escala projetado para a compreensão semântica de cenas de ruas urbanas. Ele fornece um conjunto diversificado de sequências de vídeo estéreo gravadas a partir de um veículo em movimento em 50 cidades da Alemanha e países vizinhos, com anotações de alta qualidade em nível de pixel para 5.000 quadros e anotações poligonais mais grosseiras para 20.000 quadros adicionais. O conjunto de dados foi introduzido em 2016 por pesquisadores da Daimler AG, da TU Darmstadt e de outras instituições, e se tornou um padrão de referência para tarefas como segmentação semântica, segmentação de instâncias e segmentação panóptica em pesquisa de direção autônoma e visão computacional.
O objetivo principal do Cityscapes é permitir o desenvolvimento e a avaliação de algoritmos que possam compreender o ambiente visual de um veículo em condições do mundo real. O conjunto de dados captura a complexidade da direção urbana, incluindo condições climáticas variadas, estações do ano e situações de tráfego, tornando-o um ambiente de teste desafiador e realista. Suas anotações cobrem 30 classes agrupadas em oito categorias: superfícies planas (estradas, calçadas), humanos (pedestres, ciclistas), veículos (carros, caminhões, ônibus), construção (edifícios, muros), objetos (sinais de trânsito, postes), natureza (vegetação, terreno), céu e vazio (áreas não rotuladas). Essa taxonomia de granulação fina suporta uma análise detalhada de cenas e é amplamente usada para treinar modelos de aprendizado profundo em sistemas de direção autônoma.
Coleta de Dados e Anotação
O conjunto de dados foi capturado usando um conjunto de câmeras estéreo montado em um carro, gravando a 17 quadros por segundo com uma resolução de 2048x1024 pixels. As sessões de gravação ocorreram na primavera, no verão e no outono, cobrindo condições ensolaradas, nubladas e chuvosas, mas não incluíram cenas de inverno ou noturnas. Os 5.000 quadros finamente anotados foram selecionados de 27 cidades, enquanto os 20.000 quadros com anotações grosseiras vêm de 23 cidades adicionais, garantindo diversidade geográfica. A anotação foi realizada por uma equipe profissional, com cada imagem fina levando cerca de 90 minutos para ser rotulada, usando uma ferramenta poligonal que permite a delimitação precisa de contornos. As anotações grosseiras, que levam cerca de 7 minutos por imagem, usam polígonos com menos vértices e são destinadas ao pré-treinamento ou ao aprendizado fracamente supervisionado.
Tarefas de Benchmark e Métricas
O conjunto de dados é usado principalmente para segmentação semântica, onde cada pixel recebe um rótulo de classe. A métrica de avaliação padrão é a média da Interseção sobre a União (mIoU) em todas as classes, com relatórios separados para as 19 classes usadas para treinamento e avaliação (a classe 'vazio' é excluída). O Cityscapes também suporta segmentação de instâncias (distinguindo objetos individuais dentro de uma classe, como carros separados) e segmentação panóptica (combinando segmentação semântica e de instâncias). O benchmark possui um ranking público onde pesquisadores podem enviar resultados, e impulsionou um progresso significativo em modelos de segmentação, desde as primeiras redes totalmente convolucionais até arquiteturas modernas baseadas em transformadores, como segformer e mask2former.
Impacto na Visão Computacional
O Cityscapes se tornou um dos conjuntos de dados mais influentes em visão computacional, com milhares de citações e uso generalizado tanto na academia quanto na indústria. Ele estimulou o desenvolvimento de técnicas de adaptação de domínio, uma vez que modelos treinados no Cityscapes muitas vezes precisam generalizar para outros ambientes urbanos, como aqueles em dados do waymo ou do tesla-autopilot. O conjunto de dados também popularizou o uso de dados sintéticos, com ferramentas como gta-v e carla usadas para gerar dados de treinamento adicionais que são então ajustados no Cityscapes. Suas anotações foram usadas para treinar modelos para segmentação semântica, estimativa de profundidade e detecção de objetos, e continua sendo um conjunto de avaliação padrão para novas arquiteturas, incluindo aquelas baseadas em paradigmas de rede neural e aprendizado profundo.
Limitações e Extensões
Apesar de seu sucesso, o Cityscapes tem limitações conhecidas. Ele cobre apenas cidades europeias, principalmente na Alemanha, o que introduz um viés em relação aos layouts de estradas, sinalização e tipos de veículos europeus. O conjunto de dados não inclui cenas noturnas, chuva forte ou neve, limitando sua aplicabilidade a condições climáticas adversas. Para abordar essas lacunas, pesquisadores criaram extensões e conjuntos de dados complementares, como cityscapes-dark para cenas noturnas e acdc (Conjunto de Dados de Condições Adversas) para neblina, chuva e neve. Além disso, as anotações grosseiras são menos precisas, o que pode afetar modelos treinados nelas. No entanto, o Cityscapes continua sendo um recurso fundamental, e seu benchmark continua sendo ativamente usado para avaliar modelos de última geração na compreensão de cenas urbanas.
Ver Também
- segmentação semântica
- direção autônoma
- visão computacional
- conjunto de dados