ImageNet-Sketch é um conjunto de dados de referência introduzido em 2019 para avaliar a generalização entre domínios de modelos de aprendizado de máquina. Ele contém 50.000 imagens de esboços em escala de cinza, com 50 imagens para cada uma das 1.000 classes do conjunto de dados ImageNet original. Os esboços são coletados do projeto QuickDraw do Google e de outras fontes, e representam uma representação estilizada e abstrata de objetos, diferindo significativamente de fotografias naturais. Este conjunto de dados é amplamente utilizado em pesquisas de visão computacional para testar o quão bem modelos treinados em imagens naturais conseguem reconhecer esboços, uma tarefa que exige robustez a mudanças de domínio.
O conjunto de dados foi criado por pesquisadores do MIT e do Google, e foi apresentado pela primeira vez no artigo "Learning Robust Representations by Projecting Supervisory Signals", de Haotian Wang, Weichao Qiu e outros. A principal motivação foi fornecer um conjunto de avaliação desafiador que vá além dos conjuntos de teste padrão, que geralmente compartilham a mesma distribuição dos dados de treinamento. Ao usar esboços, que são visualmente distintos de fotos, o ImageNet-Sketch força os modelos a dependerem de características semânticas de alto nível, em vez de pistas de textura ou cor de baixo nível.
Construção e Composição
O ImageNet-Sketch compreende 50.000 imagens, com exatamente 50 esboços por classe em todas as 1.000 categorias do ImageNet. Os esboços são provenientes do conjunto de dados QuickDraw, que contém milhões de rabiscos desenhados por usuários, e são filtrados para corresponder aos rótulos das classes do ImageNet. Cada esboço é um desenho de linha em preto e branco, tipicamente simples e abstrato, capturando a forma essencial de um objeto. O conjunto de dados evita intencionalmente informações de cor e textura, tornando-o um teste puro de reconhecimento baseado em forma.
O processo de construção envolveu a correspondência das categorias do QuickDraw com os synsets do ImageNet e, em seguida, a seleção de um subconjunto de esboços considerados representativos. O conjunto de dados final está disponível publicamente para download e se tornou um padrão de referência na área. Pesquisadores frequentemente o utilizam em conjunto com outros conjuntos de dados, como ImageNet-C ou ImageNet-A, para avaliar a robustez a vários tipos de mudança de distribuição.
Uso na Avaliação de Modelos
O ImageNet-Sketch é usado principalmente para avaliar a generalização entre domínios de modelos de aprendizado profundo, particularmente redes neurais convolucionais e arquiteturas mais recentes baseadas em transformers. Quando um modelo é treinado no ImageNet (imagens naturais) e testado no ImageNet-Sketch, a queda de desempenho indica o quão bem o modelo aprendeu características transferíveis. Modelos que dependem fortemente de pistas de textura ou de fundo tendem a ter desempenho ruim, enquanto aqueles que capturam forma e estrutura têm melhor desempenho.
Por exemplo, modelos ResNet e vision transformers foram avaliados neste benchmark. Estudos mostraram que vision transformers frequentemente superam redes convolucionais no reconhecimento de esboços, possivelmente devido aos seus mecanismos de atenção global. O conjunto de dados também é usado em pesquisas de aumento de dados, onde técnicas como transferência de estilo ou treinamento adversarial são testadas quanto à sua capacidade de melhorar a robustez a mudanças de domínio.
Relação com Outros Benchmarks
O ImageNet-Sketch faz parte de uma família de benchmarks de robustez que inclui ImageNet-C (corrupções), ImageNet-A (exemplos adversariais) e ImageNet-R (representações). Enquanto o ImageNet-C aplica corrupções sintéticas a imagens naturais, o ImageNet-Sketch fornece um estilo visual completamente diferente. Isso o torna um teste complementar para avaliar a generalização de modelos. O conjunto de dados é frequentemente usado em leaderboards e artigos de pesquisa para relatar métricas de robustez juntamente com a precisão no conjunto de validação original do ImageNet.
O conjunto de dados também foi usado para estudar o fenômeno do "viés de textura" em redes neurais, onde os modelos tendem a depender de padrões de textura locais em vez da forma global. Ao apresentar esboços que não possuem textura, o ImageNet-Sketch expõe esse viés e incentiva o desenvolvimento de modelos mais conscientes da forma.
Limitações e Críticas
Uma limitação do ImageNet-Sketch é que os esboços não são distribuídos uniformemente entre todas as classes; algumas classes podem ter mais ou menos de 50 imagens, embora o conjunto de dados seja projetado para ser balanceado. Além disso, os esboços são relativamente simples e podem não capturar toda a complexidade de esboços do mundo real, o que pode limitar a generalização dos resultados. Alguns pesquisadores também notaram que o conjunto de dados é tendencioso para classes fáceis de desenhar, como animais e objetos comuns, enquanto classes mais abstratas podem estar sub-representadas.
Apesar dessas limitações, o ImageNet-Sketch continua sendo um recurso valioso para avaliar o desempenho entre domínios. Ele é amplamente citado na literatura de visão computacional e continua a ser usado em estudos sobre robustez, aprendizado por transferência e interpretabilidade de modelos.