ImageNet-R é um conjunto de dados de referência (benchmark) projetado para testar a robustez de modelos de aprendizado de máquina contra mudanças de distribuição. Ele consiste em imagens que são representações artísticas de classes de objetos do conjunto de dados ImageNet original, incluindo estilos como desenhos animados, pinturas, esboços e esculturas. Diferentemente dos conjuntos de teste padrão, que contêm fotografias naturais, o ImageNet-R apresenta aos modelos uma mudança significativa de domínio visual, desafiando sua capacidade de generalizar além da distribuição de treinamento. O conjunto de dados foi introduzido para expor a fragilidade de redes neurais profundas quando confrontadas com representações atípicas de objetos familiares.
O objetivo principal do ImageNet-R é servir como uma ferramenta de avaliação para a robustez a mudanças de distribuição. Em aprendizado de máquina, os modelos são frequentemente treinados em conjuntos de dados de grande escala, como o ImageNet, que contêm imagens naturais. No entanto, aplicações do mundo real frequentemente encontram imagens que diferem em estilo, textura ou contexto. O ImageNet-R fornece um ambiente controlado para medir o quão bem um modelo mantém sua precisão de classificação quando o domínio de entrada muda. Ele se tornou um padrão de referência no campo do aprendizado profundo robusto, complementando outros conjuntos de dados como o ImageNet-C (corrupções) e o ImageNet-A (exemplos adversariais).
Construção e Composição
O ImageNet-R foi criado por Hendrycks et al. em 2020. O conjunto de dados contém 30.000 imagens distribuídas em 200 classes do ImageNet, com cada classe tendo aproximadamente 150 imagens. As imagens são provenientes de vários repositórios online e são selecionadas para representar diversos estilos artísticos. As 200 classes são um subconjunto das 1.000 classes originais do ImageNet, escolhidas para incluir categorias que possuem contrapartes visuais claras na arte, como animais, veículos e objetos do cotidiano. As representações incluem pinturas em aquarela, pinturas a óleo, clip-art e renderizações 3D, entre outras. Essa diversidade garante que o conjunto de dados capture uma ampla gama de transformações visuais, desde representações abstratas até representações mais realistas, porém estilizadas.
Avaliação e Métricas
Ao avaliar modelos no ImageNet-R, a métrica padrão é a precisão de classificação top-1. O conjunto de dados é tipicamente usado como um conjunto de teste, com modelos treinados no ImageNet padrão ou em outros conjuntos de dados de imagens naturais. Uma descoberta importante dos experimentos iniciais é que muitos modelos de última geração, incluindo aqueles baseados em arquiteturas de rede residual, sofrem uma queda significativa na precisão no ImageNet-R em comparação com o conjunto de validação padrão do ImageNet. Por exemplo, um ResNet-50 treinado no ImageNet pode alcançar cerca de 76% de precisão top-1 em imagens naturais, mas apenas cerca de 36% no ImageNet-R. Essa lacuna de desempenho destaca o desafio da mudança de distribuição. Pesquisas subsequentes têm se concentrado no desenvolvimento de técnicas de treinamento, como estratégias de aumento de dados e funções de perda cientes de robustez, para melhorar o desempenho neste benchmark.
Relação com Outros Benchmarks de Robustez
O ImageNet-R faz parte de uma família de benchmarks que investigam diferentes aspectos da robustez de modelos. Enquanto o ImageNet-C introduz corrupções sintéticas como ruído e desfoque, o ImageNet-R foca em variações naturais de estilo. O ImageNet-A, por outro lado, contém exemplos adversariais que ocorrem naturalmente e que são frequentemente classificados incorretamente por modelos padrão. Juntos, esses conjuntos de dados fornecem uma avaliação abrangente da capacidade de um modelo de lidar com dados fora da distribuição. No contexto da segurança e confiabilidade da inteligência artificial, o ImageNet-R é particularmente relevante porque representações artísticas são comuns em conteúdo gerado por usuários, e um modelo que falha em tais entradas pode ser menos confiável em aplicações do mundo real.
Impacto e Limitações
O ImageNet-R estimulou pesquisas significativas na área de generalização de domínio e aprendizado de representação robusto. Ele tem sido usado para avaliar a eficácia de várias abordagens, incluindo aprendizado contrastivo, pré-treinamento autossupervisionado e inovações arquitetônicas como modelos de visão baseados em transformadores. No entanto, o conjunto de dados também tem limitações. As 200 classes são um subconjunto do ImageNet, portanto, não cobrem todo o espaço de rótulos. Além disso, os estilos artísticos não são exaustivos, e modelos que apresentam bom desempenho no ImageNet-R podem ainda falhar em outros tipos de mudanças de distribuição. Em 2024, o ImageNet-R continua sendo um benchmark amplamente citado, mas os pesquisadores estão cada vez mais desenvolvendo conjuntos de dados mais diversos e desafiadores para ampliar os limites da robustez.
Ver Também
Referências
- Hendrycks, D., et al. (2020). The Many Faces of Robustness: A Critical Analysis of Out-of-Distribution Generalization. arXiv preprint.
- Hendrycks, D., & Dietterich, T. (2019). Benchmarking Neural Network Robustness to Common Corruptions and Perturbations. ICLR.
Links Externos
- Repositório oficial do ImageNet-R (não vinculado devido a políticas)
Categorias
- robustez
- benchmark
- conjunto de dados
- visão computacional