CIFAR-100-C é um conjunto de dados de referência (benchmark) projetado para avaliar a robustez de modelos de aprendizado de máquina contra corrupções comuns de imagens. Ele consiste em versões corrompidas do conjunto de teste do CIFAR-100, criadas pela aplicação de 15 tipos de distorções em cinco níveis de severidade. O conjunto de dados é amplamente utilizado em pesquisas de robustez para medir o quão bem os modelos generalizam para perturbações inesperadas na entrada, complementando métricas padrão de acurácia.
O conjunto de dados original CIFAR-100 contém 60.000 imagens coloridas de 32x32 em 100 classes, com 50.000 imagens de treinamento e 10.000 imagens de teste. O CIFAR-100-C pega as 10.000 imagens de teste e aplica cada tipo de corrupção em cada nível de severidade, resultando em 75.000 imagens corrompidas (15 corrupções x 5 severidades x 10.000 imagens). As corrupções simulam distorções do mundo real, como ruído, desfoque, efeitos climáticos e artefatos digitais.
Tipos de Corrupção
Os 15 tipos de corrupção são agrupados em quatro categorias: ruído (gaussiano, de disparo, de impulso), desfoque (desfocado, congelado, de vidro, de movimento, de zoom), clima (neve, geada, neblina, brilho) e digital (contraste, elástico, pixelização, JPEG). Cada corrupção é aplicada algoritmicamente, com níveis de severidade variando de 1 (leve) a 5 (severo). Por exemplo, o ruído gaussiano adiciona valores aleatórios de pixel, enquanto o desfoque de movimento simula o movimento da câmera. O conjunto de dados é gerado usando uma base de código padronizada, garantindo reprodutibilidade entre estudos.
Uso na Avaliação de Robustez
O CIFAR-100-C é comumente usado para medir a robustez de redes neurais e outros modelos de aprendizado de máquina. Pesquisadores relatam a taxa média de erro em todas as corrupções e severidades, frequentemente chamada de Erro Médio de Corrupção (mCE). Modelos treinados com técnicas de aumento de dados, como recorte aleatório ou variação de cor, geralmente têm melhor desempenho no CIFAR-100-C do que modelos treinados sem essas técnicas. O benchmark se tornou uma ferramenta padrão na comunidade de robustez, ao lado do CIFAR-10-C e do ImageNet-C.
Relação com Outros Benchmarks
O CIFAR-100-C faz parte de uma família de benchmarks de corrupção introduzida por Hendrycks e Dietterich em 2019, que também inclui o CIFAR-10-C e o ImageNet-C. Esses conjuntos de dados compartilham os mesmos tipos de corrupção e níveis de severidade, permitindo comparações entre conjuntos de dados. O benchmark é frequentemente usado em conjunto com avaliações de robustez adversarial, embora se concentre em corrupções naturais em vez de perturbações maliciosas. Também é usado para estudar os efeitos da normalização em lote e de outras escolhas arquitetônicas na robustez.
Limitações e Extensões
Embora o CIFAR-100-C seja amplamente utilizado, ele tem limitações. As corrupções são sintéticas e podem não capturar totalmente as mudanças de distribuição do mundo real. Alguns pesquisadores propuseram extensões, como o CIFAR-100-P, que inclui corrupções temporalmente correlacionadas para sequências semelhantes a vídeos. Outros usaram o CIFAR-100-C para avaliar a robustez de grandes modelos de linguagem quando aplicados a tarefas de visão, embora tais aplicações sejam menos comuns. O conjunto de dados continua sendo um recurso valioso para avaliar a robustez, especialmente para modelos de pequena escala e experimentos rápidos.