ImageNet-A es un conjunto de datos introducido en 2019 por investigadores, incluidos Dan Hendrycks, Kevin Zhao y colegas, para servir como punto de referencia para evaluar la robustez de los modelos de aprendizaje automático en ejemplos adversariales que ocurren de forma natural. A diferencia de las imágenes adversariales creadas mediante perturbaciones sintéticas, ImageNet-A consiste en fotografías reales que no fueron alteradas intencionalmente pero que son clasificadas incorrectamente por muchos modelos estándar de aprendizaje profundo. En contraste con el ImageNet original, que contiene 1,000 clases de objetos, ImageNet-A incluye imágenes solo de 200 de esas clases, y el conjunto de datos fue curado con un enfoque específico en casos difíciles realistas.
La motivación detrás de ImageNet-A surgió de la observación de que muchos modelos logran puntuaciones casi perfectas en conjuntos de prueba estándar pero fallan drásticamente en imágenes que se asemejan a escenas típicas del mundo cotidiano. Las imágenes en ImageNet-A son fotografías naturales de objetos en contextos variados, incluidos ángulos inusuales, niebla o iluminación novedosa, y son distintas de las imágenes limpias en el conjunto de validación de ImageNet. La idea clave es que estas imágenes no son adversariales en el sentido de contener ruido deliberado e imperceptible, pero exponen una brecha entre el rendimiento del modelo en condiciones de laboratorio y en despliegues del mundo real.
Construcción y Características
La creación de ImageNet-A implicó recopilar imágenes de la web que luego fueron filtradas cuidadosamente para evitar superposiciones con imágenes en los conjuntos de entrenamiento o validación de ImageNet. Los curadores seleccionaron imágenes que eran visualmente reconocibles para evaluadores humanos pero que confundían consistentemente a modelos conocidos como ResNet y arquitecturas de estilo VGG. El conjunto de datos final contiene más de 7,500 imágenes en 200 de las 1,000 clases originales. Para verificar la dificultad, los autores informaron que un modelo ResNet-50 preentrenado estándar logra solo alrededor de un 0.1% de precisión top-1 en ImageNet-A, en marcado contraste con su precisión aproximada del 76% en la validación de ImageNet.
El proceso de curación fue iterativo: las imágenes candidatas iniciales se recopilaron de fuentes públicas, luego se usaron predicciones de modelos para identificar aquellas con alta confianza en una clase incorrecta. Los humanos luego verificaron que cada imagen perteneciera claramente a una clase dada y estuviera correctamente etiquetada. Este enfoque de humano en el circuito aseguró una alta calidad de etiquetas, ya que se eliminaron imágenes ambiguas o que los modelos clasificaban correctamente.
Relación con la Robustez Adversarial
El conjunto de datos se sitúa en la intersección de la robustez del aprendizaje automático y la evaluación de la inteligencia artificial. Demuestra que los cambios de distribución encontrados en datos naturales pueden ser tan desafiantes para los modelos como las pequeñas perturbaciones en ataques adversariales sintéticos. El término "ejemplos adversariales naturales" se usa para enfatizar que estas imágenes no se construyen con métodos de optimización, pero desencadenan fallos similares en redes neuronales entrenadas. Las observaciones de ImageNet-A han influido en investigaciones posteriores sobre robustez, incluido el desarrollo de puntos de referencia como ImageNet-C (para corrupciones) e ImageNet-R (para representaciones).
Uso en Investigación
ImageNet-A se convirtió rápidamente en un punto de control estándar para evaluar la generalización de un modelo y su capacidad para manejar cambios de distribución naturales. Se ha utilizado en la evaluación de varias arquitecturas de modelos, incluidas redes residuales, transformadores y arquitecturas escaladas más nuevas. En la comunidad de aprendizaje profundo, es común informar el rendimiento en ImageNet-A junto con la precisión en el conjunto de validación estándar, como una forma de identificar modelos que no simplemente se sobreajustan a imágenes limpias.
Más allá de la evaluación estándar de modelos, el conjunto de datos sirve como base para estudiar las causas de la clasificación incorrecta. Por ejemplo, se ha utilizado para sondear cómo las propiedades de las técnicas de aumento de datos afectan el rendimiento fuera de la distribución, y para entrenar modelos con estrategias de aprendizaje curricular para mitigar tales fallos. Además, los estudios muestran que los modelos entrenados en conjuntos de datos más grandes o con métodos más autosupervisados pueden mostrar una mejor robustez en ImageNet-A, pero aún no cierran completamente la brecha debido a la diversidad de la variabilidad natural.
Limitaciones y Críticas
Existen varios problemas prácticos con ImageNet-A. El conjunto de datos se limita a 200 clases, y solo incluye las clases que fueron clasificadas incorrectamente por modelos anteriores, lo que potencialmente crea un sesgo que apenas mantiene clasificadores entrenados con otros enfoques de generación. Además, el proceso de curación, que utilizó predicciones de modelos, podría introducir un sesgo de selección que enfatiza los puntos ciegos particulares de los modelos de la era 2019. A partir de principios de la década de 2020, modelos a gran escala más robustos han mejorado las puntuaciones en ImageNet-A, pero el desafío permanece en la flexibilidad requerida para resolver completamente el cambio de distribución. Las críticas también señalan que el conjunto de datos es pequeño en relación con otros puntos de referencia de robustez, lo que limita el poder estadístico de las mediciones de rendimiento.
Legado e Impacto
La introducción de ImageNet-A ha contribuido a una mayor conciencia en la comunidad sobre la necesidad de evaluar modelos más allá de las precisiones de prueba estándar. Se ha incorporado en varias tablas de clasificación y se menciona brevemente en muchas encuestas más amplias sobre robustez de modelos. En particular, el enfoque de recopilar ejemplos naturales que los humanos etiquetan con plena confianza pero en los que los modelos fallan se ha convertido en un modelo para otros conjuntos de datos, como ObjectNet (que controla rotaciones globales) y que se centran en el mundo tal como se encuentra en la práctica. El conjunto de datos sigue siendo una herramienta común para validar nuevos métodos de aprendizaje automático que afirman una mejor robustez, y continúa utilizándose como una prueba preliminar para aproximaciones posteriores de generalización fuera de la distribución.
Una conclusión central es que ImageNet-A subraya la divergencia observada entre la precisión de los modelos en entornos de referencia y su comportamiento confiable en el mundo real. Guía un diálogo académico significativo sobre cómo programar modelos de manera más responsable al pasar de la investigación al uso industrial, lo que resuena con los objetivos de investigación de laboratorios como BAIR (Berkeley AI Research) y Stanford AI Lab que estudian la vulnerabilidad adversarial.