ImageNet-R es un conjunto de datos de referencia diseñado para evaluar la robustez de los modelos de aprendizaje automático frente a cambios en la distribución. Consiste en imágenes que son representaciones artísticas de clases de objetos del conjunto de datos original ImageNet, incluyendo estilos como dibujos animados, pinturas, bocetos y esculturas. A diferencia de los conjuntos de prueba estándar que contienen fotografías naturales, ImageNet-R presenta a los modelos un cambio de dominio visual significativo, desafiando su capacidad de generalizar más allá de la distribución de entrenamiento. El conjunto de datos se introdujo para exponer la fragilidad de las redes neuronales profundas cuando se enfrentan a representaciones atípicas de objetos familiares.
El propósito principal de ImageNet-R es servir como herramienta de evaluación para la robustez frente a cambios de distribución. En aprendizaje automático, los modelos a menudo se entrenan con conjuntos de datos a gran escala como ImageNet, que contienen imágenes naturales. Sin embargo, las aplicaciones del mundo real frecuentemente encuentran imágenes que difieren en estilo, textura o contexto. ImageNet-R proporciona un entorno controlado para medir qué tan bien un modelo conserva su precisión de clasificación cuando cambia el dominio de entrada. Se ha convertido en un punto de referencia estándar en el campo del aprendizaje profundo robusto, complementando otros conjuntos de datos como ImageNet-C (corrupciones) e ImageNet-A (ejemplos adversarios).
Construcción y Composición
ImageNet-R fue creado por Hendrycks et al. en 2020. El conjunto de datos contiene 30,000 imágenes en 200 clases de ImageNet, con aproximadamente 150 imágenes por clase. Las imágenes provienen de varios repositorios en línea y están seleccionadas para representar diversos estilos artísticos. Las 200 clases son un subconjunto de las 1,000 clases originales de ImageNet, elegidas para incluir categorías que tienen contrapartes visuales claras en el arte, como animales, vehículos y objetos cotidianos. Las representaciones incluyen acuarelas, pinturas al óleo, clip art y renderizados 3D, entre otros. Esta diversidad asegura que el conjunto de datos capture una amplia gama de transformaciones visuales, desde representaciones abstractas hasta representaciones más realistas pero estilizadas.
Evaluación y Métricas
Al evaluar modelos en ImageNet-R, la métrica estándar es la precisión de clasificación top-1. El conjunto de datos se utiliza típicamente como conjunto de prueba, con modelos entrenados en ImageNet estándar u otros conjuntos de datos de imágenes naturales. Un hallazgo clave de los experimentos iniciales es que muchos modelos de última generación, incluidos aquellos basados en arquitecturas de red residual, experimentan una caída significativa en la precisión en ImageNet-R en comparación con el conjunto de validación estándar de ImageNet. Por ejemplo, un ResNet-50 entrenado en ImageNet puede alcanzar alrededor del 76% de precisión top-1 en imágenes naturales, pero solo alrededor del 36% en ImageNet-R. Esta brecha de rendimiento resalta el desafío del cambio de distribución. Investigaciones posteriores se han centrado en desarrollar técnicas de entrenamiento, como estrategias de aumento de datos y funciones de pérdida conscientes de la robustez, para mejorar el rendimiento en este punto de referencia.
Relación con Otros Puntos de Referencia de Robustez
ImageNet-R es parte de una familia de puntos de referencia que exploran diferentes aspectos de la robustez de los modelos. Mientras que ImageNet-C introduce corrupciones sintéticas como ruido y desenfoque, ImageNet-R se centra en variaciones de estilo natural. ImageNet-A, por otro lado, contiene ejemplos adversarios naturales que a menudo son clasificados incorrectamente por modelos estándar. Juntos, estos conjuntos de datos proporcionan una evaluación integral de la capacidad de un modelo para manejar datos fuera de la distribución. En el contexto de la seguridad y confiabilidad de la inteligencia artificial, ImageNet-R es particularmente relevante porque las representaciones artísticas son comunes en el contenido generado por usuarios, y un modelo que falla en tales entradas puede ser menos confiable en aplicaciones del mundo real.
Impacto y Limitaciones
ImageNet-R ha impulsado investigaciones significativas en el área de generalización de dominio y aprendizaje de representaciones robustas. Se ha utilizado para evaluar la efectividad de varios enfoques, incluido el aprendizaje contrastivo, el preentrenamiento autosupervisado e innovaciones arquitectónicas como los modelos de visión basados en transformadores. Sin embargo, el conjunto de datos también tiene limitaciones. Las 200 clases son un subconjunto de ImageNet, por lo que no cubre todo el espacio de etiquetas. Además, los estilos artísticos no son exhaustivos, y los modelos que funcionan bien en ImageNet-R pueden fallar en otros tipos de cambios de distribución. A partir de 2024, ImageNet-R sigue siendo un punto de referencia ampliamente citado, pero los investigadores están desarrollando cada vez más conjuntos de datos más diversos y desafiantes para ampliar los límites de la robustez.
Véase También
Referencias
- Hendrycks, D., et al. (2020). The Many Faces of Robustness: A Critical Analysis of Out-of-Distribution Generalization. arXiv preprint.
- Hendrycks, D., & Dietterich, T. (2019). Benchmarking Neural Network Robustness to Common Corruptions and Perturbations. ICLR.
Enlaces Externos
- Repositorio oficial de ImageNet-R (no enlazado debido a la política)
Categorías
- robustez
- punto de referencia
- conjunto de datos
- visión por computadora