STL-10 es un conjunto de datos de referencia (benchmark) de imágenes creado para apoyar la investigación en aprendizaje no supervisado y auto-supervisado. Es notable por su inclusión de un gran conjunto de imágenes no etiquetadas (100 000) junto a un conjunto comparativamente pequeño de ejemplos etiquetados (13 000 en total). Este diseño anima a los algoritmos a aprovechar los datos no etiquetados para aprender características visuales útiles antes de ajustar (fine-tuning) el subconjunto etiquetado, reflejando escenarios prácticos donde los datos etiquetados son escasos pero los no etiquetados abundan.
El conjunto de datos consta de 10 clases: avión, pájaro, gato, ciervo, perro, caballo, mono, barco, camión y coche. Cada clase etiquetada contiene 1300 muestras, divididas en 500 para entrenamiento, 500 para prueba y 300 para validación (una división que no es comúnmente utilizada por todos los investigadores, quienes a menudo combinan entrenamiento y validación). Cada imagen es de 96x96 píxeles en color RGB. La porción no etiquetada, extraída de un conjunto mucho más amplio de categorías de animales y vehículos (incluyendo algunas no presentes en el conjunto etiquetado), proporciona un mayor desafío para el aprendizaje no supervisado, y todas las imágenes provienen de distribuciones similares a las de ImageNet.
Historia y orígenes
STL-10 fue introducido en 2011 por Adam Coates, Honglak Lee y Andrew Y. Ng de la Universidad de Stanford (específicamente del Stanford AI Lab) como parte de su investigación sobre aprendizaje profundo y extracción de características. El artículo "An Analysis of Single-Layer Networks in Unsupervised Feature Learning" presentó formalmente el conjunto de datos. El objetivo era proporcionar un punto de referencia compacto pero realista para evaluar algoritmos de aprendizaje de características no supervisado sin requerir recursos computacionales masivos, ya que al ser de 96x96 píxeles es lo suficientemente pequeño para experimentos rápidos pero con mayor resolución que las imágenes de 32x32 de CIFAR-10.
El diseño del conjunto de datos apoya directamente la investigación en aprendizaje automático y aprendizaje profundo, particularmente para redes neuronales que aprenden representaciones a partir de datos no etiquetados. Su creación siguió el trabajo anterior del mismo grupo, incluyendo los conjuntos de datos CIFAR-10 y CIFAR-100, pero STL-10 enfatiza específicamente el uso de alternativas no etiquetadas para reducir la necesidad de costoso etiquetado humano.
Relación con la investigación en aprendizaje profundo
STL-10 se ha convertido en un punto de referencia estándar en el estudio de inteligencia artificial, particularmente para evaluar métodos de pre-entrenamiento como autoencoders, máquinas de Boltzmann restringidas y, más tarde, enfoques de aprendizaje contrastivo. A finales de la década de 2010 y principios de la de 2020, con la creciente popularidad del aprendizaje auto-supervisado, STL-10 siguió siendo una tarea de evaluación frecuentemente utilizada. Sus 100 000 imágenes no etiquetadas sirven como un proxy ideal para conjuntos de datos no etiquetados a mayor escala como ImageNet, pero con un tamaño espacial manejable y un número de categorías tratable.
Debido a que los datos etiquetados son tan limitados (500 por clase para entrenamiento), el conjunto de datos obliga a los algoritmos a hacer un uso efectivo del grupo no etiquetado, convirtiéndolo en una prueba rigurosa del aprendizaje de características. Los modelos que logran alta precisión en STL-10 típicamente demuestran una generalización robusta, razón por la cual sigue siendo un objetivo válido para comparaciones académicas. El conjunto de datos se utiliza a menudo junto con avances arquitectónicos de grupos como OpenAI o Google DeepMind para probar nuevos métodos en un entorno de bajo costo.
Composición y acceso a los datos
STL-10 se distribuye como un conjunto de archivos binarios junto con una lista de etiquetas en ASCII (0-9). Desde su publicación, ha sido integrado en varias bibliotecas, por ejemplo, los conjuntos de datos de TensorFlow y PyTorch para uso directo. El conjunto no etiquetado contiene muchas más clases que las 10 etiquetadas, aunque la documentación oficial no proporciona los nombres exactos de las categorías. Las imágenes correspondientes son muestras de un conjunto más grande de ImageNet, representando una distribución más amplia de animales y escenas.
Una de las ventajas prácticas es que no se requiere descarga ni licencia; el alojamiento original por parte de Stanford (con espejos en otras universidades) ofrece acceso gratuito para investigación. A partir de la década de 2020, sigue siendo un tema común de comparación en artículos académicos, aunque menos popular que CIFAR-10 debido a su mayor tamaño de archivo (aproximadamente 1.5 GB frente a unos 170 MB).
Uso en aprendizaje auto-supervisado
En la era de las arquitecturas transformers para visión (por ejemplo, ViT), STL-10 sigue siendo relevante como un entorno de evaluación para el pre-entrenamiento auto-supervisado. Métodos como SimCLR, BYOL y DINO han sido probados en STL-10, comparando su rendimiento con líneas base supervisadas en el pequeño conjunto etiquetado. El conjunto de datos proporciona exactamente el escenario donde el pre-entrenamiento no supervisado puede generar ganancias significativas: 100 000 imágenes no etiquetadas frente a 5000 de entrenamiento (aunque con imágenes de mayor resolución).
Además, STL-10 se utiliza a menudo para evaluar nuevas técnicas no solo en clasificación, sino también en la calidad de las representaciones aprendidas, como la regresión lineal (linear probing) o la clasificación por vecinos cercanos (KNN) sobre las características aprendidas. El grupo no etiquetado, mucho más grande, muestra sensibilidad al número de ejemplos no etiquetados y permite probar la escalabilidad de los algoritmos a conjuntos de datos mayores. Mientras que puntos de referencia más modernos como ImageNet (1.28 millones de imágenes) lo han superado como objetivo principal, STL-10 aún conserva valor por su eficiencia computacional.
Limitaciones y legado
Como ocurre con los conjuntos de datos de principios de la década de 2010, STL-10 tiene algunos inconvenientes. Su resolución de 96 píxeles es relativamente moderada, no tan alta como la de ImageNet, y su diversidad de imágenes es limitada. Las clases etiquetadas son solo 10, lo que obliga a los algoritmos a realizar tareas de reconocimiento de grano grueso dentro de esas categorías. El contenido del conjunto no etiquetado no es completamente disjunto del conjunto etiquetado, aunque se sabe por el diseño del experimento que puede contener imágenes de las mismas clases (animales) que no están etiquetadas.
No obstante, su publicación contribuyó al desarrollo de métodos modernos. Su combinación de un conjunto etiquetado pequeño pero sólido y un gran grupo no etiquetado prefiguró el interés posterior en el aprendizaje débilmente supervisado. Muchos avances prominentes en inteligencia artificial en laboratorios como Berkeley AI Research y el MIT en ciencias de la computación han utilizado STL-10 en artículos sobre extracción de características no supervisada, lo que indica su influencia duradera en los puntos de referencia de visión por computadora. STL-10 también se utiliza con frecuencia en conferencias académicas como un ejemplo estándar de tarea de evaluación. A partir de 2023, sigue siendo un ejemplo de referencia en cursos de aprendizaje profundo y una referencia estable en numerosa documentación de bibliotecas.
Véase también
- CIFAR-10 - Un conjunto de datos de menor resolución (32x32) con categorías de clases similares
- ImageNet - Un conjunto de datos mucho más grande estrechamente relacionado con el origen de las imágenes no etiquetadas de STL-10
- Aprendizaje no supervisado - El paradigma general de aprendizaje sin etiquetas, que es el propósito principal de STL-10