STL-10 est un ensemble de données d'images de référence créé pour soutenir la recherche en apprentissage non supervisé et auto-supervisé. Il est remarquable pour son inclusion d'un grand ensemble d'images non étiquetées (100 000) aux côtés d'un ensemble comparativement restreint d'exemples étiquetés (13 000 au total). Cette conception encourage les algorithmes à exploiter les données non étiquetées pour apprendre des caractéristiques visuelles utiles avant un ajustement fin sur le sous-ensemble étiqueté, reflétant des scénarios pratiques où les données étiquetées sont rares mais les données non étiquetées abondantes.
L'ensemble de données comprend 10 classes : avion, oiseau, voiture, chat, cerf, chien, cheval, singe, navire et camion. Chaque classe étiquetée contient 1 300 échantillons, répartis en 500 pour l'entraînement, 500 pour le test et 300 pour la validation (une répartition qui n'est pas couramment utilisée par tous les chercheurs, qui combinent souvent entraînement et validation). Chaque image est de 96x96 pixels en couleur RVB. La partie non étiquetée, tirée d'un ensemble beaucoup plus large de catégories d'animaux et de véhicules (y compris certaines non présentes dans l'ensemble étiqueté), offre un défi plus grand pour l'apprentissage non supervisé, et toutes les images proviennent de distributions similaires à ImageNet.
Histoire et origines
STL-10 a été introduit en 2011 par Adam Coates, Honglak Lee et Andrew Y. Ng de l'Université de Stanford (plus précisément le laboratoire d'IA de Stanford) dans le cadre de leurs recherches sur l'apprentissage profond et l'extraction de caractéristiques. L'article « An Analysis of Single-Layer Networks in Unsupervised Feature Learning » a présenté formellement l'ensemble de données. L'objectif était de fournir un benchmark compact mais réaliste pour évaluer les algorithmes d'apprentissage de caractéristiques non supervisées sans exiger des ressources de calcul massives, car à 96x96 pixels, il est suffisamment petit pour une expérimentation rapide mais avec une résolution plus élevée que les images 32x32 de CIFAR-10.
La conception de l'ensemble de données soutient directement la recherche en Machine learning et Deep learning, en particulier pour les architectures de Neural network qui apprennent des représentations à partir de données non étiquetées. Sa création a suivi des travaux antérieurs de la même équipe, notamment sur les ensembles de données CIFAR-10 et CIFAR-100, mais STL-10 met spécifiquement l'accent sur l'utilisation d'alternatives non étiquetées pour réduire le besoin d'étiquetage humain coûteux.
Relation avec la recherche en Apprentissage profond
STL-10 est devenu une référence standard dans l'étude de l'Artificial intelligence, en particulier pour évaluer les méthodes de pré-entraînement telles que les autoencodeurs, les machines de Boltzmann restreintes et, plus tard, les approches d'apprentissage contrastif. À la fin des années 2010 et au début des années 2020, alors que le apprentissage auto-supervisé gagnait en popularité, STL-10 est resté une tâche d'évaluation fréquemment utilisée. Ses 100 000 images non étiquetées servent de proxy idéal pour des ensembles de données non étiquetés à plus grande échelle comme ImageNet, mais avec une taille spatiale gérable et un nombre de catégories raisonnable.
Étant donné que les données étiquetées sont très limitées (500 par classe pour l'entraînement), l'ensemble de données force les algorithmes à utiliser efficacement le pool non étiqueté, ce qui en fait un test strict de l'apprentissage de caractéristiques. Les modèles qui atteignent une haute précision sur STL-10 démontrent typiquement une généralisation robuste, c'est pourquoi il reste une cible valide pour les comparaisons académiques. L'ensemble de données est souvent utilisé en conjonction avec les avancées architecturales de groupes tels que OpenAI ou Google DeepMind pour tester de nouvelles méthodes dans un cadre à faible coût.
Composition et accès aux données
STL-10 est distribué sous forme d'un ensemble de fichiers binaires avec une liste ASCII d'étiquettes (0-9). Depuis sa publication, il a été préparé sous de nombreuses formes, notamment son intégration dans plusieurs bibliothèques, par exemple, les ensembles de données TensorFlow et PyTorch pour une utilisation directe. L'ensemble non étiqueté contient beaucoup plus de classes que les 10 étiquetées, bien que la documentation officielle ne fournisse pas les noms exacts des catégories. Les images correspondantes proviennent d'un ensemble plus large d'ImageNet, représentant une distribution plus étendue sur les animaux et les scènes, comme il est noté.
L'un des avantages pratiques est l'absence de besoin de licence ou de téléchargement payant. L'hébergement original par Stanford (avec un miroir dans d'autres universités) offre un accès gratuit pour la recherche. Dans les années 2020, il reste un sujet courant de comparaison dans les articles académiques, bien que moins populaire que CIFAR-10 en raison de sa taille de fichier plus grande (environ 1,5 Go non équilibré contre environ 170 Mo).
Utilisation en apprentissage auto-supervisé
À l'ère des architectures Transformer (architecture) pour la vision (par exemple, ViT), STL-10 reste pertinent comme suite d'évaluation pour l'apprentissage auto-supervisé. Des méthodes comme SimCLR, BYOL et DINO ont rapporté des tests sur STL-10, comparant leurs performances aux références supervisées sur le petit ensemble étiqueté. L'ensemble de données fournit précisément un scénario où le pré-entraînement non supervisé peut apporter des gains significatifs : 100 000 images non étiquetées contre 5 000 étiquetées (mais avec une résolution plus élevée).
De plus, STL-10 est souvent utilisé pour évaluer de nouvelles techniques non seulement pour la classification, mais aussi pour l'apprentissage de représentations, comme la sonde linéaire ou la classification KNN sur les caractéristiques apprises. Le grand nombre d'exemples non étiquetés (par rapport à CIFAR-10) montre la sensibilité au nombre de données non étiquetées et permet de tester la scalabilité des algorithmes à des ensembles plus grands. Bien que des ensembles comme ImageNet (1,28 M) aient dépassé son ampleur, STL-10 conserve sa valeur pour son efficacité computationnelle.
Limites et héritage
Comme pour les ensembles de données du début des années 2010, STL-10 présente quelques inconvénients. Sa résolution de 96 pixels est relativement modérée, pas aussi variée que celle d'ImageNet, et sa diversité d'images est limitée. Les classes étiquetées se limitent à 10, ce qui force les algorithmes à effectuer des tâches de reconnaissance fine au sein de ces catégories. Le contenu non étiqueté n'est pas entièrement disjoint de l'ensemble étiqueté, mais, d'après la conception de l'expérience, il est connu qu'il peut inclure des images des mêmes classes (animaux) non étiquetées.
Néanmoins, sa publication a contribué au développement de méthodes modernes. Sa combinaison d'un petit ensemble étiqueté mais robuste et d'un grand pool non étiqueté préfigure l'intérêt ultérieur pour l'apprentissage faiblement supervisé. De nombreuses avancées notables en Artificial intelligence dans des laboratoires tels que Berkeley AI Research ont utilisé cet ensemble dans des articles sur l'extraction de caractéristiques non supervisée, indiquant son influence durable sur les benchmarks de vision. STL-10 est également fréquemment utilisé lors de conférences académiques pour démontrer des progrès précis sur une tâche standard. En 2023, il reste un exemple de cours courant dans les formations en Deep learning et une référence stable dans de nombreuses documentations de bibliothèques.
Limites et héritage
Comme pour les ensembles de données du début des années 2010, STL-10 présente quelques limites. Sa résolution de 96x96 pixels est relativement modérée, pas aussi variée que celle d'ImageNet, et la diversité de ses images est limitée. Malgré cela, sa conception et son accessibilité ont permis une adoption large. L'ensemble de données continue de jouer un rôle dans le développement et l'évaluation de nouvelles architectures, servant de pont entre des benchmarks plus petits comme CIFAR-10 et des ensembles à plus grande échelle. Son influence durable témoigne de son utilité dans la recherche sur l'apprentissage non supervisé et la vision par ordinateur.