L'apprentissage one-shot est un sous-domaine du Machine learning qui vise à entraîner des modèles à effectuer des tâches, généralement de classification ou de reconnaissance, en utilisant un seul exemple par classe. Il représente le cas extrême de l'apprentissage few-shot, un cadre plus large où les modèles doivent généraliser à partir d'un nombre limité d'exemples étiquetés. Contrairement aux approches conventionnelles qui nécessitent de grands ensembles de données, l'apprentissage one-shot cherche à imiter la capacité humaine à apprendre de nouveaux concepts avec une exposition minimale, ce qui en fait un défi clé dans la recherche en intelligence artificielle.
Le concept a gagné en importance dans les années 2000 et 2010, porté par les avancées dans les architectures de Deep learning et de Neural network. Des chercheurs comme Fei-Fei Li et russ-salakhutdinov ont contribué à des travaux fondateurs sur les modèles bayésiens et probabilistes pour l'apprentissage one-shot, tandis que des développements ultérieurs ont exploité l'IA générative et les modèles Transformer (architecture) pour améliorer la généralisation. L'apprentissage one-shot est particulièrement pertinent dans les domaines où les données sont rares, comme l'imagerie médicale, l'identification d'espèces rares et les interfaces utilisateur personnalisées.
Formulation du problème
Dans une configuration typique d'apprentissage one-shot, un modèle est entraîné sur un ensemble de données de base contenant de nombreuses classes, puis évalué sur un ensemble de classes nouvelles, chacune représentée par un seul exemple étiqueté. L'objectif est de classer correctement de nouvelles instances issues de ces classes inédites. Ce problème est souvent formalisé comme une tâche N-way, K-shot, où N représente le nombre de classes et K le nombre d'exemples par classe ; l'apprentissage one-shot correspond au cas où K=1. Les métriques d'évaluation incluent la précision sur les classes nouvelles et la capacité à généraliser à travers différentes distributions de tâches.
Approches et techniques
Plusieurs familles méthodologiques abordent l'apprentissage one-shot. Les méthodes basées sur les métriques apprennent un espace d'embedding où les exemples d'une même classe sont plus proches que ceux de classes différentes ; parmi les algorithmes populaires figurent les réseaux siamois et les réseaux prototypiques. Les méthodes basées sur les modèles utilisent une mémoire externe ou une adaptation rapide des paramètres, comme les réseaux à mémoire augmentée et les approches de méta-apprentissage telles que le Model-Agnostic Meta-Learning (MAML). Les méthodes génératives synthétisent des données d'entraînement supplémentaires ou apprennent à comparer directement les exemples, souvent à l'aide de mécanismes d'attention dans les Neural network. Des travaux récents ont exploré l'utilisation des Large language model et des architectures Transformer (architecture) pour réaliser l'apprentissage one-shot dans des contextes de langage naturel et multimodaux, où un seul prompt ou exemple guide la réponse du modèle.
Applications
L'apprentissage one-shot a des applications pratiques dans divers domaines. En Computer vision, il permet la reconnaissance d'objets avec un minimum d'images étiquetées, utile pour la surveillance, la robotique et la réalité augmentée. En imagerie médicale, il aide à diagnostiquer des maladies rares lorsque les examens annotés sont rares. En traitement du langage naturel, l'apprentissage one-shot alimente le prompt engineering dans les Large language model, permettant aux modèles d'effectuer de nouvelles tâches à partir d'une seule instruction ou d'un seul exemple. De plus, il soutient la personnalisation dans les appareils grand public, comme les produits Apple et Samsung Electronics, où la reconnaissance spécifique à l'utilisateur (par exemple, le visage ou la voix) doit fonctionner avec des données d'enrôlement limitées.
Défis et limites
Malgré les progrès, l'apprentissage one-shot reste difficile. Les modèles ont souvent du mal à gérer une forte variabilité intra-classe et une faible distinctivité inter-classe, ce qui entraîne un surajustement ou une mauvaise généralisation. Le manque de données suffisantes rend difficile l'apprentissage de représentations robustes, et de nombreuses approches nécessitent un réglage minutieux des hyperparamètres ou de grands corpus de pré-entraînement. De plus, les protocoles d'évaluation varient, ce qui complique les comparaisons entre études. Des considérations éthiques se posent lorsque l'apprentissage one-shot est appliqué à des domaines sensibles, comme la surveillance ou l'identification biométrique, où les erreurs peuvent avoir des conséquences significatives.
Orientations futures
La recherche en cours se concentre sur l'amélioration de l'efficacité des échantillons, de la robustesse et de l'interprétabilité. L'intégration avec l'IA générative et les modèles Transformer (architecture) devrait renforcer les capacités one-shot, en particulier dans les tâches multimodales. La collaboration entre des institutions académiques comme le MIT CSAIL, le Stanford AI Lab et le BAIR (Berkeley AI Research) et des laboratoires industriels tels que OpenAI, Google DeepMind et Anthropic continue de stimuler l'innovation. À mesure que les systèmes d'intelligence artificielle deviennent plus omniprésents, l'apprentissage one-shot jouera un rôle crucial pour permettre une intelligence adaptative, personnalisée et économe en données.