L'apprentissage curriculaire est une technique en Machine learning dans laquelle un modèle est entraîné sur des exemples de difficulté croissante, où la définition de « difficulté » peut être fournie de manière externe ou découverte dans le cadre du processus d'entraînement. Cela vise à atteindre de bonnes performances plus rapidement, ou à converger vers un meilleur optimum local si l'optimum global n'est pas trouvé. Cela repose sur l'idée intuitive, tirée de l'apprentissage humain et animal, selon laquelle commencer par des problèmes plus simples peut aider un apprenant à bâtir une base avant de s'attaquer à des tâches plus complexes
La méthode est devenue un outil important dans le Deep learning moderne et l'Artificial intelligence, avec des applications allant du traitement du langage naturel à la conduite autonome. Bien que tous les problèmes ne bénéficient pas de l'apprentissage curriculaire, il a montré du succès dans divers domaines, souvent comme une forme de régularisation qui aide à éviter de mauvais minima locaux. L'idée centrale reste la même : les données d'entraînement sont présentées dans un ordre de difficulté croissante, plutôt que toutes à la fois ou de manière aléatoire
Définir la difficulté
Un défi central dans l'apprentissage curriculaire est de définir ce qui rend un exemple « facile » ou « difficile ». Cela peut être fait de plusieurs manières, selon le domaine et les ressources disponibles. Une approche courante est d'utiliser l'annotation humaine, où des experts étiquettent les exemples par complexité. Par exemple, dans l'entraînement des Large language model, les phrases plus courtes pourraient être classées comme plus faciles que les plus longues. Alternativement, une heuristique externe peut attribuer des scores de difficulté basés sur des propriétés telles que la fréquence des mots, la résolution d'image, ou le nombre d'objets dans une scène
Une autre approche est d'utiliser la performance d'un modèle séparé pour automatiser la difficulté. Les exemples qu'un modèle pré-entraîné prédit avec précision sont considérés comme plus faciles, tandis que ceux qui sont mal classifiés sont plus difficiles. Cette méthode a un lien étroit avec le boosting, où des apprenants faibles sont combinés avec un accent sur les erreurs. La difficulté peut aussi être mesurée dynamiquement pendant l'entraînement, comme en suivant la perte du modèle lui-même sur des exemples individuels, ce qui mène à des stratégies d'apprentissage auto-rythmé
Les variations dans la définition de la difficulté peuvent affecter significativement les résultats. Par exemple, dans la reconnaissance d'images, un modèle pourrait apprendre des formes plus simples d'abord, comme des carrés et des cercles, avant de passer à des scènes complexes avec des objets qui se chevauchent. Dans le Reinforcement learning, un jeu peut être simplifié en réduisant le nombre d'ennemis ou en supprimant des obstacles, puis en restaurant progressivement l'environnement complet à mesure que l'agent apprend les bases
Stratégies de planification
Une fois la difficulté définie, l'étape suivante est de décider du calendrier pour l'augmenter. Les approches simples utilisent un calendrier fixe, comme présenter des exemples faciles pour la première moitié des itérations d'entraînement puis mélanger tous les exemples pour la seconde moitié. Cela peut être efficace mais peut introduire prématurément des exemples difficiles que le modèle n'est pas encore prêt à traiter
Des méthodes plus adaptatives, souvent appelées apprentissage auto-rythmé, augmentent la difficulté en fonction de la performance actuelle du modèle. Si le modèle atteint une haute précision sur des exemples faciles, l'algorithme introduit automatiquement des exemples plus difficiles ; si la performance chute, il peut revenir à des données plus faciles. Cela fournit un équilibre dynamique entre l'apprentissage et l'oubli. Une autre variation utilise un calendrier probabiliste, où des exemples sont tirés d'une distribution qui devient plus concentrée sur des exemples difficiles au fil du temps
La diversité à chaque étape est aussi importante. Dans un ensemble de données où les exemples faciles sont disproportionnellement similaires les uns aux autres, un curriculum qui ne récompense que la similarité peut faire sur-spécialiser un modèle. Pour éviter cela, certaines stratégies s'assurent explicitement que chaque mini-lot inclue un mélange de difficultés. Cela est particulièrement pertinent dans des domaines comme la Computer vision ou le Natural language processing, où les ensembles de données ont souvent des biais inhérents
Considérations théoriques
L'apprentissage curriculaire est étroitement lié à l'idée de l'apprentissage par transfert : le succès suppose qu'un modèle qui apprend à partir d'exemples faciles peut généraliser à des exemples plus difficiles. Par exemple, après avoir appris à identifier des formes géométriques de base, un modèle peut plus facilement apprendre à identifier un bateau ou une voiture, qui sont construits à partir de formes plus simples. En ce sens, les exemples faciles fournissent une forme d'induction ou d'amorçage, tandis que les exemples difficiles introduisent de nouveaux motifs
La technique est souvent considérée comme une forme de régularisation, car elle réduit le risque de surajustement en introduisant progressivement des données complexes. Les travaux précoces de Yoshua-Bengio et ses collègues en 2009 ont montré que l'apprentissage curriculaire améliore la généralisation, surtout sur des ensembles de test. L'effet n'est pas toujours bénéfique, cependant ; dans certaines tâches, l'apprentissage anti-curriculaire qui présente d'abord les exemples les plus difficiles a surpassé le curriculum traditionnel, particulièrement lorsque l'objectif final est très différent de la version facile
Le principe sous-jacent est que commencer petit permet au modèle d'apprendre des principes généraux qui ne sont pas enchevêtrés avec du bruit ou des détails complexes. Cela reflète l'apprentissage cognitif chez les humains, où les enfants apprennent d'abord des concepts simples comme les nombres et les lettres avant d'apprendre à lire ou à résoudre de l'algèbre. Certains chercheurs ont aussi suggéré que l'apprentissage curriculaire est l'une des rares techniques d'entraînement qui améliore constamment la vitesse de convergence et la précision finale à travers de nombreuses architectures
Applications dans le traitement du langage naturel
Dans le traitement du langage naturel, l'apprentissage curriculaire a été appliqué à des tâches telles que l'étiquetage de parties du discours, la détection d'intention, l'analyse de sentiment, et la traduction automatique. Par exemple, dans la Machine translation, un curriculum pourrait commencer par des phrases courtes et simples et augmenter progressivement la longueur et la complexité linguistique. Dans l'étiquetage de parties du discours, le modèle est souvent entraîné sur des phrases anglaises simples avant de passer à des corpus plus grands avec des constructions grammaticales peu communes
Les grands modèles de langage comme GPT ont aussi bénéficié d'un pré-entraînement avec un curriculum. Certaines approches trient le corpus d'entraînement par longueur de phrase ou par fréquence de mots rares. Cela peut aider le modèle à acquérir la syntaxe et la sémantique de base de manière plus stable. Pour l'analyse de sentiment, un exemple facile pourrait être une critique de film avec un mot positif clair comme « génial », tandis qu'un exemple difficile pourrait être sarcastique avec un langage ambigu. Le curriculum a montré qu'il mène à un entraînement plus rapide et à de meilleures performances sur des benchmarks, surtout lorsqu'il est combiné avec un réglage fin
Même dans la reconnaissance vocale, l'apprentissage curriculaire a été utilisé. La méthode ACCAN, par exemple, entraîne sur des exemples avec le rapport signal-sur-bruit le plus bas d'abord, ce qui est un exemple d'anti-curriculum dans des tâches vocales bruitées. Cela montre que l'ordre optimal peut varier selon le domaine et le type de bruit
Applications dans la vision par ordinateur
Les tâches de reconnaissance d'images bénéficient grandement d'un curriculum. Pour la reconnaissance faciale, un modèle pourrait d'abord apprendre des visages dans une orientation frontale, bien éclairée, puis des angles latéraux, et enfin des visages avec des masques ou des ombres. De même, dans la détection d'objets, un modèle peut commencer avec un objet par image et passer plus tard à des scènes encombrées avec de nombreux objets. Dans les deux cas, un élargissement progressif aide le modèle à apprendre des caractéristiques fondamentales sans submerger la complexité visuelle
Un exemple classique de l'article de 2009 par Bengio et al. impliquait la classification de formes géométriques où les formes ajoutaient progressivement plus de différences, comme comment le modèle apprenait à distinguer entre un carré et un triangle avant de passer à des formes qui se chevauchent. Les expériences initiales avec des ensembles de données d'images, tels que ceux de MIT-CSAIL ou de Stanford-AI-Lab, ont montré qu'un curriculum peut améliorer la convergence et la précision finale. Depuis lors, il est devenu une option standard dans de nombreux outils de vision
Apprentissage par renforcement et au-delà
L'apprentissage curriculaire est souvent combiné avec le Reinforcement learning, où il est utilisé pour entraîner des agents dans des versions simplifiées d'un jeu. Par exemple, un robot pourrait apprendre à saisir des objets dans une pièce vide avant d'apprendre à saisir dans un environnement encombré. Pour le jeu, un agent peut d'abord jouer contre un adversaire plus faible ou avec une limite de temps plus courte, puis augmenter progressivement la difficulté. Cela est une pratique courante dans les échecs informatiques ou d'autres jeux vidéo
La méthode peut aussi être appliquée dans l'apprentissage de graphes, la factorisation matricielle, et même lorsque le nombre de paramètres du modèle est lui-même varié. Certains auteurs incluent, par exemple, augmenter progressivement le nombre de couches dans un Neural network comme partie d'un curriculum, car un modèle plus grand est plus difficile à optimiser. Dans la Machine translation et la réponse à des questions, les grands modèles bénéficient de la même idée
Histoire et impact
Le terme « apprentissage curriculaire » a été introduit par Yoshua Bengio et ses associés en 2009, qui ont établi une analogie avec la technique psychologique de façonnage et avec l'éducation humaine structurée. Ils ont aussi reconnu des travaux antérieurs de Jeffrey Elman, qui en 1993 avait noté l'importance de commencer petit dans un réseau de neurones. Depuis lors, la méthode a été explorée dans de nombreux domaines et a été : une enquête suggère qu'elle apporte des bénéfices tant en efficacité qu'en performance finale si le curriculum est bien conçu
Aujourd'hui, l'apprentissage curriculaire est largement utilisé dans l'apprentissage profond pratique, pas seulement dans la recherche académique. Il a été intégré dans des pipelines de données pour de grands modèles, et de nombreuses bibliothèques open-source soutiennent la planification d'échantillons. Cependant, ce n'est pas une solution universelle ; certaines tâches peuvent ne pas bénéficier ou peuvent même souffrir d'un curriculum mal conçu. Le choix du curriculum et de son calendrier reste un domaine de recherche actif, avec des travaux en cours sur la construction automatique de curriculums à partir du comportement du modèle
Dans l'ère du pré-entraînement à grande échelle, comme avec les grands modèles de langage, la quantité croissante de données rend l'ordre des exemples encore plus important. Avec des téraoctets de données, un bon curriculum peut réduire le coût de l'entraînement et aider un modèle à se concentrer sur des caractéristiques saillantes. En conséquence, il est probable que l'apprentissage curriculaire continuera d'être un ingrédient clé dans les avancées futures en Generative AI et au-delà.