L'apprentissage par transfert est la pratique consistant à réutiliser un modèle, ou les représentations qu'il a apprises, d'une tâche comme point de départ pour une autre tâche différente mais connexe, plutôt que d'entraîner un nouveau modèle à partir de poids initialisés aléatoirement. Il repose sur l'observation que de nombreuses tâches au sein d'un domaine, comme la reconnaissance des bords et des formes dans les images ou la compréhension de la grammaire et des relations entre les mots dans le texte, partagent une structure sous-jacente, de sorte qu'un modèle ayant déjà appris cette structure nécessite relativement peu de données supplémentaires pour se spécialiser davantage.
Historique et motivation
L'apprentissage par transfert trouve ses racines dans les sciences cognitives et les premières recherches en apprentissage automatique des années 1990 explorant « apprendre à apprendre », mais il est devenu un paradigme pratique dominant après le moment ImageNet de 2012, lorsque AlexNet a démontré qu'un réseau de neurones convolutif entraîné sur un million d'images étiquetées apprenait des caractéristiques visuelles, des bords, des textures et des parties d'objets, qui se transféraient remarquablement bien à des problèmes de classification d'images entièrement différents avec seulement une petite quantité de données spécifiques à la tâche et un réentraînement. Cela a fait de l'apprentissage par transfert la stratégie par défaut en vision par ordinateur pendant des années : plutôt que d'entraîner à partir de zéro, les praticiens prenaient un réseau pré-entraîné sur ImageNet et l'adaptaient.
En traitement du langage naturel, un changement analogue est arrivé plus tard, catalysé par des travaux tels que l'approche ULMFiT de Jeremy Howard et Sebastian Ruder, puis de manière décisive par BERT en 2018, qui a montré qu'un seul modèle pré-entraîné sur un objectif générique de modélisation du langage pouvait être affiné pour atteindre des performances de pointe sur une large gamme de tâches de TAL. Cela a établi la recette standard « pré-entraînement puis transfert » qui continue de sous-tendre les grands modèles de langage modernes.
Relation avec le pré-entraînement et l'ajustement fin
L'apprentissage par transfert est le principe général ; le pré-entraînement et le ajustement fin sont le mécanisme spécifique par lequel il est généralement mis en œuvre dans l'apprentissage profond aujourd'hui. Un modèle est pré-entraîné sur un grand ensemble de données général, souvent en utilisant l'apprentissage auto-supervisé afin qu'aucune étiquette manuelle ne soit requise, et ce modèle pré-entraîné est ensuite affiné sur un ensemble de données étiqueté plus petit pour la tâche cible. Le succès de l'apprentissage par transfert dépend de la proximité entre les tâches ou domaines source et cible : transférer d'images naturelles à des radiographies médicales fonctionne moins bien que transférer entre deux tâches d'images naturelles, car la structure statistique de bas niveau des données diffère davantage.
Techniques
Plusieurs stratégies existent quant à la quantité d'un modèle pré-entraîné à adapter. L'extraction de caractéristiques gèle entièrement le réseau pré-entraîné et n'entraîne qu'une nouvelle couche finale au-dessus de ses sorties, utile lorsque l'ensemble de données cible est très petit. L'ajustement fin complet met à jour tous les paramètres et atteint généralement les meilleures performances lorsqu'assez de données du domaine cible sont disponibles. Les méthodes économes en paramètres telles que LoRA se situent entre ces extrêmes, adaptant un petit nombre de paramètres supplémentaires tout en laissant la plupart des poids pré-entraînés intacts, ce qui est devenu particulièrement important à mesure que les modèles de base ont grandi pour atteindre des centaines de milliards de paramètres.
Importance
L'apprentissage par transfert est une raison majeure pour laquelle l'apprentissage profond est devenu pratique en dehors d'une poignée de laboratoires bien dotés en ressources : une équipe de recherche ou une entreprise sans le budget pour entraîner un grand modèle à partir de zéro peut toujours construire un système spécialisé et performant en adaptant un modèle pré-entraîné existant. Il sous-tend également le changement plus large vers les modèles de fondation, où un seul grand modèle pré-entraîné sert de substrat partagé pour de nombreuses applications en aval plutôt que chaque application nécessitant son propre modèle entraîné à partir de zéro. La limitation centrale de la technique, parfois appelée transfert négatif, est que l'adaptation d'un modèle à un domaine trop dissemblable de ses données de pré-entraînement peut donner de moins bons résultats que l'entraînement à partir de zéro, ce qui fait du choix d'un modèle de base bien adapté une décision pratique importante.