Le transfert d'apprentissage (TL) est une technique en apprentissage automatique dans laquelle les connaissances acquises lors d'une tâche sont réutilisées afin d'améliorer les performances sur une tâche connexe. Par exemple, pour la classification d'images, les connaissances acquises lors de l'apprentissage de la reconnaissance de voitures pourraient être appliquées pour tenter de reconnaître des camions. Ce sujet est lié à la littérature psychologique sur le transfert d'apprentissage, bien que les liens pratiques entre les deux domaines soient limités. Réutiliser ou transférer des informations de tâches précédemment apprises vers de nouvelles tâches a le potentiel d'améliorer considérablement l'efficacité de l'apprentissage. Étant donné que le transfert d'apprentissage utilise un entraînement avec plusieurs fonctions objectives, il est lié à l'apprentissage automatique sensible aux coûts et à l'optimisation multi-objectifs.
Dans la pratique moderne, la forme dominante de transfert d'apprentissage consiste à pré-entraîner un grand réseau de neurones sur une tâche source large et riche en données, puis à l'affiner sur une tâche cible plus restreinte avec des données limitées. Cette approche sous-tend de nombreux succès en apprentissage profond, en particulier en traitement du langage naturel (comme on le voit avec les grands modèles de langage) et en vision par ordinateur. Le terme « détails du transfert d'apprentissage » fait souvent référence aux considérations pratiques et théoriques impliquées dans ce processus d'affinage.
Histoire
En 1976, Bozinovski et Fulgosi ont publié un article traitant du transfert d'apprentissage dans l'entraînement des réseaux de neurones. L'article présentait un modèle mathématique et géométrique du sujet. En 1981, un rapport a examiné l'application du transfert d'apprentissage à un ensemble de données d'images représentant des lettres de terminaux informatiques, démontrant expérimentalement le transfert d'apprentissage positif et négatif. Le transfert négatif se produit lorsque les connaissances sources nuisent aux performances cibles.
En 1992, Lorien Pratt a formulé l'algorithme de transfert basé sur la discriminabilité (DBT). D'ici 1998, le domaine avait progressé pour inclure l'apprentissage multi-tâches, ainsi que des fondements théoriques plus formels. Les publications influentes sur le transfert d'apprentissage incluent le livre Learning to Learn en 1998, une enquête de 2009 et une enquête de 2019.
Andrew Ng a déclaré lors de son tutoriel NIPS 2016 que le transfert d'apprentissage deviendrait le prochain moteur du succès commercial de l'apprentissage automatique après l'apprentissage supervisé. Dans l'article de 2020 « Rethinking Pre-Training and Self-Training », Zoph et al. ont rapporté que le pré-entraînement peut nuire à la précision dans certains contextes et ont préconisé l'auto-entraînement, mettant en évidence les compromis nuancés du transfert d'apprentissage.
Définition
La définition du transfert d'apprentissage est donnée en termes de domaines et de tâches. Un domaine D se compose d'un espace de caractéristiques X et d'une distribution de probabilité marginale P(X), où X = {x_1, ..., x_n} ∈ X. Étant donné un domaine spécifique D = {X, P(X)}, une tâche se compose de deux composants : un espace d'étiquettes Y et une fonction prédictive objective f : X → Y. La fonction f prédit l'étiquette f(x) d'une nouvelle instance x. Cette tâche, notée T = {Y, f(x)}, est apprise à partir de données d'entraînement consistant en paires {x_i, y_i}.
Étant donné un domaine source D_S et une tâche d'apprentissage T_S, ainsi qu'un domaine cible D_T et une tâche d'apprentissage T_T, où D_S ≠ D_T ou T_S ≠ T_T, le transfert d'apprentissage vise à améliorer l'apprentissage de la fonction prédictive cible f_T(·) dans D_T en utilisant les connaissances de D_S et T_S. L'hypothèse clé est que les tâches source et cible sont suffisamment liées pour que des connaissances partagées puissent être transférées.
Mécanisme d'affinage
L'implémentation la plus courante du transfert d'apprentissage en apprentissage profond est l'affinage. Un modèle est d'abord pré-entraîné sur un grand ensemble de données général (la tâche source). Ensuite, ses poids sont utilisés comme initialisation pour l'entraînement sur la tâche cible. Les couches inférieures du réseau pré-entraîné, qui apprennent généralement des caractéristiques génériques, sont souvent gelées ou adaptées avec un faible taux d'apprentissage pour préserver les représentations apprises, tandis que les couches supérieures sont réentraînées sur les données cibles.
L'affinage peut être appliqué à l'ensemble du réseau ou seulement à un sous-ensemble de couches. Lorsque l'ensemble de données cible est petit, les praticiens gèlent souvent la plupart des couches pour éviter le surapprentissage et ne mettent à jour que la tête de classification finale. Pour des ensembles de données cibles plus grands, un affinage plus agressif est possible. Des techniques comme le dropout, la normalisation par lots et la normalisation de couche sont couramment utilisées pendant l'affinage pour régulariser le modèle.
Types de transfert d'apprentissage
Le transfert d'apprentissage peut être catégorisé en fonction du niveau d'accord entre les domaines et les tâches source et cible. Le transfert d'apprentissage inductif se produit lorsque les tâches source et cible diffèrent, même si les domaines sont identiques. Le transfert d'apprentissage transductif se produit lorsque les domaines diffèrent mais que les tâches sont identiques. Le transfert d'apprentissage non supervisé s'applique lorsque les tâches et les domaines diffèrent mais que les données étiquetées ne sont pas disponibles.
Dans la pratique, la plupart des applications d'apprentissage profond utilisent le transfert d'apprentissage inductif avec des espaces de caractéristiques identiques - par exemple, pré-entraîner un transformeur sur du texte générique et l'affiner pour l'analyse de sentiments. L'apprentissage multi-tâches, où un modèle est entraîné sur plusieurs objectifs simultanément, est étroitement lié et partage des fondements mathématiques avec le transfert d'apprentissage.
Applications
Le transfert d'apprentissage est omniprésent dans les applications d'IA. En vision par ordinateur, des modèles pré-entraînés sur ImageNet ont été affinés pour l'analyse d'images médicales, la détection d'objets et la conduite autonome. En traitement du langage naturel, OpenAI et Google DeepMind ont publié de grands modèles pré-entraînés que les chercheurs affinent pour des tâches spécifiques telles que la réponse aux questions ou la traduction.
Des exemples spécifiques incluent BERT pour la compréhension de texte, qui a été pré-entraîné sur la modélisation de langage masquée et affiné pour la classification de sentiments ou la reconnaissance d'entités nommées. En reconnaissance vocale, des modèles pré-entraînés sur de l'audio général sont adaptés à des environnements acoustiques. En apprentissage par renforcement, le transfert d'apprentissage peut accélérer l'apprentissage dans de nouveaux environnements en réutilisant des politiques de tâches antérieures.
Considérations théoriques
L'efficacité du transfert d'apprentissage dépend de la similarité entre les distributions source et cible. Un résultat théorique clé est que l'erreur de généralisation sur la tâche cible est bornée par l'erreur sur la tâche source plus un terme qui mesure la divergence entre les deux domaines. Cette relation guide les décisions pratiques sur le moment d'appliquer le transfert d'apprentissage.
Le transfert négatif peut se produire lorsque les connaissances sources sont trompeuses pour la tâche cible. Par exemple, un pré-entraînement sur la classification d'images avec de nombreuses classes peut ne pas aider une tâche cible avec une distribution d'étiquettes très différente. Les techniques d'adaptation de domaine, telles que l'entraînement adversarial, visent à minimiser le décalage de domaine. En général, les recherches récentes soulignent que le transfert d'apprentissage n'est pas une solution miracle ; une évaluation minutieuse est nécessaire.
Techniques d'optimisation
L'affinage de grands modèles pré-entraînés nécessite une optimisation spécialisée. L'optimiseur Adam et ses variantes sont des choix standard, souvent avec un taux d'apprentissage initial plus faible que pour un entraînement de zéro. Le écrêtage de gradient est fréquemment utilisé pour prévenir l'explosion pendant l'affinage. L'apprentissage par curriculum peut également être appliqué, où l'ensemble de données cible est présenté avec une difficulté croissante.
Une autre approche consiste à utiliser un taux d'apprentissage plus faible pour les couches pré-entraînées et un plus élevé pour les couches nouvellement initialisées. De plus, des techniques d'augmentation de données, telles que le recadrage aléatoire ou le masquage de jetons, peuvent aider le modèle à généraliser sur de petits ensembles de données cibles. Certaines méthodes utilisent l'élagage de modèle après l'affinage pour réduire la taille du modèle sans perte significative de précision.
Relation avec les grands modèles de langage
L'essor des grands modèles de langage a rendu le transfert d'apprentissage plus critique que jamais. Des modèles comme GPT-3 et Claude sont pré-entraînés sur de vastes corpus puis adaptés à des tâches en aval par affinage ou incitation. Dans certains cas, le transfert d'apprentissage est effectué à grande échelle via l'ajustement par instructions, où un modèle est affiné sur de nombreuses tâches simultanément pour améliorer la généralisation.
Le apprentissage par renforcement à partir de rétroaction humaine (RLHF) est une forme de transfert d'apprentissage où un modèle pré-entraîné est affiné en utilisant les préférences humaines comme signal de récompense. Cette approche a été essentielle pour aligner les modèles sur les valeurs humaines. Les recherches d'Anthropic et d'OpenAI illustrent comment le transfert d'apprentissage interagit avec la sécurité et l'alignement.
Défis et orientations futures
Un défi majeur est le coût computationnel du pré-entraînement, qui nécessite souvent de grands clusters de matériel spécialisé comme AWS Trainium ou des TPU Google Cloud. Il existe des recherches actives sur le transfert d'apprentissage efficace, y compris des méthodes économes en paramètres comme les adaptateurs ou LoRA qui ne mettent à jour qu'une petite fraction des poids.
Une autre préoccupation est l'oubli - lors de l'affinage sur une nouvelle tâche, le modèle peut perdre des connaissances de la tâche source. Les approches d'apprentissage continu visent à atténuer cela. Au début des années 2020, le transfert d'apprentissage reste un domaine de recherche actif, avec des résultats nuancés sur le moment où le pré-entraînement aide et quand il ne le fait pas, comme l'ont souligné Zoph et al. Les travaux futurs pourraient se concentrer sur des garanties théoriques et de meilleures méthodes pour éviter le transfert négatif.