Ajustement fin
L'ajustement fin consiste à prendre un modèle déjà entraîné, généralement sur un vaste ensemble de données à usage général lors du pré-entraînement, et à poursuivre son entraînement sur un ensemble de données plus restreint et plus spécifique afin de l'adapter à une tâche, un domaine ou un style particulier. Cette technique repose sur le principe du transfert d'apprentissage : un modèle qui a déjà appris une structure statistique large, qu'il s'agisse de caractéristiques visuelles issues d'images ou de schémas linguistiques issus de textes, nécessite relativement peu de données et de calcul supplémentaires pour se spécialiser, par rapport à l'entraînement d'un modèle de qualité similaire à partir de zéro.
Historique
L'ajustement fin est devenu une pratique courante en vision par ordinateur après la percée de ImageNet en 2012, lorsque les chercheurs ont découvert que les réseaux convolutifs entraînés sur ImageNet se transféraient bien à des tâches de classification d'images plus petites et sans rapport, avec un simple ré-entraînement léger des couches finales. En traitement du langage naturel, la technique a pris une nouvelle importance avec BERT en 2018, dont le paradigme « pré-entraînement puis ajustement fin », adaptant un unique encodeur pré-entraîné à de nombreuses tâches en aval telles que l'analyse de sentiments ou la réponse à des questions, est devenu le flux de travail dominant pendant plusieurs années. Avec l'avènement des grands modèles de langage, l'ajustement fin est passé de l'adaptation de modèles à des tâches de classification étroites à l'ajustement par instructions, où un modèle de base entraîné uniquement à prédire le prochain jeton est ajusté sur des exemples d'instructions et de réponses souhaitées afin de se comporter comme un assistant utile, une étape utilisée dans l'entraînement de systèmes tels que ChatGPT.
Méthodes
L'ajustement fin complet met à jour tous les paramètres d'un modèle et, pour les plus grands modèles, exige des ressources de calcul et de mémoire substantielles, car il implique de stocker les gradients et les états de l'optimiseur pour chaque poids. Ce coût a conduit au développement de méthodes d'ajustement fin efficaces en paramètres, qui gèlent la majeure partie du modèle d'origine et n'entraînent qu'un petit nombre de paramètres supplémentaires. La plus adoptée de ces méthodes est LoRA, qui insère de petites matrices de rang faible dans les couches du modèle et n'entraîne que celles-ci, réduisant considérablement les besoins en mémoire tout en obtenant des résultats proches de l'ajustement fin complet sur de nombreuses tâches. D'autres approches incluent les couches d'adaptation, l'ajustement par invites et l'ajustement par préfixes, chacune offrant un compromis différent entre flexibilité et efficacité.
Ajustement fin supervisé
L'ajustement fin supervisé (AFS) entraîne un modèle sur des paires d'entrées-sorties étiquetées et constitue la première étape standard pour transformer un modèle de base en assistant capable de suivre des instructions. Cette étape est souvent suivie de méthodes basées sur les préférences, telles que l'apprentissage par renforcement avec retour humain ou l'optimisation directe des préférences, qui affinent davantage le comportement du modèle en utilisant des jugements humains sur laquelle de deux réponses est la meilleure, plutôt qu'une étiquette unique correcte.
Ajustement fin et autres approches
L'ajustement fin est fréquemment comparé à la génération augmentée par récupération comme moyen de rendre un modèle plus précis ou spécialisé. L'ajustement fin modifie les poids internes du modèle et convient bien pour enseigner un style, un format ou une compétence spécialisée cohérents ; la récupération, en revanche, fournit des faits pertinents au moment de l'inférence sans modifier le modèle, ce qui facilite la mise à jour des informations sources et réduit le risque d'écraser les capacités générales du modèle. En pratique, les deux approches sont souvent combinées, un modèle ajusté appelant des documents récupérés pour ancrer ses réponses.
Risques
L'ajustement fin sur un ensemble de données étroit peut provoquer un oubli catastrophique, où le modèle perd des capacités générales qu'il possédait avant l'adaptation, et le surapprentissage sur un petit ensemble d'ajustement fin constitue un risque persistant, en particulier lorsque le nombre d'exemples est faible par rapport à la capacité du modèle. L'ajustement fin sur des données non filtrées ou mal organisées peut également affaiblir l'entraînement à la sécurité d'un modèle, une préoccupation qui a poussé les fournisseurs à restreindre ou surveiller l'accès à l'ajustement fin de leurs modèles les plus performants.