Le forçage par l'enseignant (teacher forcing) est un algorithme utilisé pour entraîner les poids des réseaux de neurones récurrents (RNN). Il consiste à réinjecter les valeurs observées de la séquence, également appelées échantillons de vérité terrain, dans le RNN après chaque étape, forçant ainsi le RNN à rester proche de la séquence de vérité terrain. Cette technique est largement utilisée dans les modèles séquence-à-séquence et les grands modèles de langage pour améliorer l'efficacité et la stabilité de l'entraînement.
Le terme « forçage par l'enseignant » peut être motivé en comparant le RNN à un étudiant humain passant un examen en plusieurs parties, où la réponse à chaque partie (par exemple, un calcul mathématique) dépend de la réponse à la partie précédente. Dans cette analogie, plutôt que de noter toutes les réponses à la fin, avec le risque que l'étudiant échoue à toutes les parties même s'il n'a commis qu'une erreur dans la première, un enseignant enregistre le score de chaque partie individuelle puis indique à l'étudiant la bonne réponse, à utiliser pour la partie suivante. Ce signal externe de l'enseignant aide le modèle à apprendre à partir d'un contexte correct plutôt que de cumuler ses propres erreurs pendant l'entraînement.
L'utilisation d'un signal externe de l'enseignant contraste avec l'apprentissage récurrent en temps réel (RTRL). Les signaux de l'enseignant sont connus à partir des réseaux d'oscillateurs. La promesse est que le forçage par l'enseignant aide à réduire le temps d'entraînement. Le terme « forçage par l'enseignant » a été introduit en 1989 par Ronald J. Williams et David Zipser, qui ont rapporté que cette technique était déjà « fréquemment utilisée dans les tâches d'apprentissage supervisé dynamique » à cette époque. Un article NeurIPS 2016 a introduit la méthode connexe du « forçage par le professeur ».
Mécanisme et entraînement
Dans une configuration typique d'entraînement de RNN, le réseau traite une séquence d'entrées et produit des sorties à chaque pas de temps. Sans forçage par l'enseignant, la sortie précédente du réseau est utilisée comme entrée pour le pas de temps suivant, ce qui peut entraîner une accumulation d'erreurs si le réseau commet une erreur précoce. Le forçage par l'enseignant remplace plutôt la sortie précédente du réseau par la valeur réelle de vérité terrain issue des données d'entraînement. Cette approche est analogue à un enseignant fournissant les bonnes réponses pendant la pratique, empêchant l'étudiant de s'éloigner trop du chemin correct.
L'algorithme est implémenté en modifiant la fonction de perte et la passe avant. Pendant l'entraînement, à chaque étape, le modèle reçoit le jeton de vérité terrain comme entrée, et la perte est calculée par rapport à la distribution prédite. Cela est particulièrement efficace dans les architectures Encoder-Decoder Architecture, où le décodeur génère des séquences conditionnées par une représentation encodée. Le forçage par l'enseignant est souvent combiné avec des techniques comme le curriculum learning et le écrêtage de gradient pour stabiliser davantage l'entraînement.
Avantages et limites
Le forçage par l'enseignant offre plusieurs avantages. Il réduit considérablement le temps d'entraînement en fournissant un retour immédiat et en empêchant la propagation des erreurs. Il simplifie également le paysage d'optimisation, facilitant la convergence des méthodes basées sur le gradient comme l'optimiseur Adam. Cependant, une limite clé est le problème de biais d'exposition : lors de l'inférence, le modèle doit se fier à ses propres prédictions, qui peuvent différer de la distribution de vérité terrain observée pendant l'entraînement. Ce décalage peut entraîner une dégradation des performances dans les tâches de génération autorégressive.
Pour atténuer le biais d'exposition, les chercheurs ont développé des variantes telles que l'échantillonnage planifié, où le modèle passe progressivement du forçage par l'enseignant à un fonctionnement libre (en utilisant ses propres sorties). Une autre approche est le forçage par le professeur, introduit dans un article NeurIPS 2016, qui utilise un discriminateur antagoniste pour encourager la similarité des états cachés du modèle pendant l'entraînement et l'inférence. Ces méthodes visent à combler l'écart entre les conditions d'entraînement et d'inférence.
Applications
Le forçage par l'enseignant est un composant standard dans l'entraînement des modèles de génération de séquences, y compris les systèmes de apprentissage automatique pour la traduction automatique, le résumé de texte et la reconnaissance vocale. Il est particulièrement important dans les modèles basés sur les transformeurs, qui sont à la base de nombreux systèmes modernes de IA générative. Par exemple, la série GPT d'OpenAI et les modèles Claude d'Anthropic reposent sur le forçage par l'enseignant pendant le pré-entraînement pour prédire le jeton suivant dans une séquence. La technique est également utilisée dans les modèles séquence-à-séquence pour des tâches comme le sous-titrage d'images et la génération de dialogues.
Au-delà du traitement du langage naturel, le forçage par l'enseignant a été appliqué dans la prévision de séries temporelles et les systèmes de contrôle, où une prédiction précise de séquences est cruciale. Dans ces domaines, le signal de vérité terrain aide le modèle à apprendre les dynamiques de manière plus fiable, en particulier lorsque les données sont bruitées ou fortement non linéaires.
Relation avec d'autres méthodes
Le forçage par l'enseignant est distinct de l'apprentissage récurrent en temps réel (RTRL), qui met à jour les poids en fonction des sorties propres du réseau sans correction externe. Bien que le RTRL soit plus plausible biologiquement, il est coûteux en calcul et moins pratique pour les grands modèles. Le forçage par l'enseignant diffère également du renforcement par retour d'IA (RLAIF), qui utilise des signaux de récompense plutôt que des entrées directes de vérité terrain. En revanche, le forçage par l'enseignant est une technique d'apprentissage supervisé qui suppose l'accès à des données de séquences étiquetées.
La méthode est étroitement liée au concept de fonctions de perte en ce qu'elle définit comment les erreurs sont mesurées à chaque étape. Elle interagit également avec les techniques de abandon et de normalisation par lots, couramment appliquées pendant l'entraînement pour améliorer la généralisation. En pratique, le forçage par l'enseignant est souvent combiné avec la recherche en faisceau pendant l'inférence pour générer des séquences de haute qualité.
Voir aussi
- Apprentissage en ligne
- Apprentissage par renforcement