Le transformateur est une famille d'architectures de réseau de neurones artificiels utilisées dans le apprentissage profond, basée sur le mécanisme d'attention multi-têtes. Les données d'entrée telles que le texte, les images ou l'audio sont converties en une séquence de représentations numériques appelées jetons, chacun étant mappé à un vecteur via une table de plongement de mots. À chaque couche, chaque jeton est contextualisé dans la fenêtre de contexte à l'aide d'une attention multi-têtes parallèle, amplifiant les jetons importants et diminuant ceux moins pertinents. Étant donné que l'auto-attention seule est invariante par permutation, les transformateurs injectent des informations positionnelles via des encodages positionnels ou des plongements appris, de sorte que l'ordre des jetons affecte la sortie.
Les transformateurs n'ont pas d'unités récurrentes, nécessitant moins de temps d'entraînement que les architectures récurrentes antérieures comme les LSTM. Les conceptions modernes sont regroupées en variantes à encodeur seul, à décodeur seul et à encodeur-décodeur, optimisées pour l'apprentissage de représentations, la génération autorégressive ou les tâches conditionnelles de séquence à séquence. Le transformateur original a été proposé dans l'article de 2017 « Attention Is All You Need » par des chercheurs de Google. Depuis, il est devenu la base des grands modèles de langage (LLM) et a trouvé des applications dans le traitement du langage naturel, la vision par ordinateur, l'apprentissage par renforcement, l'audio, l'apprentissage multimodal, la robotique et les échecs.
Histoire
Prédécesseurs
Pendant de nombreuses années, la modélisation de séquences utilisait des réseaux de neurones récurrents (RNN) simples, tels que le réseau d'Elman (1990). En théorie, l'information d'un jeton pouvait se propager arbitrairement loin, mais le problème du gradient vanishing laissait les longues séquences sans informations précises extractibles. Une percée clé a été le LSTM, décrit dans un rapport technique de 1995 et publié formellement en 1997, qui a introduit des mécanismes de portes pour atténuer les gradients vanishing. Le LSTM utilisait des unités de portes multiplicatives, conceptuellement distinctes de l'attention additive. Il est devenu la norme pour la modélisation de longues séquences jusqu'en 2017, mais les RNN traitent les jetons séquentiellement, empêchant la parallélisation. Le contrôleur de poids rapide à mise à l'échelle linéaire (1992) apprenait à calculer des matrices de poids basées sur l'entrée, équivalent à un transformateur linéaire non normalisé.
Attention avec seq2seq
La transduction de séquences encodeur-décodeur s'est développée au début des années 2010, avec deux articles simultanés de 2014. Un modèle de 380 millions de paramètres utilisait deux LSTM pour la traduction automatique : un LSTM encodeur transformait une séquence de jetons en un vecteur, et un LSTM décodeur le convertissait en sortie. Un autre modèle de 130 millions de paramètres utilisait des unités récurrentes à portes (GRU), montrées plus tard comme comparables aux LSTM. Ces premiers modèles seq2seq manquaient d'attention, s'appuyant sur un vecteur d'état de taille fixe après le dernier mot, ce qui préservait mal les informations longues de l'entrée. Inverser la phrase d'entrée améliorait la traduction, soulignant le goulot d'étranglement. Le modèle de recherche RNN a introduit l'attention dans seq2seq, permettant une meilleure gestion des longues dépendances. En 2016, Google Translate a été refondu en Google Neural Machine Translation, utilisant un modèle seq2seq LSTM bidirectionnel à 8 couches, surpassant les méthodes statistiques.
Parallélisation de l'attention
Les modèles seq2seq avec attention souffraient toujours de la difficulté de parallélisation des réseaux récurrents, limitant l'accélération GPU. En 2016, l'attention décomposable a appliqué l'auto-attention aux réseaux feedforward, atteignant un état de l'art en implication textuelle avec moins de paramètres. L'auteur Jakob Uszkoreit a suspecté que l'attention sans récurrence pourrait suffire pour la traduction, menant au titre « Attention Is All You Need ».
Architecture
L'architecture du transformateur se compose d'un encodeur et d'un décodeur, chacun composé de couches avec auto-attention multi-têtes et réseaux feedforward positionnels. L'encodeur traite la séquence d'entrée en parallèle, tandis que le décodeur génère la sortie de manière autorégressive, utilisant une auto-attention masquée pour empêcher les fuites de jetons futurs. L'attention multi-têtes exécute plusieurs mécanismes d'attention en parallèle, permettant au modèle de se concentrer sur différents sous-espaces de représentation. Les encodages positionnels sont ajoutés aux plongements de jetons pour capturer l'ordre. La normalisation de couche et les connexions résiduelles stabilisent l'entraînement. Le décodeur utilise également l'attention croisée pour se concentrer sur les sorties de l'encodeur.
Variantes
Encodeur seul
Les modèles à encodeur seul, comme BERT, sont optimisés pour l'apprentissage de représentations, produisant des plongements de jetons contextualisés utiles pour la classification et les tâches de compréhension. Ils utilisent une attention bidirectionnelle, voyant à la fois le contexte gauche et droit.
Décodeur seul
Les modèles à décodeur seul, tels que GPT, sont conçus pour la génération autorégressive, prédisant le prochain jeton étant donné les précédents. Ils utilisent une auto-attention masquée et sont la base de la plupart des LLM modernes, entraînés sur de grands corpus de texte.
Encodeur-décodeur
Les modèles encodeur-décodeur, comme le transformateur original, gèrent des tâches conditionnelles de séquence à séquence telles que la traduction et le résumé. L'encodeur traite la source, et le décodeur génère la cible.
Applications
Les transformateurs sont utilisés dans les systèmes de IA générative, y compris les LLM comme GPT et BERT, qui ont été adoptés par des entreprises telles que OpenAI, Anthropic et Google DeepMind. Ils alimentent le traitement du langage naturel, la vision par ordinateur (transformateurs de vision), l'apprentissage par renforcement, le traitement audio, l'apprentissage multimodal, la robotique et même les programmes de jeu d'échecs. Leur évolutivité a stimulé les avancées matérielles, avec des puces spécialisées comme AWS Trainium et les processeurs d'inférence de Groq.
Impact
Les transformateurs ont révolutionné l'intelligence artificielle, permettant des systèmes pré-entraînés qui peuvent être affinés pour diverses tâches. Ils ont réduit le temps d'entraînement par rapport aux RNN et ont permis des tailles de modèles sans précédent, menant à des percées dans la compréhension et la génération de langage. La flexibilité de l'architecture en a fait le choix par défaut pour de nombreuses applications d'IA, influençant la recherche et l'industrie.
Limites et avenir
Malgré leur succès, les transformateurs nécessitent un calcul quadratique en longueur de contexte, rendant les longues séquences coûteuses. Les chercheurs explorent des mécanismes d'attention linéaire et des architectures alternatives pour résoudre ce problème. En 2025, les transformateurs restent dominants, mais des innovations en cours pourraient mener à des conceptions plus efficaces.