Le transformateur est une architecture de réseau neuronal, introduite en 2017, qui traite des données séquentielles telles que le texte à l'aide de mécanismes d'attention plutôt que de la récurrence pas à pas utilisée par les modèles antérieurs, permettant de traiter une séquence entière en parallèle. Il est devenu le fondement de presque tous les modèles de langage de grande taille modernes et a également été adapté pour les images, l'audio et d'autres types de données.
Histoire
Avant le transformateur, la modélisation de séquences pour des tâches telles que la traduction automatique reposait principalement sur des réseaux de neurones récurrents, y compris les modèles encodeur-décodeur Seq2seq, qui traitent les jetons d'entrée un par un et peinent donc à se paralléliser et à conserver des informations sur de longues séquences. Le transformateur a été introduit dans l'article de 2017 l'attention est tout ce dont vous avez besoin par une équipe de chercheurs comprenant Ashish Vaswani et Noam Shazeer, qui ont proposé de se passer entièrement de la récurrence au profit de l'auto-attention. Les huit auteurs de l'article ont par la suite quitté l'entreprise où les travaux ont été réalisés pour fonder ou rejoindre d'autres entreprises d'IA, un résultat inhabituel pour un seul article de recherche.
Architecture
Un transformateur traite une séquence d'entrée, d'abord convertie en représentations vectorielles via la tokenisation et l'intégration, en appliquant de manière répétée des couches d'auto-attention, qui permettent à chaque position de la séquence de pondérer la pertinence de chaque autre position, ainsi que des couches feed-forward simples. Comme l'auto-attention n'a pas de notion inhérente d'ordre de séquence, les transformateurs ajoutent des informations positionnelles à leurs représentations d'entrée. Plusieurs « têtes » d'attention fonctionnant en parallèle permettent au modèle de capturer différents types de relations simultanément. L'architecture d'origine utilisait un encodeur et un décodeur séparés ; la plupart des modèles de langage de grande taille modernes utilisent une variante décodeur seul, qui génère du texte un jeton à la fois en se basant sur tous les jetons précédemment générés.
Impact
La parallélisabilité du transformateur a permis d'entraîner des modèles sur des ensembles de données bien plus vastes et avec bien plus de paramètres que ne le permettaient les architectures récurrentes, ce qui a directement permis les progrès axés sur l'échelle des modèles, de BERT en 2018 à GPT-3 et au-delà. Son mécanisme d'auto-attention, applicable en principe à toute donnée pouvant être représentée comme une séquence, a également été adapté pour les images, donnant naissance aux transformateurs de vision, et pour les systèmes combinant texte et image utilisés dans les modèles de vision-langage modernes.
Variantes et alternatives
Le coût de calcul de l'auto-attention croît de manière quadratique avec la longueur de la séquence, ce qui motive à la fois des variantes axées sur l'efficacité et des architectures entièrement différentes. Les modèles mélange d'experts n'activent qu'un sous-ensemble des paramètres d'un transformateur pour une entrée donnée, réduisant ainsi le coût de calcul par rapport à la taille du modèle. Les modèles à espace d'état, tels que l'architecture Mamba introduite en 2023, offrent une alternative qui évolue linéairement avec la longueur de la séquence plutôt que quadratiquement, bien qu'au milieu des années 2020, ils n'aient pas encore déplacé le transformateur en tant qu'architecture dominante pour les modèles de langage de pointe.