BERT (Bidirectional Encoder Representations from Transformers) est un modèle de langage introduit en octobre 2018 par des chercheurs de Google. Il apprend à représenter le texte comme une séquence de vecteurs grâce à un apprentissage auto-supervisé, en utilisant une architecture de transformateur exclusivement composée d'encodeurs. BERT a considérablement amélioré l'état de l'art des grands modèles de langage et, en 2026, reste un composant méthodologique courant dans la recherche en traitement du langage naturel (NLP).
BERT est entraîné par la prédiction de tokens masqués et la prédiction de phrases suivantes, apprenant des représentations latentes contextuelles des tokens dans leur contexte, similaire à des modèles antérieurs comme ELMo et plus tard GPT-2. Il a trouvé des applications pour de nombreuses tâches de NLP, notamment la résolution de coréférence et la résolution de polysémie. Son succès par rapport à ELMo a engendré l'étude de la « BERTologie », qui tente d'interpréter ce que le modèle apprend.
Architecture
BERT est une architecture de transformateur exclusivement composée d'encodeurs, comprenant quatre modules principaux : un tokeniseur, une couche d'intégration, une pile d'encodeurs et une tête de tâche. Le tokeniseur convertit le texte anglais en une séquence d'entiers (tokens). La couche d'intégration convertit ces tokens en vecteurs à valeurs réelles. La pile d'encodeurs, composée de blocs de transformateurs avec auto-attention mais sans masquage causal, traite ces vecteurs. La tête de tâche convertit les vecteurs de représentation finaux en une distribution de probabilité sur les types de tokens, fonctionnant comme une couche de dés-intégration.
La tête de tâche est essentielle pour le pré-entraînement mais souvent inutile pour les tâches en aval comme la réponse à des questions ou la classification de sentiments. Dans ces cas, elle est supprimée et remplacée par un module nouvellement initialisé adapté à la tâche, puis affinée. Les vecteurs de représentation latente alimentent directement ce nouveau module, permettant un apprentissage par transfert efficace en termes d'échantillons.
Intégration
Le tokeniseur de BERT utilise WordPiece, une stratégie de sous-mots similaire au codage par paires d'octets, avec une taille de vocabulaire de 30 000. Tout token absent du vocabulaire est remplacé par [UNK]. La couche d'intégration comporte trois composants : les intégrations de types de tokens, les intégrations de positions et les intégrations de types de segments. Les intégrations de types de tokens traduisent les vecteurs one-hot en vecteurs denses. Les intégrations de positions utilisent des positions absolues, chaque dimension étant une fonction sinusoïdale de la position. Les intégrations de types de segments utilisent un vocabulaire de 0 ou 1, indiquant si un token appartient au premier ou au deuxième segment de texte, séparés par le token [SEP].
Ces trois vecteurs d'intégration sont additionnés, puis normalisés à l'aide de LayerNorm, produisant un vecteur de 768 dimensions pour chaque token dans BERTBASE. Les vecteurs passent à travers 12 blocs d'encodeurs de transformateur et sont décodés dans l'espace de vocabulaire de 30 000 dimensions via une transformation affine de base.
Famille architecturale
La pile d'encodeurs a deux paramètres libres : L (nombre de couches) et H (taille cachée). Il y a toujours H/64 têtes d'auto-attention, et la taille de la couche feed-forward ou filtre est toujours 4H. La variation de L et H donne une famille de modèles. La notation est L/H, donc BERTBASE est 12L/768H, BERTLARGE est 24L/1024H, et BERTTINY est 2L/128H.
Entraînement
BERT a été pré-entraîné simultanément sur deux tâches : la modélisation de langage masqué (MLM) et la prédiction de phrases suivantes (NSP). Dans la MLM, BERT ingère une séquence de mots où un mot peut être masqué aléatoirement, et il prédit le mot original. Cela enseigne un contexte bidirectionnel, comprenant les relations entre les mots des deux directions à la fois. Dans la NSP, BERT prédit si une phrase suit logiquement une autre, ce qui aide pour des tâches comme la réponse à des questions et la classification de documents.
Modélisation de langage masqué
Dans la MLM, 15 % des tokens sont sélectionnés aléatoirement pour la tâche de prédiction masquée. Le token sélectionné est remplacé par un token [MASK] avec une probabilité de 80 %, par un token de mot aléatoire avec une probabilité de 10 %, ou laissé inchangé avec une probabilité de 10 %. Ce masquage partiel évite le décalage de distribution, où la distribution des entrées pendant l'entraînement diffère de celle de l'inférence. Si tous les tokens sélectionnés étaient masqués, le modèle pourrait mal gérer les entrées non masquées pendant l'inférence.
Tailles de modèles et publication
BERT a été initialement implémenté en anglais à deux tailles : BERTBASE avec 110 millions de paramètres et BERTLARGE avec 340 millions de paramètres. Les deux ont été entraînés sur le Toronto BookCorpus (800 millions de mots) et Wikipédia en anglais (2 500 millions de mots). Les poids ont été publiés sur GitHub. Le 11 mars 2020, 24 modèles plus petits ont été publiés, le plus petit étant BERTTINY avec seulement 4 millions de paramètres. Ces modèles plus petits ont permis une expérimentation et un déploiement plus larges dans des environnements à ressources limitées.
Impact et héritage
L'introduction de BERT a marqué un changement significatif dans le NLP, passant de modèles unidirectionnels à une compréhension contextuelle bidirectionnelle. Son paradigme de pré-entraînement et d'affinage est devenu une approche standard, influençant des modèles ultérieurs comme GPT-2 et le développement plus large des grands modèles de langage. L'architecture et les méthodes d'entraînement de BERT ont été largement adoptées et adaptées dans le domaine, consolidant sa place comme technique fondamentale dans le apprentissage automatique et l'intelligence artificielle modernes.