BERT (Bidirectional Encoder Representations from Transformers) est un modèle de langage introduit en octobre 2018 par des chercheurs de Google. Il apprend à représenter le texte comme une séquence de vecteurs grâce à un apprentissage auto-supervisé, en utilisant une architecture de transformeur à encodeur uniquement. BERT a considérablement amélioré l'état de l'art pour les grands modèles de langage et, en 2026, reste un composant méthodologique courant dans la recherche en traitement du langage naturel (NLP).
BERT est entraîné à l'aide de la prédiction de tokens masqués et de la prédiction de phrases suivantes, ce qui lui permet d'apprendre des représentations latentes contextuelles des tokens dans leur contexte, similaire à ELMo et GPT-2. Il a trouvé des applications dans de nombreuses tâches de NLP, telles que la résolution de coréférence et la résolution de polysémie. BERT a amélioré ELMo et a donné naissance à l'étude de la « BERTologie », qui tente d'interpréter ce que BERT apprend.
Architecture
BERT est une architecture de transformeur « à encodeur uniquement ». À un niveau élevé, BERT se compose de quatre modules : un tokeniseur, un module d'intégration, une pile d'encodeurs et une tête de tâche. Le tokeniseur convertit le texte anglais en une séquence d'entiers (tokens). Le module d'intégration convertit les tokens en vecteurs à valeurs réelles. La pile d'encodeurs est constituée de blocs de transformeur avec auto-attention mais sans masquage causal. La tête de tâche convertit les vecteurs de représentation finale en une distribution de probabilité sur les types de tokens, agissant comme une couche de désintégration.
La tête de tâche est nécessaire pour le pré-entraînement mais souvent inutile pour les tâches en aval telles que la réponse aux questions ou la classification des sentiments. Pour ces tâches, la tête de tâche est supprimée et remplacée par un module nouvellement initialisé adapté à la tâche, suivi d'un ajustement fin. La représentation vectorielle latente est directement introduite dans ce nouveau module, permettant un apprentissage par transfert efficace en échantillons.
Intégration
Le tokeniseur de BERT est WordPiece, une stratégie de sous-mots similaire à l'encodage par paires d'octets. Sa taille de vocabulaire est de 30 000, et tout token n'apparaissant pas dans le vocabulaire est remplacé par [UNK]. La couche d'intégration contient trois composants : les intégrations de type de token, les intégrations de position et les intégrations de type de segment. Les intégrations de type de token traduisent un vecteur one-hot en un vecteur dense basé sur le type de token. Les intégrations de position utilisent des positions absolues, chaque dimension consistant en une fonction sinusoïdale de la position. Les intégrations de type de segment utilisent un vocabulaire de 0 ou 1, indiquant si un token appartient au premier ou au deuxième segment de texte (les tokens après le token spécial [SEP] sont de type 1). Les trois vecteurs d'intégration sont additionnés, puis normalisés à l'aide de LayerNorm, produisant un vecteur de 768 dimensions pour chaque token. Ces vecteurs passent à travers 12 blocs d'encodeurs de transformeur et sont décodés dans l'espace de vocabulaire de 30 000 dimensions via une transformation affine.
Famille architecturale
La pile d'encodeurs a deux paramètres libres : L (nombre de couches) et H (taille cachée). Il y a toujours H/64 têtes d'auto-attention, et la taille de l'expansion feed-forward/filtre est toujours 4H. La variation de ces paramètres donne une famille de modèles BERT. La notation est L/H : BERTBASE est 12L/768H, BERTLARGE est 24L/1024H, et BERTTINY est 2L/128H.
Entraînement
Pré-entraînement
BERT a été pré-entraîné simultanément sur deux tâches : la modélisation de langage masquée (MLM) et la prédiction de phrases suivantes (NSP). Dans la MLM, BERT ingère une séquence de mots où un mot peut être masqué aléatoirement, et il prédit le mot original. Cela aide BERT à apprendre un contexte bidirectionnel, comprenant les relations entre les mots depuis les deux directions simultanément. Dans la NSP, BERT est entraîné à prédire si une phrase suit logiquement une autre, ce qui est important pour des tâches comme la réponse aux questions ou la classification de documents.
#### Modélisation de langage masquée
Dans la modélisation de langage masquée, 15 % des tokens sont sélectionnés aléatoirement pour la tâche de prédiction masquée. Le token sélectionné est remplacé par un token [MASK] avec une probabilité de 80 %, remplacé par un token de mot aléatoire avec une probabilité de 10 %, et laissé inchangé avec une probabilité de 10 %. Cette stratégie évite le problème de décalage de distribution, où la distribution des entrées pendant l'entraînement diffère de celle pendant l'inférence.
Publication et impact
BERT a été initialement implémenté en anglais à deux tailles de modèle : BERTBASE (110 millions de paramètres) et BERTLARGE (340 millions de paramètres). Les deux ont été entraînés sur le Toronto BookCorpus (800 millions de mots) et la Wikipédia anglaise (2 500 millions de mots). Les poids ont été publiés sur GitHub, rendant le modèle largement accessible. Le 11 mars 2020, 24 modèles plus petits ont été publiés, le plus petit étant BERTTINY avec seulement 4 millions de paramètres.
La publication de BERT a eu un impact profond sur le domaine du traitement du langage naturel. Il a établi de nouveaux benchmarks sur une large gamme de tâches, y compris la réponse aux questions, l'analyse des sentiments et la reconnaissance d'entités nommées. Son succès a popularisé le paradigme de pré-entraînement et d'ajustement fin, influençant des modèles ultérieurs comme GPT-2 et RoBERTa. BERT a également inspiré la recherche sur l'interprétabilité, avec la « BERTologie » émergeant comme un domaine pour comprendre les représentations internes apprises par le modèle.
Applications et héritage
Les intégrations contextuelles de BERT ont été appliquées à de nombreuses tâches, y compris la résolution de coréférence, la résolution de polysémie et la traduction automatique. Son architecture a été adaptée pour diverses langues et domaines, et il reste une référence pour de nombreux systèmes de NLP. En 2026, BERT continue d'être un outil fondamental dans la recherche en NLP et les applications industrielles, malgré la montée de modèles plus grands comme GPT-3 et T5. Son influence est évidente dans l'adoption généralisée des modèles basés sur les transformeurs et le développement des grands modèles de langage.
La publication de BERT a également stimulé les avancées dans les variantes de modèles efficaces, telles que DistilBERT et ALBERT, qui visent à réduire les coûts de calcul tout en conservant les performances. Les principes de conception du modèle, y compris la modélisation de langage masquée et la prédiction de phrases suivantes, ont été incorporés dans de nombreuses architectures ultérieures, cimentant l'héritage de BERT comme pierre angulaire du NLP moderne.