BERT (Bidirectional Encoder Representations from Transformers) est un modèle de représentation du langage publié par Google en octobre 2018. Il a été parmi les premières applications largement influentes de l'architecture Transformer (architecture) à la compréhension du langage, et sa publication est souvent citée comme un tournant qui a fait du Pretraining basé sur les transformeurs le paradigme dominant en Natural language processing.
Architecture et entraînement
BERT utilise uniquement la moitié encodeur de l'architecture du transformeur, contrairement à la conception autorégressive basée sur le décodeur adoptée plus tard par la série GPT. Il est entraîné avec deux objectifs auto-supervisés : le masquage de modélisation du langage, où des mots aléatoires dans une phrase sont cachés et le modèle doit les prédire en utilisant le contexte dans les deux directions, et la prédiction de phrase suivante, où le modèle apprend si une phrase suit plausiblement une autre. Cet entraînement bidirectionnel a permis à BERT de construire des représentations informées à la fois par le contexte précédent et suivant simultanément, un avantage par rapport aux approches antérieures unidirectionnelles ou superficiellement bidirectionnelles comme word2vec et ELMo.
BERT a été publié en plusieurs tailles, notamment BERT-base (110 millions de paramètres) et BERT-large (340 millions de paramètres), modestes selon les normes ultérieures mais grandes pour leur époque, et Google a publié les poids préentraînés ouvertement, permettant aux chercheurs de régler finement le modèle pour des tâches en aval spécifiques telles que la réponse aux questions, l'analyse des sentiments et la reconnaissance d'entités nommées avec des quantités relativement petites de données spécifiques à la tâche.
Impact
Lors de sa publication, BERT a atteint des résultats de pointe sur une large gamme de références en NLP, y compris la suite GLUE et l'ensemble de données de réponse aux questions SQuAD, souvent avec une marge substantielle par rapport aux méthodes antérieures. Son paradigme « préentraîner puis régler finement » a été rapidement adopté dans tout le domaine et a directement influencé la conception des modèles encodeurs et encodeur-décodeur ultérieurs. Google a intégré BERT dans ses systèmes de classement de recherche principaux à partir de 2019, le décrivant comme l'une des améliorations les plus significatives de la pertinence de recherche depuis des années, en particulier pour comprendre l'intention derrière des requêtes plus longues et plus conversationnelles.
Héritage par rapport aux modèles génératifs
BERT précède l'ère des grands modèles de langage définie par GPT-2, GPT-3 et leurs successeurs, et sa conception encodeur uniquement, non générative, signifie qu'il ne peut pas produire de texte ouvert comme le peuvent les modèles autorégressifs. Malgré cela, BERT et ses nombreux dérivés (y compris RoBERTa, ALBERT et DistilBERT) sont restés largement utilisés bien dans les années 2020 pour des tâches de classification, de récupération et d'incorporation où la génération n'est pas nécessaire et où l'efficacité compte, et les encodeurs de style BERT ont continué à servir de composants au sein de systèmes plus larges de récupération et de recherche sémantique, y compris comme éléments constitutifs dans certains pipelines de génération augmentée par récupération. Des chercheurs tels que Christopher Manning et d'autres en NLP académique ont souligné la publication de BERT comme un moment charnière démontrant que le préentraînement auto-supervisé à grande échelle sur du texte non étiqueté pouvait surpasser les méthodes reposant principalement sur des ensembles de données étiquetés, une leçon qui a été directement intégrée dans la philosophie de mise à l'échelle derrière les modèles de langage génératifs ultérieurs.