ALBERT (A Lite BERT) est un modèle de langage basé sur les transformeurs introduit par des chercheurs de Google AI en 2019 comme une alternative plus économe en mémoire à BERT. Le modèle se concentre sur la réduction du nombre de paramètres et du temps d'entraînement tout en maintenant des performances compétitives sur les tâches de compréhension du langage naturel. Son nom reflète l'architecture « lite », qui utilise deux innovations clés : la paramétrisation factorisée des plongements et le partage des paramètres entre les couches.
Le modèle a été développé par une équipe comprenant Zhenzhong Lan, Mingda Chen, Sebastian Goodman, Kevin Gimpel, Piyush Sharma et Radu Soricuts, avec un pré-print publié en octobre 2019. ALBERT est conçu pour répondre aux limites de BERT, qui nécessite généralement des ressources mémoire et de calcul massives, le rendant peu pratique pour de nombreux contextes de recherche et de déploiement.
Architecture et innovations clés
Le principal changement architectural dans ALBERT est le remplacement des plongements de 108 millions de paramètres de BERT par une matrice de plongements factorisée. Au lieu de projeter directement le vocabulaire vers la taille cachée, ALBERT projette d'abord vers un plongement de dimension inférieure (par exemple, 128 jetons) puis vers la taille cachée (par exemple, 768). Cette réduction diminue considérablement le nombre de paramètres, en particulier pour les modèles avec de grandes dimensions cachées.
La deuxième innovation est le partage des paramètres entre les couches, où les poids de l'encodeur du transformeur (y compris les couches d'attention et de propagation avant) sont partagés entre toutes les couches. Cela utilise efficacement le même ensemble de paramètres de manière répétée, réduisant drastiquement l'utilisation de la mémoire. Par exemple, le modèle de base a environ 12 millions de paramètres contre 108 millions pour BERT-base, tandis que la variante large n'a que 18 millions contre 340 millions pour BERT-large.
Ces techniques permettent à ALBERT de développer des architectures plus profondes et plus larges sans dépasser les limites de mémoire. L'étude a démontré qu'ALBERT pouvait entraîner de grandes configurations (jusqu'à 16 millions de paramètres) qui égalent ou surpassent BERT sur plusieurs références.
Entraînement et références
ALBERT est entraîné sur les mêmes corpus que BERT, à savoir Wikipedia en anglais et BookCorpus, en utilisant des objectifs d'apprentissage auto-supervisé comme le masquage de langage et la prédiction d'ordre de phrases (SOP). La production de SOP au lieu de la prédiction de phrase suivante (NSP) de BERT aide aux tâches de cohérence inter-phrases.
Sur la référence GLUE (General Language Understanding Evaluation), la configuration ALBERT-xxlarge, qui utilise environ 223 millions de paramètres mais seulement environ 8 millions de paramètres uniques, a obtenu des scores proches ou supérieurs à BERT-large. Plus précisément, il a surpassé BERT-large dans des tâches comme MNLI, QQP, RTE (de 82,5 % à 85,0 % en développement) et les scores F1 de SQuAD 2.0, qui ont atteint 91,0. Sur SQuAD 1.1/2.0, ALBERT-xxlarge a obtenu des résultats de pointe à l'époque avec respectivement 93,1 et 90,0 en F1. Sur le jeu de données CoQAd, ALBERT a obtenu un score de 86,0 sur l'ensemble de développement, améliorant les modèles BERT précédents.
Efficacité et vitesse
Bien que la réduction des paramètres d'ALBERT diminue la surcharge mémoire, elle ne réduit pas toujours directement le temps d'entraînement, car les paramètres partagés nécessitent toujours la même passe avant computationnelle. Cependant, la réduction de la surcharge de communication dans l'entraînement distribué et la plus faible empreinte mémoire permettent des tailles de lots plus grandes. Les auteurs rapportent qu'ALBERT avec partage de 12 couches peut s'entraîner environ 1,7 fois plus vite que BERT-large, avec une réduction de mémoire d'environ 80 %.
Évaluations de performance et résultats
L'étude a également examiné l'effet de l'abandon de NSP. Étonnamment, la suppression de NSP a amélioré les résultats sur plusieurs tâches, confirmant que NSP n'était pas efficace pour la compréhension du langage en aval. L'objectif SOP, qui prédit si la phrase suivante provient du même document ou d'un document différent, fournit des signaux d'entraînement plus clairs.
La recherche a également noté que l'augmentation du nombre de couches et d'unités cachées ne corrèle pas toujours avec des améliorations ; leur modèle avec une taille cachée de 2046 a obtenu des performances comparables au modèle avec une taille cachée de 4096, suggérant un optimum local. Par conséquent, ALBERT favorise la profondeur sur la largeur pour sa propre structure.
Héritage et utilisations
ALBERT est devenu une référence dans le domaine de la compression des transformeurs et de la conception de modèles lite. C'est un outil pratique pour l'ajustement fin dans la classification de texte, la réponse aux questions et les tâches de paires de phrases, en particulier lorsque des contraintes de disque ou de mémoire sont présentes. Le code open source est disponible via le référentiel de modèles officiels TensorFlow, et les poids pré-entraînés pour diverses tailles sont publiés. Il a influencé des modèles efficaces ultérieurs comme DistilBERT et MobileBERT, bien qu'avec des stratégies différentes ; ALBERT est particulièrement notable pour le partage de paramètres.
Malgré l'essor de nouvelles architectures telles que les modèles de génération basés sur l'attention dans les décodeurs (par exemple, GPT), ALBERT reste une approche pertinente pour les tâches de type encodeur uniquement et sert de référence dans les études d'efficacité. Son travail a été largement cité dans la communauté du traitement du langage naturel, notamment comme référence pour les techniques de partage de paramètres et l'entraînement axé sur la mémoire.
Reproductibilité et accessibilité
Les détails d'implémentation sont disponibles pour des configurations spécifiques, avec un entraînement sur une infrastructure cloud utilisant TensorFlow. Le code du modèle et les points de contrôle pré-entraînés sont disponibles sous licence Apache 2.0, garantissant l'accessibilité pour la recherche et l'utilisation commerciale. Le choix des hyperparamètres pour les grandes configurations de modèles (par exemple, une taille de lot de 2048 pour 128 000 étapes) suit des travaux précédents, mais les auteurs recommandent de les ajuster pour des expériences à plus petite échelle.
Pour la communauté, la disponibilité de plusieurs variantes de tailles (d'ALBERT-base à ALBERT-xxlarge) offre une flexibilité. Il peut être intégré dans des frameworks populaires comme Hugging Face Transformers et s'aligne sur une tendance plus large vers l'efficacité dans l'apprentissage profond. L'architecture fait également partie d'une famille plus large de modèles de type BERT et s'intègre dans les écosystèmes apprentissage automatique et apprentissage profond.
Les contributions d'ALBERT s'étendent au-delà du modèle spécifique, offrant des règles pour le partage de paramètres entre couches et les plongements factorisés que des chercheurs ultérieurs ont adoptés dans d'autres contextes. Sa conception a été enseignée dans des cours (par exemple, au laboratoire d'IA de Stanford ou dans d'autres environnements universitaires) comme étude de cas sur les variantes de transformeurs évolutives, aux côtés d'autres techniques comme la distillation et l'élagage.
Contexte futur
Bien qu'ALBERT ait été conçu pour une ère pré-générative de l'IA, ses principes d'efficacité des paramètres restent pertinents à l'ère des grands modèles de langage, connus pour leurs exigences énormes en ressources. La réduction et l'empreinte mémoire obtenues par ALBERT fournissent une référence historique pour les compromis entre le nombre de paramètres et la qualité. La courte histoire du modèle (2019-2020) a établi un précédent pour les méthodes de compression ultérieures, telles que la quantification des poids et les approximations de bas rang utilisées par les applications modernes.
Les auteurs ont été critiques des résultats de la communauté pré-entraînée, et la disponibilité des artefacts pré-entraînés a permis à de nombreux autres de baser des tâches d'ajustement fin sur des paramètres efficaces à moyenne échelle plutôt que pour de petits appareils ou périphériques. Cependant, en raison de l'essor de transformeurs plus grands (par exemple, la série GPT), la popularité d'ALBERT a diminué mais n'a pas disparu, compte tenu de ses cas d'utilisation spécialisés.
Des modifications de code produit et des versions améliorées, telles que des variantes orientées mobile, ont été développées par des tiers, ce qui étend sa portée. Bien que de nouvelles architectures éclipsent souvent, les contributions d'ALBERT au partage de paramètres et à la représentation articulable restent un exemple éducatif clé dans le domaine.