Tensor2Tensor (abrégé en T2T) est une bibliothèque logicielle open-source pour le développement de modèles de apprentissage profond, particulièrement axée sur les tâches de séquence à séquence telles que la traduction automatique, le résumé de texte et la génération de légendes d'images. Elle a été développée par des chercheurs de Google Brain et publiée en juin 2017. T2T fournit un cadre modulaire de jeux de données, d'architectures de modèles et d'utilitaires d'entraînement, permettant aux chercheurs d'expérimenter avec des réseaux neuronaux de pointe en utilisant des composants standardisés. La bibliothèque est construite sur TensorFlow et a été conçue pour accélérer la recherche en facilitant la réplication et la comparaison des résultats entre différents modèles et tâches.
T2T a attiré une attention considérable pour son implémentation de l'architecture Transformer, introduite dans l'article de 2017 « Attention Is All You Need » par Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Łukasz Kaiser et Illia Polosukhin. Le Transformer, qui repose entièrement sur des mécanismes d'attention et se passe de récurrence, est devenu la base de nombreux grands modèles de langage ultérieurs, y compris BERT et la série GPT. La conception modulaire de T2T a rendu simple l'implémentation et l'entraînement de tels modèles, contribuant à l'adoption rapide du Transformer dans la communauté de recherche.
Caractéristiques et conception
T2T organise ses fonctionnalités autour de trois abstractions principales : les problèmes, les modèles et les ensembles d'hyperparamètres. Un problème encapsule un jeu de données et son prétraitement, y compris la tokenisation, le regroupement en lots et le formatage des entrées et sorties. T2T inclut des dizaines de problèmes intégrés, tels que la traduction anglais-allemand WMT, la modélisation de langue LM1B et des tâches de classification d'images comme CIFAR-10. Un modèle définit l'architecture du réseau neuronal, avec des options incluant le Transformer, les modèles seq2seq basés sur LSTM et les réseaux convolutifs. Les ensembles d'hyperparamètres fournissent des configurations prédéfinies pour différentes tailles de modèles et régimes d'entraînement, permettant aux utilisateurs de basculer entre les paramètres avec une seule commande.
La bibliothèque comprend également un pipeline de génération de données qui prend en charge le pipelining efficace des entrées, le traitement parallèle et le regroupement dynamique en lots. Elle s'intègre à l'API tf.data de TensorFlow et fournit des utilitaires pour l'entraînement distribué sur plusieurs GPU et TPU. T2T a été l'une des premières bibliothèques à prendre en charge l'entraînement sur unités de traitement tensoriel (TPU), ce qui a été crucial pour faire évoluer les modèles Transformer vers de grands jeux de données.
Impact et héritage
T2T a servi de précurseur à des frameworks ultérieurs tels que Trax et le TensorFlow Model Garden. Son accent sur la recherche reproductible et les composants standardisés a influencé la conception de bibliothèques ultérieures, y compris la bibliothèque Transformers de Hugging Face. De nombreuses idées et modèles de code de T2T ont été incorporés dans ces outils plus récents, qui sont depuis devenus la norme de facto pour l'entraînement et le déploiement de grands modèles de langage.
La bibliothèque a été officiellement dépréciée en 2021, l'équipe de Google Brain orientant les utilisateurs vers la migration vers Trax ou le TensorFlow Model Garden. Malgré son arrêt, T2T reste historiquement significatif en tant qu'étape clé dans le développement de la recherche moderne en intelligence artificielle et en apprentissage automatique.
Voir aussi
Références
- Vaswani, A., et al. (2017). « Attention Is All You Need. » Advances in Neural Information Processing Systems.
- Google Brain. (2017). « Tensor2Tensor: A Library for Deep Learning Models. » Dépôt GitHub.
- Kaiser, Ł., et al. (2018). « Tensor2Tensor for Neural Machine Translation. » Proceedings of AMTA.