Yinfei Yang est un informaticien et chercheur chez Google, reconnu pour avoir co-écrit BERT, un modèle basé sur les transformeurs qui a fait progresser l'apprentissage de représentations dans le traitement du langage naturel. Ses intérêts de recherche incluent la génération de langage naturel, la modélisation Sequence-to-Sequence (Seq2Seq) et l'apprentissage automatique. Il a contribué à la fois aux fondements théoriques et aux applications pratiques de l'intelligence artificielle dans la compréhension du langage.
Carrière et recherche
Yang travaille chez Google Research, où il s'est concentré sur la compréhension et la génération du langage naturel. Il a co-écrit l'article de 2018 présentant BERT, qui est devenu un modèle fondateur pour les grands modèles de langage. Ses autres travaux notables incluent l'Universal Sentence Encoder, un modèle pour apprendre des plongements de phrases largement adoptés dans les systèmes de production. Il a également contribué à la recherche sur la génération de texte, notamment sur les architectures Encoder-Decoder Architecture et les mécanismes de attention multi-têtes. Sa recherche implique souvent des réseaux neuronaux entraînés à grande échelle.
BERT et l'apprentissage de représentations bidirectionnelles
BERT, acronyme de Bidirectional Encoder Representations from Transformers, a été introduit dans l'article « BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding » publié en 2018. Le modèle utilise un encodeur à transformeurs avec des encodages positionnels, la normalisation de couche, des connexions résiduelles et le Dropout pendant l'entraînement. Il a été pré-entraîné sur un large corpus en utilisant des objectifs de modélisation de langage masqué et de prédiction de phrase suivante. BERT-base contient 110 millions de paramètres, tandis que BERT-large en contient 340 millions. Le modèle a obtenu des résultats de pointe sur plusieurs références de traitement du langage naturel, notamment le score GLUE et la tâche de réponse aux questions SQuAD. Son approche d'entraînement bidirectionnelle lui a permis de capturer le contexte dans les deux directions, améliorant les performances sur les tâches nécessitant la compréhension des relations entre les mots. L'entraînement de tels modèles a nécessité une planification attentive du taux d'apprentissage et l'utilisation de l'optimiseur Adam.
Universal Sentence Encoder
Yang a co-écrit l'Universal Sentence Encoder, un modèle qui mappe les phrases vers des vecteurs de longueur fixe. Le modèle est basé sur une architecture de transformeurs et a été entraîné sur diverses sources de données, notamment des actualités web, des pages de questions-réponses et des forums de discussion. Il prend en charge l'apprentissage par transfert pour des tâches telles que la similarité sémantique, la classification de texte et le regroupement. L'Universal Sentence Encoder a été publié comme un outil pour les développeurs et les chercheurs, permettant des représentations efficaces au niveau des phrases sans nécessiter d'entraînement spécifique à une tâche. Ce travail a été influent dans le domaine des plongements de phrases et de la recherche sémantique.
Génération de langage naturel et impact
Les contributions de Yang à la génération de langage naturel incluent des travaux sur les modèles séquence à séquence et des techniques pour générer un texte cohérent et contextuellement pertinent. Dans ce domaine, des stratégies de décodage telles que la recherche en faisceau sont couramment utilisées pour améliorer la qualité de la sortie. Son travail a été appliqué à des tâches telles que le résumé, les systèmes de dialogue et la réponse aux questions. Les méthodes d'apprentissage de représentations qu'il a contribué à développer, en particulier BERT, ont eu un impact durable sur le domaine. Elles ont permis un ajustement plus efficace pour les tâches en aval et ont servi de blocs de construction pour les grands modèles de langage ultérieurs et les systèmes d'IA générative. Son travail sur les plongements de phrases a également influencé les approches de similarité sémantique et de récupération de texte.