Ming-Wei Chang est un informaticien et chercheur chez Google DeepMind, reconnu pour ses contributions au traitement automatique du langage naturel (TAL) et aux grands modèles de langage. Il est surtout connu comme co-auteur de l'article sur BERT, qui a introduit un modèle basé sur les transformeurs, faisant considérablement progresser le domaine du apprentissage automatique et devenant une technologie fondatrice de l'intelligence artificielle moderne.
Les travaux de Chang couvrent divers aspects du TAL, notamment les architectures de modèles, les techniques de apprentissage profond et les applications des réseaux neuronaux. Ses recherches ont influencé à la fois la recherche académique et les applications industrielles, en particulier dans la recherche d'informations et la compréhension du langage.
Début de carrière et formation
Chang a obtenu son doctorat en informatique à l'Université de l'Illinois à Urbana-Champaign, où il a travaillé sur l'apprentissage automatique et le TAL. Ses recherches doctorales portaient sur la prédiction structurée et l'apprentissage avec variables latentes, des sujets qui ont ensuite éclairé ses travaux sur les modèles de langage à grande échelle.
Après avoir terminé son doctorat, Chang a rejoint Microsoft Research, où il a contribué à des projets sur le liage d'entités et la population de bases de connaissances. Il a ensuite rejoint Google, où il est devenu membre de l'équipe qui a développé BERT.
BERT et son impact
En 2018, Chang a co-écrit l'article « BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding » avec Jacob Devlin et d'autres collègues. BERT (Bidirectional Encoder Representations from Transformers) a introduit une méthode pour pré-entraîner un modèle transformeur sur un large corpus de texte, puis l'affiner pour des tâches spécifiques. Cette approche a obtenu des résultats de pointe sur une large gamme de références en TAL, notamment la réponse aux questions et l'inférence linguistique.
Le succès de BERT a marqué un tournant dans le TAL, conduisant à l'adoption généralisée des modèles de langage pré-entraînés. Il a influencé des modèles ultérieurs tels que GPT et T5, et son architecture est devenue un bloc de construction standard dans de nombreux grands modèles de langage. Les contributions de Chang à BERT incluent des travaux sur les objectifs d'entraînement et l'évaluation du modèle.
Contributions à la recherche
Au-delà de BERT, Chang a publié de nombreux articles sur des sujets tels que l'apprentissage multitâche, le apprentissage en quelques exemples et l'interprétabilité des modèles. Il a également travaillé sur des systèmes de réponse aux questions et l'extraction d'informations, visant à rendre les systèmes d'IA plus robustes et efficaces.
Chez Google, Chang a participé à des projets qui font le pont entre la recherche et les produits, contribuant à intégrer des techniques avancées de TAL dans la recherche et d'autres services. Son travail met souvent l'accent sur des applications pratiques, comme l'amélioration de la précision de Google Search et l'activation d'interactions plus naturelles avec les assistants IA.
Rôle actuel et influence
En 2025, Chang est chercheur scientifique senior chez Google DeepMind, où il continue d'explorer de nouvelles architectures et méthodes d'entraînement pour les grands modèles de langage. Il contribue également activement à la communauté académique, siégeant dans des comités de programme de grandes conférences comme ACL et NeurIPS.
Les travaux de Chang sont largement cités, et il est considéré comme une figure clé du développement du TAL moderne. Ses recherches ont non seulement fait progresser le domaine, mais ont aussi orienté la direction de l'IA générative, en particulier dans le domaine de la compréhension du langage.
Reconnaissance et récompenses
Chang a reçu plusieurs prix pour ses recherches, notamment des prix du meilleur article lors de grandes conférences. Ses contributions à BERT sont reconnues comme fondamentales pour la vague actuelle de progrès en IA, et il est fréquemment invité à prendre la parole lors d'événements industriels et académiques.
Malgré ses réalisations, Chang reste concentré sur la résolution des défis ouverts en IA, tels que les biais et l'efficacité, et sur la rendre plus accessible et fiable.