Andrew McCallum est un professeur d'informatique à l'Université du Massachusetts à Amherst, où il dirige le Center for Intelligent Information Retrieval (CIIR). Ses recherches portent sur apprentissage automatique, traitement du langage naturel (NLP) et l'extraction d'informations, avec un accent particulier sur les modèles graphiques probabilistes et leurs applications aux données textuelles et web. McCallum a apporté des contributions influentes dans des domaines tels que les champs aléatoires conditionnels, l'apprentissage semi-supervisé et l'extraction de termes, et a contribué à façonner l'intersection moderne entre l'apprentissage automatique et la compréhension du langage.
Né au début des années 1960, McCallum a obtenu son baccalauréat en informatique au Oberlin College en 1985. Il a ensuite obtenu une maîtrise et un doctorat en informatique de l'Université de Toronto en 1988 et 1995, respectivement. Pendant ses études doctorales, sous la supervision de David H. D. Warren, il a exploré des approches efficaces pour l'analyse syntaxique et l'apprentissage à partir de données linguistiques naturelles. Après l'obtention de son diplôme, il a passé deux ans comme chercheur postdoctoral à l'École d'informatique de l'Université Carnegie Mellon, où il a travaillé sur la classification de textes et l'extraction d'informations à l'aide de modèles statistiques.
Carrière académique et contributions à la recherche
McCallum a rejoint le corps professoral du Laboratoire d'informatique et d'intelligence artificielle du MIT en tant que chercheur scientifique en 1996, où il est resté jusqu'en 1999. Au MIT, il a développé le système de classification de textes Rainbows, qui a popularisé l'utilisation des classificateurs naïfs de Bayes pour le filtrage des courriels et des documents, et a exploré des méthodes pour l'apprentissage trans-domaine et semi-supervisé. En 1999, il est devenu chercheur scientifique principal au laboratoire de recherche indépendant de Pittsburgh, en Pennsylvanie, connu plus tard sous le nom de Center for the Neural Basis of Cognition, et a commencé une collaboration avec le Centre de recherche Xerox Palo Alto sur l'extraction d'informations à partir de la littérature scientifique.
En 2004, McCallum a déménagé à UMass Amherst en tant que professeur associé, et il est professeur titulaire depuis 2007. À UMass, il a fondé le Laboratoire d'extraction et de synthèse d'informations (IESL) et a été chercheur principal sur de nombreux projets financés par la National Science Foundation, la DARPA et des fondations privées. Ses premiers travaux à UMass ont introduit le concept de « champs aléatoires conditionnels » (CRF), qu'il a co-inventé avec John Lafferty et Fernando Pereira en 2001. Les CRF sont devenus une technique fondamentale pour les tâches d'étiquetage séquentiel, telles que la reconnaissance d'entités nommées et l'étiquetage de parties du discours, et sont largement utilisés dans les pipelines modernes de NLP.
Algorithmes et modèles clés
McCallum a développé plusieurs algorithmes influents au-delà des CRF. Ses recherches sur l'apprentissage semi-supervisé, y compris la « maximisation de l'espérance avec données étiquetées » et les méthodes basées sur les graphes, ont contribué à établir des techniques qui exploitent les données non étiquetées pour améliorer les performances des modèles. Il a également travaillé sur des modèles de sujets hiérarchiques, tels que le « mélange de processus de Dirichlet » et les modèles de type « Machado » pour la classification multi-étiquettes, ainsi que sur l'inférence à grande échelle pour les modèles graphiques à l'aide de méthodes variationnelles. Dans les années 2010, son groupe a exploré des approches d'apprentissage profond pour l'extraction d'informations, y compris des architectures convolutionnelles et récurrentes appliquées à l'analyse de citations et à la résolution d'entités. Une contribution notable est la « représentation de mots » apprise via des plongements neuronaux, que McCallum a étudiée en parallèle de word2vec, ainsi que son travail sur la « supervision distante » pour l'extraction de relations, qui utilise des bases de connaissances existantes pour étiqueter automatiquement les données d'entraînement pour la classification des relations.
Leadership en NLP et données ouvertes
McCallum a été un organisateur et un défenseur de premier plan du partage de données et de la reproductibilité en NLP. Il a été co-fondateur de l'initiative « libérez les données » du Laboratoire d'extraction et de synthèse d'informations, qui a rendu disponibles des références à grande échelle pour la communauté de recherche, y compris le « Corpus Jane Austen » et l'ensemble de données « PubMed » pour l'extraction de citations. Il a siégé aux comités de programme de grandes conférences telles que NeurIPS (alors NIPS), ICML et l'Association for Computational Linguistics (ACL), et a été membre du conseil de l'American Association for Artificial Intelligence (AAAI). En 2019, il a co-organisé l'atelier Deep Learning for NLP à NeurIPS et a encadré une génération d'étudiants qui ont ensuite occupé des postes chez OpenAI, Google DeepMind et Anthropic.
Travaux récents et collaboration
Ces dernières années, les recherches de McCallum se sont étendues à des applications multimodales et biomédicales holistiques. Il a collaboré avec des collègues de l'École de médecine de l'UMass et du Broad Institute pour construire des outils d'extraction d'informations pour les notes cliniques et la littérature génomique, y compris le système Lympo pour le phénotypage à partir de dossiers de santé électroniques. Il agit également en tant que consultant pour plusieurs startups d'IA et participe activement aux discussions politiques sur la transparence et l'équité des algorithmes. En 2024, McCallum continue d'enseigner des cours sur l'apprentissage automatique et le NLP, supervise des étudiants au doctorat et dirige le projet Multi-modal Learning for Scientific and Clinical Text / (MLSciNet), qui applique grands modèles de langage à des tâches de découverte scientifique. Ses travaux ont été reconnus avec les prix ACM SIGKDD Test of Time en 2017 (pour l'article de 2005 sur les « classifieurs en cascade » et l'article de 2001 sur les CRF) et il est membre de l'AAAI et de l'ACL.