Andrew McCallum ist Professor für Informatik an der University of Massachusetts Amherst, wo er das Center for Intelligent Information Retrieval (CIIR) leitet. Seine Forschung konzentriert sich auf maschinelles Lernen, natürliche Sprachverarbeitung (NLP) und Informationsextraktion, mit besonderem Schwerpunkt auf probabilistischen grafischen Modellen und deren Anwendungen auf Text- und Webdaten. McCallum hat maßgebliche Beiträge in Bereichen wie Conditional Random Fields, halbüberwachtem Lernen und Termextraktion geleistet und die moderne Schnittstelle von maschinellem Lernen und Sprachverständnis mitgeprägt.
Geboren in den frühen 1960er Jahren, erwarb McCallum seinen Bachelor of Arts in Informatik am Oberlin College im Jahr 1985. Anschließend erlangte er seinen Master of Science und seinen PhD in Informatik an der University of Toronto in den Jahren 1988 bzw. 1995. Während seiner Doktorarbeit unter der Betreuung von David H. D. Warren untersuchte er effiziente Ansätze zum Parsen und Lernen aus natürlichen Sprachdaten. Nach seinem Abschluss verbrachte er zwei Jahre als Postdoktorand an der Carnegie Mellon University in der School of Computer Science, wo er an Textklassifikation und Informationsextraktion mithilfe statistischer Modelle arbeitete.
Akademische Laufbahn und Forschungsbeiträge
McCallum trat 1996 als Forschungswissenschaftler dem MIT Computer Science and Artificial Intelligence Laboratory bei, wo er bis 1999 tätig war. Am MIT entwickelte er das Rainbows-Textklassifikationssystem, das die Verwendung von Naive-Bayes-Klassifikatoren für E-Mail- und Dokumentenfilterung populär machte, und erforschte Methoden für domänenübergreifendes und halbüberwachtes Lernen. 1999 wurde er leitender Forschungswissenschaftler am unabhängigen Forschungslabor in Pittsburgh, Pennsylvania, das später als Center for the Neural Basis of Cognition bekannt wurde, und begann eine Zusammenarbeit mit dem Xerox Palo Alto Research Center zur Informationsextraktion aus wissenschaftlicher Literatur.
2004 wechselte McCallum als außerordentlicher Professor an die UMass Amherst und ist seit 2007 ordentlicher Professor. Dort gründete er das Information Extraction and Synthesis Laboratory (IESL) und war als Hauptforscher an zahlreichen Projekten beteiligt, die von der National Science Foundation, DARPA und privaten Stiftungen gefördert wurden. Seine frühe Arbeit an der UMass führte zur Einführung der "Conditional Random Fields" (CRFs), die er 2001 gemeinsam mit John Lafferty und Fernando Pereira entwickelte. CRFs wurden zu einer grundlegenden Technik für sequenzielle Beschriftungsaufgaben wie Named-Entity-Erkennung und Part-of-Speech-Tagging und sind in modernen NLP-Pipelines weit verbreitet.
Wichtige Algorithmen und Modelle
McCallum hat mehrere einflussreiche Algorithmen über CRFs hinaus entwickelt. Seine Forschung zum halbüberwachten Lernen, einschließlich der "Expectation-Maximization mit beschrifteten Daten" und graphbasierter Methoden, trug zur Etablierung von Techniken bei, die unbeschriftete Daten nutzen, um die Modellleistung zu verbessern. Er arbeitete auch an hierarchischen Themenmodellen, wie dem "Dirichlet-Prozess-Mischmodell" und "Machado-ähnlichen" Ansätzen für die Multi-Label-Klassifikation, sowie an skalierbarer Inferenz für grafische Modelle mithilfe variationeller Methoden. In den 2010er Jahren erforschte seine Gruppe Deep-Learning-Ansätze für die Informationsextraktion, darunter konvolutionelle und rekurrente Architekturen, die auf Zitationsparsing und Entitätsauflösung angewendet wurden. Ein bemerkenswerter Beitrag sind die "Wortrepräsentationen", die durch neuronale Einbettungen gelernt werden und die McCallum parallel zu word2vec erforschte, sowie seine Arbeit zur "Distant Supervision" für die Relationsextraktion, die vorhandene Wissensbasen nutzt, um Trainingsdaten für die Relationsklassifikation automatisch zu erstellen.
Führungsrolle in NLP und offenen Daten
McCallum ist ein prominenter Organisator und Befürworter von Datenaustausch und Reproduzierbarkeit in der NLP. Er war Mitbegründer der Initiative "Release the Data" des Information Extraction and Synthesis Laboratory, die umfangreiche Benchmarks für die Forschungsgemeinschaft bereitstellte, darunter das "Jane-Austen-Korpus" und den "PubMed"-Datensatz für die Zitationsextraktion. Er war Mitglied in Programmkomitees großer Konferenzen wie NeurIPS (damals NIPS), ICML und der Association for Computational Linguistics (ACL) und war Mitglied des Council der American Association for Artificial Intelligence (AAAI). 2019 organisierte er den Deep-Learning-Workshop für NLP bei NeurIPS mit und hat eine Generation von Studierenden betreut, die anschließend Positionen bei OpenAI, Google DeepMind und Anthropic übernahmen.
Aktuelle Arbeiten und Zusammenarbeit
In den letzten Jahren hat sich McCallums Forschung auf multimodale und biomedizinische Anwendungen ausgeweitet. Er arbeitet mit Kollegen an der UMass Medical School und dem Broad Institute zusammen, um Werkzeuge zur Informationsextraktion für klinische Notizen und Genomik zu entwickeln, einschließlich des Lympo-Systems zur Phänotypisierung aus elektronischen Gesundheitsakten. Darüber hinaus ist er als Berater für mehrere KI-Startups tätig und engagiert sich in politischen Diskussionen über Transparenz und Fairness in Algorithmen. Stand 2024 unterrichtet McCallum weiterhin Kurse zu maschinellem Lernen und NLP, betreut Doktoranden und leitet das Multi-modal Learning for Scientific Text / (MLSciNet)-Projekt, das große Sprachmodelle auf wissenschaftliche Entdeckungsaufgaben anwendet. Seine Arbeit wurde mit dem ACM SIGKDD Test of Time Award in den Jahren 2017 und 2023 ausgezeichnet (für die Arbeiten über "Cascaded Classifiers" von 2005 bzw. die CRF-Arbeit von 2001), und er ist Fellow der AAAI und der ACL.