Iain Murray ist Professor an der University of Edinburgh, wo er Forschung im Bereich probabilistisches maschinelles Lernen und Variationsmethoden leitet. Seine Arbeit konzentriert sich auf die Entwicklung skalierbarer Algorithmen für approximative Inferenz in Bayesschen Modellen, mit Anwendungen, die von neuronalen Netzen bis hin zum wissenschaftlichen Rechnen reichen. Murray ist bekannt für seine Beiträge zur Black-Box-Variationsinferenz und zu Markov-Ketten-Monte-Carlo-Techniken (MCMC), die zu grundlegenden Werkzeugen des modernen maschinellen Lernens geworden sind.
Murray promovierte an der University of Toronto in Physik, wo er unter der Betreuung von Geoffrey Hinton, einem Pionier des Deep Learning, arbeitete. Seine Doktorarbeit, die er 2005 abschloss, konzentrierte sich auf Bayessche Lernmethoden für neuronale Netze. Anschließend hatte er Postdoktorandenstellen an der University of Toronto und der University of Cambridge inne, bevor er 2010 eine Professur an der University of Edinburgh antrat. Stand 2025 betreut er weiterhin Doktoranden und arbeitet mit Forschern der University of Toronto und der University of Oxford zusammen.
Forschung zu probabilistischer Inferenz
Murrays Hauptforschungsgebiet ist die probabilistische Inferenz, insbesondere die Entwicklung von Variationsmethoden zur Approximation nicht behandelbarer Posteriori-Verteilungen. Seine Arbeit von 2013 zur Black-Box-Variationsinferenz, die er gemeinsam mit Rajesh Ranganath und David Blei verfasste, führte ein stochastisches Optimierungsframework ein, das die Anwendung der Variationsinferenz auf eine breitere Klasse von Modellen ermöglicht, ohne modellspezifische Ableitungen zu erfordern. Diese Arbeit wurde bis 2024 über 2.000-mal zitiert und gilt als Eckpfeiler des Bereichs maschinelles Lernen.
Er hat außerdem bedeutende Beiträge zum Hamilton-Monte-Carlo-Verfahren geleistet, einer SGD-Variante zur Stichprobengewinnung aus hochdimensionalen Verteilungen. Murrays Forschung zum No-U-Turn-Sampler, die 2011 mit Matthew Hoffman veröffentlicht wurde, lieferte eine adaptive Methode zur automatischen Festlegung der Schrittweiten, was die praktische Anwendbarkeit von MCMC in Bayesschen Kontexten erheblich verbesserte. Dieser Algorithmus ist heute in wichtigen Frameworks für probabilistische Programmierung wie Stan und PyMC implementiert.
Variationsmethoden und Skalierbarkeit
Ein zentrales Thema in Murrays Arbeit ist die Skalierung von Variationsmethoden auf große Datensätze und komplexe Modelle. Er hat den Einsatz von stochastischen Gradienten und Adam-Optimierungstechniken untersucht, um die Rechenkosten der Inferenz zu senken. In einer Arbeit von 2018 zeigte er, wie Layer-Normalisierung und Batch-Normalisierung in Variations-Autoencoder integriert werden können, um die Trainingsstabilität zu verbessern – ein Ergebnis, das die nachfolgende Forschung im Bereich Deep Learning beeinflusst hat.
Murray hat außerdem die theoretischen Eigenschaften von Variationsapproximationen untersucht, einschließlich ihrer Bias-Varianz-Abwägungen. Seine Analyse des variaitonellen Gaußprozesses von 2017, veröffentlicht im Journal of Machine Learning Research, zeigte, wie Induktionspunktmethoden mit Dropout kombiniert werden können, um eine modernste Unsicherheitsquantifizierung in Regressionsaufgaben zu erreichen. Diese Arbeit wurde in Anwendungen der künstlichen Intelligenz weitgehend übernommen, die kalibrierte Vorhersagen erfordern.
Lehre und Betreuung
An der University of Edinburgh unterrichtet Murray Graduiertenkurse zu probabilistischem maschinellem Lernen und Bayesscher Statistik. Seine Vorlesungsskripte zur Variationsinferenz, die seit 2012 online verfügbar sind, werden von Studierenden an Einrichtungen wie dem MIT CSAIL und dem Berkeley AI Research Lab verwendet. Er hat über 15 Doktoranden betreut, von denen viele Positionen an großen Forschungslabors wie Google DeepMind und OpenAI übernommen haben.
Murray ist außerdem für seine Beiträge zu Open-Source-Software bekannt. Er pflegt das Repository „Inference for Bayesian Models“, das Tutorials und Codebeispiele zur Implementierung von Verlustfunktionen und Lernratenplänen in probabilistischen Modellen enthält. Diese Ressource wurde bis 2024 über 50.000-mal heruntergeladen und wird in Lehrmaterialien häufig zitiert.
Anerkennung und Wirkung
Murrays Arbeit wurde mit mehreren Preisen ausgezeichnet, darunter der Best Paper Award auf der International Conference on Machine Learning 2015 für seine Forschung zu skalierbarem MCMC. Von 2016 bis 2020 war er assoziierter Herausgeber des Journal of Machine Learning Research und 2019 Programmleiter der Conference on Uncertainty in Artificial Intelligence. Sein h-Index übersteigt 40, mit über 10.000 Zitationen insgesamt bis 2025.
Seine Forschung hat praktische Werkzeuge im Bereich generative KI beeinflusst, insbesondere bei der Entwicklung von Trainingspipelines für große Sprachmodelle, die auf effizienter Inferenz beruhen. Murrays Kooperationen mit der Industrie umfassen Projekte mit Amazon Web Services und Azure, bei denen seine Variationsmethoden zur Verbesserung der Modellkalibrierung in Cloud-Diensten eingesetzt wurden. Darüber hinaus hat er Nokia Bell Labs zur Unsicherheitsquantifizierung in Kommunikationssystemen beraten.
Aktuelle Ausrichtungen
Stand 2025 erforscht Murray die Schnittstelle von probabilistischer Inferenz und neuronalen Netzen, insbesondere im Kontext von Transformer-Modellen. Seine jüngsten Arbeiten untersuchen, wie positionale Kodierungen und Multi-Head-Aufmerksamkeitsmechanismen durch eine Bayessche Linse neu interpretiert werden können, was möglicherweise zu besser interpretierbaren Deep-Learning-Systemen führt. Er ist außerdem an Projekten beteiligt, die Variationsmethoden auf Modell-Pruning und Datenaugmentierung anwenden, um eine effiziente Bereitstellung von KI-Systemen auf Endgeräten zu ermöglichen.
Murray bleibt eine aktive Stimme in der Gemeinschaft des maschinellen Lernens, hält regelmäßig Vorträge auf Konferenzen und beteiligt sich an öffentlichen Diskussionen über die Zuverlässigkeit von KI-Systemen. Sein Engagement für offene Wissenschaft und reproduzierbare Forschung hat ihm Respekt bei Kollegen an Einrichtungen wie dem Stanford AI Lab und der Carnegie Mellon University eingebracht.