Iain Murray est un professeur à l'Université d'Édimbourg, où il dirige des recherches en apprentissage automatique probabiliste et en méthodes variationnelles. Ses travaux se concentrent sur le développement d'algorithmes d'inférence approximative évolutifs pour les modèles bayésiens, avec des applications allant des réseaux de neurones au calcul scientifique. Murray est connu pour ses contributions à l'inférence variationnelle en boîte noire et aux techniques de Monte Carlo par chaînes de Markov (MCMC), qui sont devenues des outils fondamentaux dans l'apprentissage automatique moderne.
Murray a obtenu son doctorat en physique à l'Université de Toronto, où il a travaillé sous la supervision de Geoffrey Hinton, un pionnier de l'apprentissage profond. Ses recherches doctorales, achevées en 2005, se sont concentrées sur les méthodes d'apprentissage bayésien pour les réseaux de neurones. Il a ensuite occupé des postes postdoctoraux à l'Université de Toronto et à l'Université de Cambridge avant de rejoindre le corps professoral de l'Université d'Édimbourg en 2010. En 2025, il continue de superviser des étudiants au doctorat et collabore avec des chercheurs de l'Université de Toronto et de l'Université d'Oxford.
Recherche en Inférence Probabiliste
Le principal domaine de recherche de Murray est l'inférence probabiliste, en particulier le développement de méthodes variationnelles pour approximer des distributions postérieures intraitées. Son article de 2013 sur l'inférence variationnelle en boîte noire, co-écrit avec Rajesh Ranganath et David Blei, a introduit un cadre d'optimisation stochastique qui permet d'appliquer l'inférence variationnelle à une classe plus large de modèles sans nécessiter de dérivations spécifiques au modèle. Ce travail a été cité plus de 2 000 fois en 2024 et est considéré comme une pierre angulaire dans le domaine de l'apprentissage automatique.
Il a également apporté des contributions significatives au Monte Carlo hamiltonien, une alternative variantes de SGD pour échantillonner des distributions de haute dimension. Les recherches de Murray sur l'échantillonneur No-U-Turn, publiées en 2011 avec Matthew Hoffman, ont fourni une méthode adaptative pour définir automatiquement les tailles de pas, ce qui a grandement amélioré l'utilisabilité pratique des MCMC dans des contextes bayésiens. Cet algorithme est maintenant implémenté dans des frameworks majeurs de programmation probabiliste tels que Stan et PyMC.
Méthodes Variationnelles et Évolutivité
Un thème clé dans les travaux de Murray est l'évolutivité des méthodes variationnelles pour de grands ensembles de données et des modèles complexes. Il a exploré l'utilisation de gradients stochastiques et de techniques optimiseur Adam pour réduire le coût computationnel de l'inférence. Dans un article de 2018, il a démontré comment la normalisation de couche et la normalisation par lot peuvent être intégrées dans des autoencodeurs variationnels pour améliorer la stabilité de l'entraînement, un résultat qui a influencé les recherches ultérieures en apprentissage profond.
Murray a également étudié les propriétés théoriques des approximations variationnelles, y compris leurs compromis biais-variance. Son analyse de 2017 du processus gaussien variationnel, publiée dans le Journal of Machine Learning Research, a montré comment les méthodes de points inducteurs peuvent être combinées avec le abandon pour obtenir une quantification de l'incertitude à la pointe de la technologie dans les tâches de régression. Ce travail a été largement adopté dans des applications d'intelligence artificielle nécessitant des prédictions calibrées.
Enseignement et Mentorat
À l'Université d'Édimbourg, Murray enseigne des cours de troisième cycle sur l'apprentissage automatique probabiliste et les statistiques bayésiennes. Ses notes de cours sur l'inférence variationnelle, disponibles en ligne depuis 2012, sont utilisées par des étudiants d'institutions telles que le MIT CSAIL et la recherche en IA de Berkeley. Il a supervisé plus de 15 étudiants au doctorat, dont beaucoup ont poursuivi des carrières dans des laboratoires de recherche majeurs comme Google DeepMind et OpenAI.
Murray est également connu pour ses contributions open-source. Il maintient le dépôt "Inference for Bayesian Models", qui contient des tutoriels et des exemples de code pour implémenter des stratégies de fonctions de perte et de planification du taux d'apprentissage dans des modèles probabilistes. Cette ressource a été téléchargée plus de 50 000 fois en 2024 et est fréquemment citée dans les supports pédagogiques.
Reconnaissance et Impact
Les travaux de Murray ont été reconnus par plusieurs prix, notamment le prix du meilleur article à la Conférence internationale sur l'apprentissage automatique de 2015 pour ses recherches sur les MCMC évolutifs. Il a été président du programme de la Conférence sur l'incertitude en intelligence artificielle en 2019 et rédacteur associé pour le Journal of Machine Learning Research de 2016 à 2020. Son indice h dépasse 40, avec plus de 10 000 citations totales en 2025.
Ses recherches ont influencé des outils pratiques dans le IA générative, en particulier dans le développement de pipelines d'entraînement modèles de langage de grande taille qui reposent sur une inférence efficace. Les collaborations de Murray avec l'industrie incluent des projets avec Amazon Web Services et Azure, où ses méthodes variationnelles ont été appliquées pour améliorer la calibration des modèles dans des services cloud. Il a également été consultant pour Nokia Bell Labs sur l'estimation de l'incertitude dans les systèmes de communication.
Directions Actuelles
En 2025, Murray explore l'intersection de l'inférence probabiliste et des architectures de réseaux de neurones, en particulier dans le contexte des modèles transformers. Ses travaux récents examinent comment l'encodage positionnel et les mécanismes d'attention multi-têtes peuvent être réinterprétés à travers une perspective bayésienne, ce qui pourrait mener à des systèmes d'apprentissage profond plus interprétables. Il est également impliqué dans des projets appliquant des méthodes variationnelles à l'élagage de modèles et à la augmentation de données pour un déploiement efficace des systèmes d'IA sur des appareils périphériques.
Murray reste une voix active dans la communauté de l'apprentissage automatique, parlant fréquemment lors de conférences et contribuant aux discussions sur la fiabilité des systèmes d'IA. Son engagement envers la science ouverte et la recherche reproductible en fait une figure respectée parmi ses pairs dans des institutions comme le laboratoire d'IA de Stanford et la Université Carnegie-Mellon.