Iain Murray es profesor en la Universidad de Edimburgo, donde lidera la investigación en aprendizaje automático probabilístico y métodos variacionales. Su trabajo se centra en el desarrollo de algoritmos escalables de inferencia aproximada para modelos bayesianos, con aplicaciones que van desde redes neuronales hasta computación científica. Murray es conocido por sus contribuciones a la inferencia variacional de caja negra y a las técnicas de cadena de Markov Monte Carlo (MCMC), que se han convertido en herramientas fundamentales en el aprendizaje automático moderno.
Murray completó su doctorado en física en la Universidad de Toronto, donde trabajó bajo la supervisión de Geoffrey Hinton, pionero en el aprendizaje profundo. Su investigación doctoral, finalizada en 2005, se centró en métodos de aprendizaje bayesiano para redes neuronales. Posteriormente ocupó puestos postdoctorales en la Universidad de Toronto y la Universidad de Cambridge antes de incorporarse a la facultad de la Universidad de Edimburgo en 2010. A partir de 2025, continúa supervisando estudiantes de doctorado y colabora con investigadores de la Universidad de Toronto y la Universidad de Oxford.
Investigación en Inferencia Probabilística
El área principal de investigación de Murray es la inferencia probabilística, particularmente el desarrollo de métodos variacionales para aproximar distribuciones posteriores intratables. Su artículo de 2013 sobre inferencia variacional de caja negra, coescrito con Rajesh Ranganath y David Blei, introdujo un marco de optimización estocástica que permite aplicar la inferencia variacional a una clase más amplia de modelos sin requerir derivaciones específicas del modelo. Este trabajo ha sido citado más de 2.000 veces a partir de 2024 y se considera una piedra angular en el campo del aprendizaje automático.
También ha realizado contribuciones significativas al Monte Carlo Hamiltoniano, una alternativa de variantes de SGD para muestrear distribuciones de alta dimensión. La investigación de Murray sobre el muestreador No-U-Turn, publicada en 2011 con Matthew Hoffman, proporcionó un método adaptativo para establecer automáticamente los tamaños de paso, lo que mejoró enormemente la usabilidad práctica de MCMC en entornos bayesianos. Este algoritmo ahora está implementado en marcos importantes de programación probabilística como Stan y PyMC.
Métodos Variacionales y Escalabilidad
Un tema clave en el trabajo de Murray es escalar los métodos variacionales a grandes conjuntos de datos y modelos complejos. Ha explorado el uso de gradientes estocásticos y técnicas de optimizador Adam para reducir el costo computacional de la inferencia. En un artículo de 2018, demostró cómo la normalización de capas y la normalización por lotes pueden integrarse en autoencoders variacionales para mejorar la estabilidad del entrenamiento, un resultado que ha influido en investigaciones posteriores en aprendizaje profundo.
Murray también ha investigado las propiedades teóricas de las aproximaciones variacionales, incluidos sus equilibrios entre sesgo y varianza. Su análisis de 2017 del proceso gaussiano variacional, publicado en el Journal of Machine Learning Research, mostró cómo los métodos de puntos inductores pueden combinarse con abandono para lograr una cuantificación de incertidumbre de última generación en tareas de regresión. Este trabajo ha sido ampliamente adoptado en aplicaciones de inteligencia artificial que requieren predicciones calibradas.
Docencia y Mentoría
En la Universidad de Edimburgo, Murray imparte cursos de posgrado sobre aprendizaje automático probabilístico y estadística bayesiana. Sus notas de clase sobre inferencia variacional, disponibles en línea desde 2012, son utilizadas por estudiantes en instituciones como MIT CSAIL y Berkeley AI Research. Ha supervisado a más de 15 estudiantes de doctorado, muchos de los cuales han pasado a ocupar puestos en laboratorios de investigación importantes como Google DeepMind y OpenAI.
Murray también es conocido por sus contribuciones de código abierto. Mantiene el repositorio "Inference for Bayesian Models", que contiene tutoriales y ejemplos de código para implementar estrategias de funciones de pérdida y programas de tasa de aprendizaje en modelos probabilísticos. Este recurso ha sido descargado más de 50.000 veces a partir de 2024 y se cita con frecuencia en materiales educativos.
Reconocimiento e Impacto
El trabajo de Murray ha sido reconocido con varios premios, incluido el Premio al Mejor Artículo en la Conferencia Internacional sobre Aprendizaje Automático de 2015 por su investigación sobre MCMC escalable. Ha sido presidente del programa de la Conferencia sobre Incertidumbre en Inteligencia Artificial en 2019 y editor asociado del Journal of Machine Learning Research de 2016 a 2020. Su índice h supera los 40, con más de 10.000 citas totales a partir de 2025.
Su investigación ha influido en herramientas prácticas en IA generativa, particularmente en el desarrollo de pipelines de entrenamiento de modelos de lenguaje grandes que dependen de una inferencia eficiente. Las colaboraciones de Murray con la industria incluyen proyectos con Amazon Web Services y Azure, donde sus métodos variacionales se han aplicado para mejorar la calibración de modelos en servicios basados en la nube. También ha consultado para Nokia Bell Labs sobre estimación de incertidumbre en sistemas de comunicación.
Direcciones Actuales
A partir de 2025, Murray está explorando la intersección de la inferencia probabilística y las arquitecturas de redes neuronales, particularmente en el contexto de los modelos transformers. Su trabajo reciente investiga cómo los mecanismos de codificación posicional y atención de múltiples cabezas pueden reinterpretarse a través de una lente bayesiana, lo que potencialmente conduciría a sistemas de aprendizaje profundo más interpretables. También participa en proyectos que aplican métodos variacionales a la poda de modelos y la aumentación de datos para el despliegue eficiente de sistemas de IA en dispositivos periféricos.
Murray sigue siendo una voz activa en la comunidad de aprendizaje automático, hablando con frecuencia en conferencias y contribuyendo a debates públicos sobre la fiabilidad de los sistemas de IA. Su compromiso con la ciencia abierta y la investigación reproducible lo ha convertido en una figura respetada entre sus pares en instituciones como Stanford AI Lab y Universidad Carnegie Mellon.