Iain Murray é Professor na Universidade de Edimburgo, onde lidera pesquisas em aprendizado de máquina probabilístico e métodos variacionais. Seu trabalho concentra-se no desenvolvimento de algoritmos de inferência aproximada escaláveis para modelos bayesianos, com aplicações que vão de redes neurais a computação científica. Murray é conhecido por suas contribuições à inferência variacional de caixa-preta e às técnicas de Monte Carlo via Cadeias de Markov (MCMC), que se tornaram ferramentas fundamentais no aprendizado de máquina moderno.
Murray concluiu seu doutorado em física na Universidade de Toronto, onde trabalhou sob a supervisão de Geoffrey Hinton, um pioneiro em aprendizado profundo. Sua pesquisa de doutorado, concluída em 2005, focou em métodos de aprendizado bayesiano para redes neurais. Posteriormente, ocupou posições de pós-doutorado na Universidade de Toronto e na Universidade de Cambridge antes de ingressar no corpo docente da Universidade de Edimburgo em 2010. Em 2025, ele continua a supervisionar estudantes de doutorado e colabora com pesquisadores da Universidade de Toronto e da Universidade de Oxford.
Pesquisa em Inferência Probabilística
A principal área de pesquisa de Murray é a inferência probabilística, particularmente o desenvolvimento de métodos variacionais para aproximar distribuições posteriores intratáveis. Seu artigo de 2013 sobre inferência variacional de caixa-preta, coautorado com Rajesh Ranganath e David Blei, introduziu um framework de otimização estocástica que permite aplicar inferência variacional a uma classe mais ampla de modelos sem exigir derivações específicas de modelo. Este trabalho foi citado mais de 2.000 vezes em 2024 e é considerado uma pedra angular no campo do aprendizado de máquina.
Ele também fez contribuições significativas ao Monte Carlo Hamiltoniano, uma alternativa variante de SGD para amostragem de distribuições de alta dimensão. A pesquisa de Murray sobre o Amostrador No-U-Turn, publicada em 2011 com Matthew Hoffman, forneceu um método adaptativo para definir automaticamente os tamanhos de passo, o que melhorou muito a usabilidade prática do MCMC em contextos bayesianos. Este algoritmo agora é implementado em principais frameworks de programação probabilística, como Stan e PyMC.
Métodos Variacionais e Escalabilidade
Um tema central no trabalho de Murray é escalar métodos variacionais para grandes conjuntos de dados e modelos complexos. Ele explorou o uso de gradientes estocásticos e técnicas otimizador Adam para reduzir o custo computacional da inferência. Em um artigo de 2018, ele demonstrou como normalização de camada e normalização de lote podem ser integradas a autoencoders variacionais para melhorar a estabilidade do treinamento, um resultado que influenciou pesquisas subsequentes em aprendizado profundo.
Murray também investigou as propriedades teóricas das aproximações variacionais, incluindo seus trade-offs de viés-variância. Sua análise de 2017 do processo gaussiano variacional, publicada no Journal of Machine Learning Research, mostrou como métodos de pontos indutores podem ser combinados com Dropout para alcançar quantificação de incerteza de ponta em tarefas de regressão. Este trabalho foi amplamente adotado em aplicações de inteligência artificial que exigem previsões calibradas.
Ensino e Mentoria
Na Universidade de Edimburgo, Murray ministra cursos de pós-graduação sobre aprendizado de máquina probabilístico e estatística bayesiana. Suas notas de aula sobre inferência variacional, disponíveis online desde 2012, são usadas por estudantes em instituições como MIT CSAIL e Berkeley AI Research. Ele supervisionou mais de 15 estudantes de doutorado, muitos dos quais seguiram para posições em grandes laboratórios de pesquisa como Google DeepMind e OpenAI.
Murray também é conhecido por suas contribuições de código aberto. Ele mantém o repositório "Inference for Bayesian Models", que contém tutoriais e exemplos de código para implementar estratégias de funções de perda e agendamento de taxa de aprendizado em modelos probabilísticos. Este recurso foi baixado mais de 50.000 vezes em 2024 e é frequentemente citado em materiais educacionais.
Reconhecimento e Impacto
O trabalho de Murray foi reconhecido com vários prêmios, incluindo o Prêmio de Melhor Artigo na Conferência Internacional de Aprendizado de Máquina de 2015 por sua pesquisa sobre MCMC escalável. Ele atuou como presidente de programa da Conferência sobre Incerteza em Inteligência Artificial em 2019 e como editor associado do Journal of Machine Learning Research de 2016 a 2020. Seu índice h excede 40, com mais de 10.000 citações totais em 2025.
Sua pesquisa influenciou ferramentas práticas em IA generativa, particularmente no desenvolvimento de pipelines de treinamento de modelos de linguagem de grande escala que dependem de inferência eficiente. As colaborações de Murray com a indústria incluem projetos com Amazon Web Services e Azure, onde seus métodos variacionais foram aplicados para melhorar a calibração de modelos em serviços baseados em nuvem. Ele também consultou para Nokia Bell Labs sobre estimativa de incerteza em sistemas de comunicação.
Direções Atuais
Em 2025, Murray está explorando a interseção entre inferência probabilística e arquiteturas de redes neurais, particularmente no contexto de modelos transformer. Seu trabalho recente investiga como mecanismos de codificação posicional e atenção multi-cabeça podem ser reinterpretados através de uma lente bayesiana, potencialmente levando a sistemas de aprendizado profundo mais interpretáveis. Ele também está envolvido em projetos que aplicam métodos variacionais a poda de modelos e aumento de dados para implantação eficiente de sistemas de IA em dispositivos de borda.
Murray permanece uma voz ativa na comunidade de aprendizado de máquina, falando frequentemente em conferências e contribuindo para discussões públicas sobre a confiabilidade dos sistemas de IA. Seu compromisso com a ciência aberta e pesquisa reproduzível o tornou uma figura respeitada entre colegas em instituições como Stanford AI Lab e Universidade Carnegie Mellon.