Iain Murray는 에든버러 대학교의 교수로, 확률적 머신러닝과 변분 방법 연구를 이끌고 있다. 그의 연구는 베이지안 모델을 위한 확장 가능한 근사 추론 알고리즘 개발에 중점을 두며, 신경망부터 과학 컴퓨팅까지 다양한 응용 분야를 포함한다. Murray는 블랙박스 변분 추론과 마르코프 체인 몬테카를로(MCMC) 기법에 대한 기여로 잘 알려져 있으며, 이는 현대 머신러닝의 기초 도구가 되었다.
Murray는 토론토 대학교에서 물리학 박사 학위를 취득했으며, 딥러닝의 선구자인 Geoffrey Hinton의 지도 아래 연구를 수행했다. 2005년에 완성된 그의 박사 연구는 신경망을 위한 베이지안 학습 방법에 초점을 맞췄다. 이후 토론토 대학교와 케임브리지 대학교에서 박사후 연구원으로 재직했으며, 2010년 에든버러 대학교 교수진에 합류했다. 2025년 현재 그는 박사 과정 학생들을 계속 지도하고 있으며 토론토 대학교와 옥스퍼드 대학교의 연구자들과 협력하고 있다.
확률적 추론 연구
Murray의 주요 연구 분야는 확률적 추론, 특히 다루기 어려운 사후 분포를 근사하기 위한 변분 방법 개발이다. Rajesh Ranganath 및 David Blei와 공동 저술한 2013년 블랙박스 변분 추론 논문은 모델별 유도 없이 더 넓은 클래스의 모델에 변분 추론을 적용할 수 있게 하는 확률적 최적화 프레임워크를 도입했다. 이 연구는 2024년 기준 2,000회 이상 인용되었으며 머신러닝 분야의 초석으로 간주된다.
그는 또한 고차원 분포에서 샘플링하기 위한 SGD 변형 대안인 해밀턴 몬테카를로에 상당한 기여를 했다. Matthew Hoffman과 2011년에 발표한 No-U-Turn Sampler에 대한 Murray의 연구는 단계 크기를 자동으로 설정하는 적응형 방법을 제공하여 베이지안 환경에서 MCMC의 실용적 사용성을 크게 개선했다. 이 알고리즘은 현재 Stan 및 PyMC와 같은 주요 확률적 프로그래밍 프레임워크에 구현되어 있다.
변분 방법과 확장성
Murray 연구의 핵심 주제는 변분 방법을 대규모 데이터셋과 복잡한 모델로 확장하는 것이다. 그는 추론의 계산 비용을 줄이기 위해 확률적 기울기와 Adam 최적화 기법의 사용을 탐구했다. 2018년 논문에서 그는 레이어 정규화와 배치 정규화를 변분 오토인코더에 통합하여 훈련 안정성을 개선하는 방법을 시연했으며, 이 결과는 이후 딥러닝 연구에 영향을 미쳤다.
Murray는 또한 변분 근사의 이론적 특성, 특히 편향-분산 트레이드오프를 조사했다. Journal of Machine Learning Research에 게재된 2017년 변분 가우시안 프로세스 분석에서 유도점 방법을 드롭아웃과 결합하여 회귀 작업에서 최첨단 불확실성 정량화를 달성하는 방법을 보여주었다. 이 연구는 보정된 예측이 필요한 인공지능 응용 분야에서 널리 채택되었다.
교육 및 멘토링
에든버러 대학교에서 Murray는 확률적 머신러닝과 베이지안 통계에 관한 대학원 과정을 가르친다. 2012년부터 온라인으로 제공되는 그의 변분 추론 강의 노트는 MIT CSAIL과 버클리 AI 연구소를 포함한 기관의 학생들이 사용한다. 그는 15명 이상의 박사 과정 학생을 지도했으며, 그중 다수는 Google DeepMind와 OpenAI 같은 주요 연구소의 직책을 맡았다.
Murray는 오픈소스 기여로도 잘 알려져 있다. 그는 확률적 모델에서 손실 함수와 학습률 스케줄 전략을 구현하기 위한 튜토리얼과 코드 예제가 포함된 "Inference for Bayesian Models" 저장소를 유지 관리한다. 이 자료는 2024년 기준 50,000회 이상 다운로드되었으며 교육 자료에서 자주 인용된다.
인정과 영향
Murray의 연구는 2015년 국제 머신러닝 컨퍼런스에서 확장 가능한 MCMC 연구로 최우수 논문상을 포함한 여러 상을 수상했다. 그는 2019년 불확실성 인공지능 컨퍼런스의 프로그램 위원장을 역임했으며 2016년부터 2020년까지 Journal of Machine Learning Research의 부편집장으로 활동했다. 그의 h-지수는 40을 초과하며 2025년 기준 총 인용 수는 10,000회 이상이다.
그의 연구는 생성형 AI의 실용적 도구, 특히 효율적인 추론에 의존하는 대규모 언어 모델 훈련 파이프라인 개발에 영향을 미쳤다. Murray의 산업계 협력에는 Amazon Web Services 및 Azure와의 프로젝트가 포함되며, 그의 변분 방법은 클라우드 기반 서비스의 모델 보정을 개선하는 데 적용되었다. 그는 또한 Nokia Bell Labs와 통신 시스템의 불확실성 추정에 관한 자문을 수행했다.
현재 방향
2025년 현재 Murray는 확률적 추론과 신경망 아키텍처의 교차점, 특히 트랜스포머 모델의 맥락에서 이를 탐구하고 있다. 그의 최근 연구는 위치 인코딩과 멀티헤드 어텐션 메커니즘을 베이지안 관점에서 재해석하여 더 해석 가능한 딥러닝 시스템을 개발할 가능성을 조사한다. 그는 또한 엣지 디바이스에서 AI 시스템의 효율적 배포를 위해 변분 방법을 모델 가지치기와 데이터 증강에 적용하는 프로젝트에 참여하고 있다.
Murray는 머신러닝 커뮤니티에서 활발한 목소리를 내며, 컨퍼런스에서 자주 연설하고 AI 시스템의 신뢰성에 대한 공개 토론에 기여하고 있다. 개방형 과학과 재현 가능한 연구에 대한 그의 헌신은 스탠포드 AI 연구소와 카네기 멜론 대학교 같은 기관의 동료들 사이에서 존경받는 인물로 만들었다.