Iain Murrayはエディンバラ大学の教授であり、確率的機械学習と変分法の研究を率いています。彼の研究は、ベイズモデル向けのスケーラブルな近似推論アルゴリズムの開発を中心としており、ニューラルネットワークから科学計算まで幅広い応用があります。Murrayは、ブラックボックス変分推論やマルコフ連鎖モンテカルロ法（MCMC）への貢献で知られており、これらの手法は現代の機械学習における基盤ツールとなっています。
Murrayはトロント大学で物理学の博士号を取得し、深層学習の先駆者であるジェフリー・ヒントンの指導を受けました。彼の博士研究は2005年に完了し、ニューラルネットワーク向けのベイズ学習法に焦点を当てていました。その後、トロント大学とケンブリッジ大学で博士研究員を務め、2010年にエディンバラ大学の教員になりました。2025年現在も博士課程学生を指導し続け、トロント大学やオックスフォード大学の研究者と協力しています。
確率的推論研究
Murrayの主要な研究分野は確率的推論であり、特に難解な事後分布を近似するための変分法の開発です。彼の2013年の論文「ブラックボックス変分推論」は、ラジェシュ・ランガナスとデイビッド・ブライと共著で、確率的な最適化枠組みを導入し、変分推論をモデル固有の導出を必要としないより広いモデルクラスに適用可能にしました。この研究は2024年時点で2000回以上引用され、機械学習の分野の基盤と見なされています。
また、包埋空間からのサンプリングにおけるハミルトン・山間のモンテカルロ法にも重要な貢献をしています。ノートターンサンプラーに関する彼の研究は、2011年にマシュー・ホフマンと共著で発表され、ステップサイズを自動的に設定する適応法を提供し、ベイジアン設定でのMCMCの実用性を大幅に向上させました。このアルゴリズムは現在、StanやPyMCなどの主要な確率論的プログラミングフレームワークに実装されています。
変分法とスケーラビリティ
变の研究の重要なテーマは、変分法を大規模データと複雑モデルにスケーリングすることです。彼は推論の計算コストを削減するために確率的勾配やAdam最適化手法を探求しています。2018年の論文では、Layer Normalizationやバッチ正規化が可変オートエンコーダに統合され、トレーニングの安定性を改善できることを示し、この成果はその後の深層学習研究に影響を与えています。
Murrayはまた、変分近似の理論的性質、特にバイアス・バリアンスのグレードオフを研究しています。彼の2017年の変分ガウス過程に関する分析は、Journal of Machine Learning Researchで出版され、誘導点法とDropoutの一種であるdropoutを組み合わせることで、回帰タスクでの不確実性の定量化を大幅に改善できることを示しました。この研究は、較正された予測を必要とする人工知能のユースケースで広く採用されています。
教育とメンタルリング
エディスバラ大学で、Murrayは確率機械学習とBayesian統計学の修士課程を教授しています。彼の変分推論に関する講義ノートは2012年からオンラインで提供され、MITのコンピュータ科学研究所やBAIR (Berkeley AI Research)など国内外の大学で教材として利用されています。彼は15人以上の博士学生を指導し、多くの学生はGoogle DeepMindやOpenAIなどの大手研究所のポストに進んでいます。
Murrayはまた、オープンソースの貢献でも知られています。彼は「Logical Bayesian Modelsの推論」リポジトリを維持しており、これには損失関数や学習率スケジュールを確率的なモデルで実装するためのチュートリアルやコード例が含まれています。このリソースは2024年時点で50,000回以上ダウンロードされ、教育資料で頻繁に引用されています。
認知と影響
Murrayの研究は、2015年のInternational Conference on Machine Learningでのベストペーパー賞を受賞するなど、多くの賞で表彰されています。彼は2019年のConference on Uncertainty in Artificial Intelligenceのプログラムチェアを務め、2016年から2020年までJournal of Machine Learning Researchの編集者を務めました。彼のh指数は40超で、2025年時点で10,000件以上の引用があります。
彼の研究は、生成AI生成AIのツール、特に効率の良い推論に依存するLarge language modelの訓練パイプラインの発展に影響を与えています。Murrayの産業との協働にはamazon web serviceやMicrosoft Azureとのプロジェクトが含まれ、クラウドサービスのモデルキャリブレーションの改善に変分法が応用されています。また、Nokia Bell研究所に無線通信システムの不確密推定方法のコンサルタントを務めました。
現在の研究ディレクター
2025年現在、Murrayは確率推論とニューラルネットワーク構造の交わりを研究しており、特にTransformer (architecture)モデルの文脈で研究しています。彼の最新の研究は、エンコードやmulti level attentionのメカニズムをベイズの視点から解催することで、より解釈可能なDeep learningシステムを実現する可能性を検証しています。また、モデルプレーニングやデータ拡張を確率メタ法を適用して、エッジデバイスでAIシステムの効率的なディー適用を目指すプロジェクトにも参画しています。
Murrayは、確実な機械学コミュニティで活動を続け、カンファレンスでの講演や信賴性におけるAIシステムの信頼性についての議論への貢献を行っています。彼のオープンな強いコミットメントは、スタンフォードAI研究所やcarnegie performance・universityなどの施設の同業者から尊敬されています。