Iain Murray एडिनबर्ग विश्वविद्यालय में प्रोफेसर हैं, जहाँ वे प्रोबेबिलिस्टिक मशीन लर्निंग और वैरिएशनल विधियों में शोध का नेतृत्व करते हैं। उनका कार्य बायेसियन मॉडलों के लिए स्केलेबल अनुमानित अनुमान एल्गोरिदम विकसित करने पर केंद्रित है, जिसके अनुप्रयोग न्यूरल नेटवर्क से लेकर वैज्ञानिक कंप्यूटिंग तक हैं। मरे को ब्लैक-बॉक्स वैरिएशनल इन्फ्रेंस और मार्कोव चेन मोंटे कार्लो (MCMC) तकनीकों में उनके योगदान के लिए जाना जाता है, जो आधुनिक मशीन लर्निंग में मौलिक उपकरण बन गए हैं।
मरे ने टोरंटो विश्वविद्यालय से भौतिकी में पीएचडी पूरी की, जहाँ उन्होंने डीप लर्निंग के अग्रणी जेफ्री हिंटन के मार्गदर्शन में काम किया। 2005 में पूरा हुआ उनका डॉक्टरेट शोध, न्यूरल नेटवर्क के लिए बायेसियन लर्निंग विधियों पर केंद्रित था। इसके बाद उन्होंने 2010 में एडिनबर्ग विश्वविद्यालय में संकाय में शामिल होने से पहले टोरंटो विश्वविद्यालय और कैम्ब्रिज विश्वविद्यालय में पोस्टडॉक्टोरल पदों पर कार्य किया। 2025 तक, वे डॉक्टरेट छात्रों का पर्यवेक्षण जारी रखते हैं और टोरंटो विश्वविद्यालय और ऑक्सफोर्ड विश्वविद्यालय के शोधकर्ताओं के साथ सहयोग करते हैं।
प्रोबेबिलिस्टिक इन्फ्रेंस शोध
मरे का प्राथमिक शोध क्षेत्र प्रोबेबिलिस्टिक इन्फ्रेंस है, विशेष रूप से अव्यवहार्य पोस्टीरियर वितरणों का अनुमान लगाने के लिए वैरिएशनल विधियों का विकास। राजेश रंगनाथ और डेविड ब्लेई के साथ सह-लेखित उनका 2013 का पेपर ब्लैक-बॉक्स वैरिएशनल इन्फ्रेंस पर, एक स्टोकेस्टिक अनुकूलन ढांचा प्रस्तुत करता है जो वैरिएशनल इन्फ्रेंस को मॉडल-विशिष्ट व्युत्पत्तियों की आवश्यकता के बिना मॉडलों की एक व्यापक श्रेणी पर लागू करने की अनुमति देता है। 2024 तक इस कार्य को 2,000 से अधिक बार उद्धृत किया गया है और इसे मशीन लर्निंग के क्षेत्र में एक आधारशिला माना जाता है।
उन्होंने हैमिल्टनियन मोंटे कार्लो में भी महत्वपूर्ण योगदान दिया है, जो उच्च-आयामी वितरणों से नमूना लेने के लिए एक SGD-वेरिएंट विकल्प है। मैथ्यू हॉफमैन के साथ 2011 में प्रकाशित नो-यू-टर्न सैंपलर पर मरे का शोध, चरण आकार स्वचालित रूप से सेट करने के लिए एक अनुकूली विधि प्रदान करता है, जिसने बायेसियन सेटिंग्स में MCMC की व्यावहारिक उपयोगिता में काफी सुधार किया। यह एल्गोरिदम अब स्टैन और PyMC जैसे प्रमुख प्रोबेबिलिस्टिक प्रोग्रामिंग ढांचों में लागू है।
वैरिएशनल विधियाँ और स्केलेबिलिटी
मरे के कार्य में एक प्रमुख विषय बड़े डेटासेट और जटिल मॉडलों के लिए वैरिएशनल विधियों को स्केल करना है। उन्होंने अनुमान की कम्प्यूटेशनल लागत को कम करने के लिए स्टोकेस्टिक ग्रेडिएंट और Adam-ऑप्टिमाइज़र तकनीकों के उपयोग का पता लगाया है। 2018 के एक पेपर में, उन्होंने दिखाया कि लेयर-नॉर्मलाइज़ेशन और बैच-नॉर्मलाइज़ेशन को प्रशिक्षण स्थिरता में सुधार के लिए वैरिएशनल ऑटोएन्कोडर में कैसे एकीकृत किया जा सकता है, एक परिणाम जिसने डीप लर्निंग में बाद के शोध को प्रभावित किया है।
मरे ने वैरिएशनल अनुमानों के सैद्धांतिक गुणों की भी जांच की है, जिसमें उनके बायस-वेरिएंस ट्रेड-ऑफ शामिल हैं। जर्नल ऑफ मशीन लर्निंग रिसर्च में प्रकाशित उनका 2017 का वैरिएशनल गॉसियन प्रोसेस का विश्लेषण, दिखाता है कि ड्रॉपआउट के साथ इंड्यूसिंग पॉइंट विधियों को कैसे जोड़ा जा सकता है ताकि रिग्रेशन कार्यों में अत्याधुनिक अनिश्चितता मात्रा निर्धारण प्राप्त किया जा सके। यह कार्य कैलिब्रेटेड भविष्यवाणियों की आवश्यकता वाले आर्टिफिशियल इंटेलिजेंस अनुप्रयोगों में व्यापक रूप से अपनाया गया है।
शिक्षण और मेंटरशिप
एडिनबर्ग विश्वविद्यालय में, मरे प्रोबेबिलिस्टिक मशीन लर्निंग और बायेसियन सांख्यिकी पर स्नातक पाठ्यक्रम पढ़ाते हैं। 2012 से ऑनलाइन उपलब्ध वैरिएशनल इन्फ्रेंस पर उनके व्याख्यान नोट्स, MIT-CSAIL और बर्कले AI-रिसर्च सहित संस्थानों के छात्रों द्वारा उपयोग किए जाते हैं। उन्होंने 15 से अधिक पीएचडी छात्रों का पर्यवेक्षण किया है, जिनमें से कई Google DeepMind और OpenAI जैसी प्रमुख शोध प्रयोगशालाओं में पदों पर गए हैं।
मरे अपने ओपन-सोर्स योगदान के लिए भी जाने जाते हैं। वे "इन्फ्रेंस फॉर बायेसियन मॉडल्स" रिपॉजिटरी बनाए रखते हैं, जिसमें प्रोबेबिलिस्टिक मॉडलों में लॉस-फंक्शन और लर्निंग-रेट-शेड्यूल रणनीतियों को लागू करने के लिए ट्यूटोरियल और कोड उदाहरण शामिल हैं। 2024 तक इस संसाधन को 50,000 से अधिक बार डाउनलोड किया गया है और शैक्षिक सामग्रियों में अक्सर उद्धृत किया जाता है।
मान्यता और प्रभाव
मरे के कार्य को कई पुरस्कारों से मान्यता दी गई है, जिसमें स्केलेबल MCMC पर उनके शोध के लिए 2015 इंटरनेशनल कॉन्फ्रेंस ऑन मशीन लर्निंग में सर्वश्रेष्ठ पेपर पुरस्कार शामिल है। उन्होंने 2019 में कॉन्फ्रेंस ऑन अनसर्टेन्टी इन आर्टिफिशियल इंटेलिजेंस के कार्यक्रम अध्यक्ष और 2016 से 2020 तक जर्नल ऑफ मशीन लर्निंग रिसर्च के सहयोगी संपादक के रूप में कार्य किया है। 2025 तक उनका h-इंडेक्स 40 से अधिक है, जिसमें 10,000 से अधिक कुल उद्धरण हैं।
उनके शोध ने जनरेटिव AI में व्यावहारिक उपकरणों को प्रभावित किया है, विशेष रूप से लार्ज-लैंग्वेज-मॉडल प्रशिक्षण पाइपलाइनों के विकास में जो कुशल अनुमान पर निर्भर करते हैं। मरे के उद्योग के साथ सहयोग में Amazon Web Services और Azure के साथ परियोजनाएं शामिल हैं, जहाँ उनके वैरिएशनल विधियों को क्लाउड-आधारित सेवाओं में मॉडल कैलिब्रेशन में सुधार के लिए लागू किया गया है। उन्होंने संचार प्रणालियों में अनिश्चितता अनुमान पर Nokia Bell Labs के लिए भी परामर्श दिया है।
वर्तमान दिशाएँ
2025 तक, मरे प्रोबेबिलिस्टिक इन्फ्रेंस और न्यूरल-नेटवर्क आर्किटेक्चर के प्रतिच्छेदन की खोज कर रहे हैं, विशेष रूप से ट्रांसफॉर्मर मॉडलों के संदर्भ में। उनका हालिया कार्य जांचता है कि पोजीशनल-एन्कोडिंग और मल्टी-हेड-अटेंशन तंत्रों को बायेसियन लेंस के माध्यम से कैसे पुनर्व्याख्यायित किया जा सकता है, जो संभावित रूप से अधिक व्याख्यात्मक डीप-लर्निंग प्रणालियों की ओर ले जाता है। वे एज डिवाइसों पर AI प्रणालियों के कुशल परिनियोजन के लिए मॉडल-प्रूनिंग और डेटा-ऑग्मेंटेशन पर वैरिएशनल विधियों को लागू करने वाली परियोजनाओं में भी शामिल हैं।
मरे मशीन लर्निंग समुदाय में एक सक्रिय आवाज बने हुए हैं, अक्सर सम्मेलनों में बोलते हैं और AI प्रणालियों की विश्वसनीयता पर सार्वजनिक चर्चाओं में योगदान करते हैं। खुले विज्ञान और प्रतिलिपि योग्य शोध के प्रति उनकी प्रतिबद्धता ने उन्हें Stanford AI Lab और Carnegie Mellon University जैसे संस्थानों के साथियों के बीच एक सम्मानित व्यक्ति बना दिया है।