ग्राफ न्यूरल नेटवर्क (GNN)

ग्राफ तंत्रिका नेटवर्क (GNN) कृत्रिम तंत्रिका नेटवर्क का एक वर्ग है, जो उन कार्यों के लिए डिज़ाइन किया गया है जिनके इनपुट ग्राफ होते हैं। एक ग्राफ में नोड्स (शीर्ष) और किनारे (कनेक्शन) होते हैं जो संस्थाओं और उनके संबंधों का प्रतिनिधित्व कर सकते हैं, जैसे किसी अणु में परमाणु या सोशल नेटवर्क में उपयोगकर्ता। छवियों या पाठ के विपरीत, ग्राफ के नोड्स का कोई विहित क्रम नहीं होता है, इसलिए GNN आर्किटेक्चर आमतौर पर क्रम-समतुल्य (permutation equivariant) होने के लिए डिज़ाइन किए जाते हैं: इनपुट में नोड्स को पुनः क्रमबद्ध करने से संबंधित नोड प्रतिनिधित्व उसी तरह पुनः क्रमबद्ध होते हैं। ग्राफ-स्तरीय भविष्यवाणी कार्यों के लिए, GNN एक क्रम-अपरिवर्तनीय (permutation-invariant) रीडआउट फ़ंक्शन का उपयोग करते हैं, जिसका आउटपुट नोड क्रम से अपरिवर्तित रहता है।

GNN का प्रमुख डिज़ाइन तत्व युग्मवार संदेश पासिंग (pairwise message passing) है, जहां ग्राफ नोड्स अपने पड़ोसियों के साथ जानकारी का आदान-प्रदान करके अपने प्रतिनिधित्व को पुनरावृत्त रूप से अद्यतन करते हैं। यह नेटवर्क को स्थानीय संरचनात्मक पैटर्न और निर्भरताओं को पकड़ने की अनुमति देता है। GNN संबंधपरक डेटा पर मशीन लर्निंग का आधार बन गए हैं, जिनके अनुप्रयोग डीप लर्निंग डोमेन जैसे आणविक जीव विज्ञान, रसायन विज्ञान, भौतिकी, सोशल नेटवर्क और प्राकृतिक भाषा प्रसंस्करण में फैले हुए हैं।

ऐतिहासिक विकास

ग्राफ पर तंत्रिका नेटवर्क लागू करने की अवधारणा 1990 के दशक के अंत और 2000 के दशक की शुरुआत में उभरी। प्रारंभिक पुनरावर्ती और संवलनात्मक दृष्टिकोणों ने आधार तैयार किया, लेकिन 2010 के दशक में अधिक शक्तिशाली कम्प्यूटेशनल संसाधनों के आगमन और अन्य डोमेन में डीप लर्निंग की सफलता के साथ इस क्षेत्र ने महत्वपूर्ण गति प्राप्त की। 2022 के एक स्थिति पत्र ने तर्क दिया कि "संदेश पासिंग से परे" जाने वाले कई आर्किटेक्चर को उपयुक्त रूप से संशोधित ग्राफ पर संदेश पासिंग के रूप में व्याख्यायित किया जा सकता है, और ऐसे दृष्टिकोणों के लिए "संवर्धित संदेश पासिंग" (augmented message passing) शब्द का प्रस्ताव रखा। यह GNN डिज़ाइन में संदेश पासिंग की केंद्रीय भूमिका को उजागर करता है।

आर्किटेक्चर

एक सामान्य GNN का आर्किटेक्चर कई मौलिक परतों को लागू करता है। क्रम-समतुल्य परतें ग्राफ के प्रतिनिधित्व को उसी ग्राफ के अद्यतन प्रतिनिधित्व में मैप करती हैं, आमतौर पर संदेश पासिंग के माध्यम से। स्थानीय पूलिंग परतें डाउनसैंपलिंग के माध्यम से ग्राफ को मोटा करती हैं, जिससे संवलनात्मक तंत्रिका नेटवर्क में पूलिंग के समान ग्रहण क्षेत्र (receptive field) बढ़ता है। वैश्विक पूलिंग परतें, जिन्हें रीडआउट परतें भी कहा जाता है, पूरे ग्राफ का एक निश्चित आकार का प्रतिनिधित्व प्रदान करती हैं और क्रम-अपरिवर्तनीय होनी चाहिए। वैश्विक पूलिंग के उदाहरणों में तत्व-वार योग, माध्य या अधिकतम शामिल हैं।

मानक संदेश-पासिंग GNN अधिकतम वेइसफेलर-लेमैन ग्राफ समरूपता परीक्षण जितने ही अभिव्यंजक होते हैं, जिसका अर्थ है कि कुछ अलग ग्राफ संरचनाएं हैं जिन्हें ऐसे नेटवर्क द्वारा विभेदित नहीं किया जा सकता। उच्च-आयामी ज्यामिति, जैसे सिम्प्लिसियल कॉम्प्लेक्स, पर काम करने वाले अधिक शक्तिशाली GNN डिज़ाइन किए जा सकते हैं। 2022 तक, भविष्य के आर्किटेक्चर संदेश पासिंग प्राथमिकता को पार कर पाएंगे या नहीं, यह एक खुला शोध प्रश्न बना हुआ है।

संदेश पासिंग परतें

संदेश पासिंग परतें क्रम-समतुल्य परतें हैं जो एक ग्राफ को उसी ग्राफ के अद्यतन प्रतिनिधित्व में मैप करती हैं। औपचारिक रूप से, उन्हें संदेश पासिंग तंत्रिका नेटवर्क (MPNN) के रूप में व्यक्त किया जा सकता है। मान लीजिए G = (V, E) एक ग्राफ है, जहां V नोड सेट है और E किनारा सेट है। V में नोड u के लिए, मान लीजिए N_u उसका पड़ोस है, x_u उसकी विशेषताएं हैं, और e_uv किनारे (u, v) की विशेषताएं हैं। एक MPNN परत अद्यतन नोड प्रतिनिधित्व h_u की गणना इस प्रकार करती है:

h_u = φ(x_u, ⊕_{v∈N_u} ψ(x_u, x_v, e_uv))

जहां φ और ψ विभेदक फ़ंक्शन हैं (जैसे, कृत्रिम तंत्रिका नेटवर्क), और ⊕ एक विभेदक, क्रम-अपरिवर्तनीय एग्रीगेटर है जैसे योग, माध्य या अधिकतम। एग्रीगेटर पड़ोसियों से संदेशों को जोड़ता है, और φ नोड के प्रतिनिधित्व को अद्यतन करता है। प्रत्येक संदेश पासिंग परत ग्रहण क्षेत्र को एक हॉप बढ़ाती है, जिससे जानकारी ग्राफ में प्रसारित हो सकती है।

कई GNN आर्किटेक्चर संदेश पासिंग के विभिन्न रूपों को लागू करते हैं। उदाहरण के लिए, ग्राफ संवलनात्मक नेटवर्क (GCN) पड़ोसी विशेषताओं का एक सरल औसत उपयोग करते हैं, जबकि ग्राफ ध्यान नेटवर्क (GAT) पड़ोसी योगदान को भारित करने के लिए ध्यान तंत्र का उपयोग करते हैं। ये विविधताएं मॉडल की क्षमता और प्रेरक पूर्वाग्रह (inductive bias) को प्रभावित करती हैं।

ज्यामितीय डीप लर्निंग

GNN व्यापक विषय ज्यामितीय डीप लर्निंग का हिस्सा हैं, जो तंत्रिका नेटवर्क आर्किटेक्चर को गैर-यूक्लिडियन डोमेन तक सामान्यीकृत करना चाहता है। इस ढांचे में, कुछ मौजूदा आर्किटेक्चर को उपयुक्त रूप से परिभाषित ग्राफ पर काम करने वाले GNN के रूप में व्याख्यायित किया जा सकता है। उदाहरण के लिए, कंप्यूटर विज़न में एक संवलनात्मक तंत्रिका नेटवर्क परत को GNN के रूप में माना जा सकता है जो उन ग्राफ पर लागू होता है जिनके नोड पिक्सेल होते हैं, जिनमें आसन्न पिक्सेल को जोड़ने वाले किनारे होते हैं। इसी तरह, प्राकृतिक भाषा प्रसंस्करण में एक ट्रांसफॉर्मर परत को पूर्ण ग्राफ पर लागू GNN के रूप में देखा जा सकता है जिसके नोड पाठ के एक अंश में शब्द या टोकन होते हैं। यह दृष्टिकोण प्रतीत होने वाले भिन्न आर्किटेक्चर को एक सामान्य गणितीय ढांचे के तहत एकीकृत करता है।

अनुप्रयोग

GNN को विभिन्न प्रकार के डोमेन में लागू किया गया है। आणविक दवा डिज़ाइन में, अणुओं को ग्राफ के रूप में दर्शाया जाता है जिसमें नोड परमाणुओं के लिए और किनारे परमाणु बंधों के लिए होते हैं, जिनमें अक्सर ज्ञात रासायनिक गुण विशेषताओं के रूप में शामिल होते हैं। परमाणुओं और बंधों की विभिन्न संख्याओं के कारण इनपुट आकार में भिन्न हो सकते हैं। एक ग्राफ-स्तरीय कार्य किसी विशिष्ट चिकित्सा अनुप्रयोग के लिए अणु की प्रभावकारिता की भविष्यवाणी करना हो सकता है, जैसे ई. कोलाई बैक्टीरिया को समाप्त करना। GNN का उपयोग सोशल नेटवर्क विश्लेषण, उद्धरण नेटवर्क और अनुशंसा प्रणालियों में भी किया गया है। भौतिकी में, वे कण अंतःक्रियाओं का मॉडल बना सकते हैं, और संयोजनात्मक अनुकूलन में, उन्हें ट्रैवलिंग सेल्समैन समस्या जैसी NP-कठिन समस्याओं पर लागू किया गया है।

कार्यान्वयन और पुस्तकालय

कई ओपन-सोर्स पुस्तकालय GNN को लागू करते हैं, जिससे वे शोधकर्ताओं और चिकित्सकों के लिए सुलभ हो जाते हैं। PyTorch Geometric PyTorch पर निर्मित एक लोकप्रिय पुस्तकालय है, जबकि TensorFlow GNN TensorFlow के लिए समान कार्यक्षमता प्रदान करता है। डीप ग्राफ लाइब्रेरी (DGL) फ्रेमवर्क-अज्ञेयवादी है, जो कई बैकएंड का समर्थन करती है। jraph JAX के लिए डिज़ाइन किया गया है, और GraphNeuralNetworks.jl और GeometricFlux.jl जूलिया पारिस्थितिकी तंत्र की सेवा करते हैं। ये पुस्तकालय पूर्व-निर्मित परतें, पूलिंग संचालन और ग्राफ डेटा को संभालने के लिए उपयोगिताएं प्रदान करते हैं, जिससे विकास और प्रयोग में तेजी आती है।

चुनौतियां और भविष्य की दिशाएं

अपनी सफलता के बावजूद, GNN को कई चुनौतियों का सामना करना पड़ता है। वेइसफेलर-लेमैन परीक्षण के सापेक्ष अभिव्यंजक शक्ति की सीमा कुछ ग्राफ संरचनाओं को अलग करने की उनकी क्षमता को प्रतिबंधित करती है। बड़े ग्राफ के लिए स्केलेबिलिटी एक और मुद्दा है, क्योंकि संदेश पासिंग कम्प्यूटेशनल रूप से गहन हो सकती है। उच्च-क्रम सुविधाओं या संवर्धित संदेश पासिंग का उपयोग करने वाले अधिक अभिव्यंजक आर्किटेक्चर पर शोध जारी है। इसके अतिरिक्त, GNN के सामान्यीकरण और मजबूती की सैद्धांतिक समझ अध्ययन का एक सक्रिय क्षेत्र है। 2022 तक, यह क्षेत्र तेजी से विकसित हो रहा है, जिसमें नए आर्किटेक्चर और अनुप्रयोग नियमित रूप से सामने आ रहे हैं।