ग्राफ न्यूरल नेटवर्क

ग्राफ न्यूरल नेटवर्क (GNNs) कृत्रिम तंत्रिका नेटवर्क का एक वर्ग है जो उन कार्यों के लिए डिज़ाइन किया गया है जिनके इनपुट ग्राफ होते हैं, जैसे कि आणविक संरचनाएं, सामाजिक नेटवर्क, या उद्धरण नेटवर्क। मानक तंत्रिका नेटवर्क के विपरीत, जो निश्चित आकार और क्रमबद्ध इनपुट मानते हैं, GNNs मनमाने आकार और टोपोलॉजी के ग्राफ पर कार्य करते हैं। चूंकि ग्राफ में आम तौर पर कोई विहित नोड क्रम नहीं होता है, GNN आर्किेक्चर आमतौर पर क्रम-समतुल्य (permutation equivariant) होने के लिए डिज़ाइन किए जाते हैं: इनपुट नोड्स को पुनः क्रमबद्ध करने से संबंधित नोड प्रतिनिधित्व उसी तरह पुनः क्रमबद्ध होते हैं। ग्राफ-स्तरीय भविष्यवाणी कार्यों के लिए, GNNs एक क्रम-अपरिवर्तनीय (permutation-invariant) रीडआउट फ़ंक्शन का उपयोग करते हैं, यह सुनिश्चित करते हुए कि आउटपुट नोड क्रम से अपरिवर्तित रहता है।

GNNs का प्रमुख डिज़ाइन तत्व युग्मवार संदेश पासिंग है, जहां नोड्स पड़ोसियों के साथ सूचना का आदान-प्रदान करके अपने प्रतिनिधित्व को पुनरावृत्त रूप से अद्यतन करते हैं। यह नेटवर्क को स्थानीय और वैश्विक दोनों संरचनात्मक जानकारी को पकड़ने की अनुमति देता है। एक प्रमुख अनुप्रयोग आणविक दवा डिज़ाइन है, जहां अणुओं को परमाणुओं के रूप में नोड्स और बंधों के रूप में किनारों के साथ ग्राफ के रूप में दर्शाया जाता है, जिसमें अक्सर रासायनिक गुण शामिल होते हैं। ग्राफ-स्तरीय कार्यों में एक विशिष्ट चिकित्सा उपयोग के लिए अणु की प्रभावकारिता की भविष्यवाणी करना शामिल है, जैसे कि ई. कोलाई बैक्टीरिया को समाप्त करना। GNNs को प्राकृतिक भाषा प्रसंस्करण, सामाजिक नेटवर्क विश्लेषण, भौतिकी और NP-कठिन संयोजनात्मक अनुकूलन में भी लागू किया गया है।

ऐतिहासिक विकास

ग्राफ-संरचित डेटा पर तंत्रिका नेटवर्क लागू करने की अवधारणा 1990 के दशक के अंत और 2000 के दशक की शुरुआत में उभरी। फ्रेंको स्कार्सेली और सहकर्मियों जैसे शोधकर्ताओं के शुरुआती कार्य ने ग्राफ के लिए पुनरावर्ती तंत्रिका नेटवर्क पेश किए, जो ग्राफ संरचनाओं को पुनरावर्ती तरीके से संसाधित करते थे। उसी समय के आसपास, संवलनात्मक दृष्टिकोण विकसित किए गए, जिससे पहले ग्राफ संवलनात्मक नेटवर्क बने। इन शुरुआती आर्किटेक्चर ने आधुनिक GNNs की नींव रखी, जो कई शैक्षणिक और औद्योगिक अनुसंधान समूहों के योगदान के माध्यम से विकसित हुए हैं।

एक महत्वपूर्ण मील का पत्थर 2017 में संदेश पासिंग तंत्रिका नेटवर्क (MPNNs) की शुरुआत थी, जिसने कई मौजूदा GNN वेरिएंट को एक सामान्य ढांचे के तहत एकीकृत किया। तब से, कई आर्किटेक्चर प्रस्तावित किए गए हैं, जिनमें से प्रत्येक संदेश पासिंग के विभिन्न रूपों को लागू करता है। एक 2022 स्थिति पत्र ने तर्क दिया कि संदेश पासिंग से "परे" जाने वाले कई आर्किटेक्चर को उपयुक्त रूप से संशोधित ग्राफ पर संदेश पासिंग के रूप में व्याख्या किया जा सकता है, ऐसे दृष्टिकोणों के लिए "संवर्धित संदेश पासिंग" शब्द गढ़ा।

आर्किटेक्चर

एक सामान्य GNN का आर्किटेक्चर आमतौर पर तीन मौलिक प्रकार की परतें शामिल करता है: क्रम-समतुल्य परतें, स्थानीय पूलिंग परतें, और वैश्विक पूलिंग परतें। क्रम-समतुल्य परतें, जो अक्सर संदेश पासिंग के माध्यम से लागू की जाती हैं, तत्काल पड़ोसियों से संदेशों को एकत्र करके नोड प्रतिनिधित्व को अद्यतन करती हैं। ऐसी प्रत्येक परत ग्रहणशील क्षेत्र को एक हॉप बढ़ाती है, जिससे नोड्स ग्राफ के दूर के हिस्सों से जानकारी शामिल कर सकते हैं।

स्थानीय पूलिंग परतें डाउनसैंपलिंग के माध्यम से ग्राफ को मोटा करती हैं, जो छवियों के लिए संवलनात्मक तंत्रिका नेटवर्क में पूलिंग के समान है। उदाहरणों में k-निकटतम पड़ोसी पूलिंग, टॉप-के पूलिंग, और स्व-ध्यान पूलिंग शामिल हैं। वैश्विक पूलिंग परतें, जिन्हें रीडआउट परतें भी कहा जाता है, पूरे ग्राफ का एक निश्चित आकार का प्रतिनिधित्व उत्पन्न करती हैं और क्रम-अपरिवर्तनीय होनी चाहिए। सामान्य रीडआउट फ़ंक्शन में तत्व-वार योग, माध्य, या अधिकतम शामिल हैं।

मानक संदेश-पासिंग GNNs अधिकतम वेइसफेलर-लेहमैन ग्राफ समरूपता परीक्षण के रूप में अभिव्यंजक होते हैं, जिसका अर्थ है कि ऐसी विशिष्ट ग्राफ संरचनाएं मौजूद हैं जिन्हें ऐसे नेटवर्क द्वारा प्रतिष्ठित नहीं किया जा सकता है। उच्च-आयामी ज्यामिति पर काम करने वाले अधिक शक्तिशाली GNNs, जैसे कि सिम्प्लिसियल कॉम्प्लेक्स, प्रस्तावित किए गए हैं। 2022 तक, क्या भविष्य के आर्किटेक्चर संदेश पासिंग प्राइमिटिव को पार कर पाएंगे, यह एक खुला शोध प्रश्न बना हुआ है।

संदेश पासिंग परतें

संदेश पासिंग परतें अधिकांश GNNs का मूल हैं। औपचारिक रूप से, उन्हें संदेश पासिंग तंत्रिका नेटवर्क (MPNNs) के रूप में व्यक्त किया जा सकता है। एक ग्राफ G = (V, E) दिया गया है जिसमें नोड विशेषताएं x_u और किनारे विशेषताएं e_uv हैं, एक MPNN परत प्रत्येक नोड के प्रतिनिधित्व h_u को एक अवकलनीय फ़ंक्शन φ और एक संदेश फ़ंक्शन ψ का उपयोग करके अद्यतन करती है:

h_u = φ(x_u, ⊕_{v∈N_u} ψ(x_u, x_v, e_uv))

यहां, N_u नोड u का पड़ोस दर्शाता है, और ⊕ एक क्रम-अपरिवर्तनीय एकत्रीकरण फ़ंक्शन है जैसे कि योग, माध्य, या अधिकतम। संदेश फ़ंक्शन ψ प्रत्येक पड़ोसी से एक संदेश की गणना करता है, और एकत्रीकरण इन संदेशों को जोड़ता है। अद्यतन फ़ंक्शन φ फिर नोड की अपनी विशेषताओं को एकत्रित संदेशों के साथ जोड़कर नया प्रतिनिधित्व उत्पन्न करता है।

विभिन्न GNN आर्किटेक्चर ψ और φ को परिभाषित करने के तरीके में भिन्न होते हैं। उदाहरण के लिए, ग्राफ संवलनात्मक नेटवर्क (GCNs) पड़ोसी विशेषताओं का एक सरल सामान्यीकृत योग उपयोग करते हैं, जबकि ग्राफ ध्यान नेटवर्क (GATs) पड़ोसी योगदान को भारित करने के लिए ध्यान तंत्र का उपयोग करते हैं। ये विविधताएं GNNs को ग्राफ संरचना के विभिन्न पहलुओं को पकड़ने की अनुमति देती हैं।

ज्यामितीय गहन शिक्षण

GNNs ज्यामितीय गहन शिक्षण के व्यापक क्षेत्र का हिस्सा हैं, जिसका उद्देश्य तंत्रिका नेटवर्क को गैर-यूक्लिडियन डोमेन तक सामान्यीकृत करना है। इस संदर्भ में, कई मौजूदा आर्किटेक्चर को उपयुक्त रूप से परिभाषित ग्राफ पर काम करने वाले GNNs के रूप में व्याख्या किया जा सकता है। उदाहरण के लिए, कंप्यूटर विज़न में एक संवलनात्मक तंत्रिका नेटवर्क परत को GNN के रूप में देखा जा सकता है जो उन ग्राफ पर लागू होता है जहां नोड्स पिक्सेल होते हैं और किनारे आसन्न पिक्सेल को जोड़ते हैं। इसी तरह, प्राकृतिक भाषा प्रसंस्करण में एक ट्रांसफॉर्मर परत को पूर्ण ग्राफ पर लागू GNN के रूप में देखा जा सकता है जिसके नोड्स पाठ के एक अंश में शब्द या टोकन होते हैं।

इस दृष्टिकोण ने क्षेत्रों के बीच परस्पर-परागण को जन्म दिया है। GNNs के लिए विकसित तकनीकें, जैसे कि ध्यान तंत्र, ने ट्रांसफॉर्मर आर्किटेक्चर को प्रभावित किया है, और ट्रांसफॉर्मर से अंतर्दृष्टि ने GNN डिज़ाइन को सूचित किया है। ज्यामितीय गहन शिक्षण का एकीकृत दृष्टिकोण माइकल ब्रोंस्टीन और जोन ब्रुना सहित शोधकर्ताओं द्वारा स्पष्ट किया गया है।

अनुप्रयोग

GNNs ने विभिन्न डोमेन में अनुप्रयोग पाए हैं। आणविक जीव विज्ञान और रसायन विज्ञान में, उनका उपयोग दवा खोज, प्रोटीन फ़ंक्शन भविष्यवाणी, और सामग्री डिज़ाइन के लिए किया जाता है। उदाहरण के लिए, GNNs आणविक गुणों की भविष्यवाणी कर सकते हैं या वांछित विशेषताओं वाले नए अणु उत्पन्न कर सकते हैं। सामाजिक नेटवर्क में, GNNs अनुशंसा प्रणाली, समुदाय पहचान, और लिंक भविष्यवाणी को शक्ति प्रदान करते हैं। उद्धरण नेटवर्क, जहां पेपर नोड्स होते हैं और उद्धरण किनारे होते हैं, विषय वर्गीकरण और प्रभाव भविष्यवाणी के लिए GNNs से लाभान्वित होते हैं।

भौतिकी में, GNNs कण अंतःक्रियाओं का मॉडल बनाते हैं और गतिशील प्रणालियों का अनुकरण करते हैं। उन्हें NP-कठिन संयोजनात्मक अनुकूलन समस्याओं पर भी लागू किया जाता है, जैसे कि यात्रा विक्रेता समस्या या ग्राफ रंग, जहां वे अनुमानी सीख सकते हैं। प्राकृतिक भाषा प्रसंस्करण में, GNNs का उपयोग शब्दार्थ पार्सिंग, संबंध निष्कर्षण, और ज्ञान ग्राफ तर्क के लिए किया जाता है। इसके अतिरिक्त, GNNs को कंप्यूटर विज़न में दृश्य ग्राफ पीढ़ी और बिंदु क्लाउड प्रसंस्करण के लिए नियोजित किया गया है।

सॉफ्टवेयर लाइब्रेरी

कई ओपन-सोर्स लाइब्रेरी GNNs लागू करती हैं, जिससे वे शोधकर्ताओं और चिकित्सकों के लिए सुलभ हो जाती हैं। PyTorch Geometric, PyTorch पर निर्मित, सबसे व्यापक रूप से उपयोग की जाने वाली लाइब्रेरी में से एक है, जो GNN परतों और डेटासेट का एक समृद्ध संग्रह प्रदान करती है। TensorFlow GNN TensorFlow पारिस्थितिकी तंत्र के लिए समान कार्यक्षमता प्रदान करता है। डीप ग्राफ लाइब्रेरी (DGL) फ्रेमवर्क-अज्ञेयवादी है, जो PyTorch और TensorFlow दोनों का समर्थन करती है। JAX उपयोगकर्ताओं के लिए, jraph GNN प्राइमिटिव प्रदान करता है। जूलिया भाषा में, GraphNeuralNetworks.jl और GeometricFlux.jl GNN कार्यान्वयन प्रदान करते हैं।

इन लाइब्रेरी ने संदेश पासिंग, पूलिंग, और रीडआउट संचालन के कुशल कार्यान्वयन प्रदान करके GNNs के अनुसंधान और तैनाती को तेज किया है। वे ग्राफ डेटा को संभालने के लिए उपयोगिताएं भी शामिल करते हैं, जैसे कि बैचिंग और डेटा लोडिंग, जो बड़े ग्राफ पर प्रशिक्षण के लिए आवश्यक हैं।

चुनौतियां और भविष्य की दिशाएं

उनकी सफलता के बावजूद, GNNs कई चुनौतियों का सामना करते हैं। एक प्रमुख मुद्दा स्केलेबिलिटी है, क्योंकि बड़े ग्राफ पर संदेश पासिंग कम्प्यूटेशनल रूप से महंगी हो सकती है। ग्राफ सैंपलिंग और मिनी-बैच प्रशिक्षण जैसी तकनीकें इससे निपटने के लिए विकसित की गई हैं। एक और चुनौती ओवरस्मूथिंग है, जहां बार-बार संदेश पासिंग नोड प्रतिनिधित्व को अप्रभेद्य बना देती है, जिससे GNNs की गहराई सीमित हो जाती है।

अभिव्यंजकता अनुसंधान का एक और सक्रिय क्षेत्र है। चूंकि मानक GNNs वेइसफेलर-लेहमैन परीक्षण द्वारा सीमित हैं, शोधकर्ताओं ने उच्च-क्रम GNNs, ग्राफ ट्रांसफॉर्मर, और सिम्प्लिसियल कॉम्प्लेक्स या हाइपरग्राफ पर काम करने वाले आर्किटेक्चर की खोज की है। इन दृष्टिकोणों का उद्देश्य अधिक जटिल संरचनात्मक जानकारी को पकड़ना है। 2022 तक, क्या संदेश पासिंग प्रमुख प्रतिमान बना रहेगा, यह प्रश्न खुला है, जिसमें संवर्धित संदेश पासिंग और वैकल्पिक प्राइमिटिव पर चल रहे कार्य हैं।

व्याख्यात्मकता और मजबूती भी महत्वपूर्ण हैं। GNNs क्या सीखते हैं इसे समझना और उन्हें ग्राफ पर प्रतिकूल हमलों के प्रति मजबूत बनाना सक्रिय शोध विषय हैं। जैसे-जैसे GNNs स्वास्थ्य सेवा और स्वायत्त प्रणालियों जैसे उच्च-दांव वाले डोमेन में तेजी से तैनात किए जाते हैं, इन चुनौतियों का समाधान करना उनके व्यापक अपनाने के लिए महत्वपूर्ण होगा।