ग्राफ अटेंशन नेटवर्क

एक ग्राफ अटेंशन नेटवर्क (GAT) एक प्रकार का ग्राफ न्यूरल नेटवर्क (GNN) है जो संदेश-पारित प्रक्रिया में अटेंशन तंत्र को शामिल करता है। मानक GNN में, प्रत्येक नोड अपने पड़ोसियों से जानकारी एकत्र करके अपने प्रतिनिधित्व को अद्यतन करता है, अक्सर समान या पूर्वनिर्धारित भार के साथ। GAT इसके बजाय अटेंशन गुणांक की गणना करते हैं जो प्रत्येक पड़ोसी को अलग महत्व देते हैं, जिससे मॉडल किसी दिए गए कार्य के लिए ग्राफ के सबसे प्रासंगिक हिस्सों पर ध्यान केंद्रित कर सकता है। यह दृष्टिकोण, 2018 में पेटार वेलिकोविच और सहयोगियों द्वारा प्रस्तुत, ज्यामितीय गहन शिक्षण में एक आधारभूत वास्तुकला बन गया है और सामाजिक नेटवर्क विश्लेषण से लेकर आणविक गुण भविष्यवाणी तक के अनुप्रयोगों में व्यापक रूप से उपयोग किया जाता है।

GAT का मुख्य विचार अटेंशन तंत्र को लागू करना है, जो मूल रूप से Transformer (architecture) मॉडल में प्राकृतिक भाषा प्रसंस्करण के लिए लोकप्रिय हुआ, ग्राफ-संरचित डेटा पर। एक ट्रांसफॉर्मर में, अटेंशन भार अनुक्रम में सभी टोकन के जोड़े के बीच गणना किए जाते हैं। एक GAT में, अटेंशन केवल एक नोड और उसके तत्काल पड़ोसियों के बीच गणना की जाती है, जिससे यह एक स्थानीयकृत और क्रम-सममिति संचालन बन जाता है। यह डिज़ाइन GNN की प्रमुख संपत्ति को संरक्षित करता है: आउटपुट नोड के क्रम के प्रति अपरिवर्तनीय है, जो महत्वपूर्ण है क्योंकि ग्राफ में कोई विहित नोड क्रम नहीं होता है।

पृष्ठभूमि: ग्राफ न्यूरल नेटवर्क

ग्राफ न्यूरल नेटवर्क कृत्रिम तंत्रिका नेटवर्क का एक वर्ग है जो उन कार्यों के लिए डिज़ाइन किया गया है जहां इनपुट ग्राफ होते हैं, जैसे अणु, सामाजिक नेटवर्क, या उद्धरण नेटवर्क। छवियों या पाठ के विपरीत, ग्राफ में एक निश्चित ग्रिड या अनुक्रम संरचना नहीं होती है, और नोड में कनेक्शन की अलग-अलग संख्या हो सकती है। GNN इसे क्रम-सममिति परतों का उपयोग करके संबोधित करते हैं जो जोड़ीवार संदेश पारित के माध्यम से नोड प्रतिनिधित्व को अद्यतन करते हैं। प्रत्येक नोड अपने पड़ोसियों से संदेश एकत्र करता है, और कई परतों के बाद, ग्रहण क्षेत्र अधिक दूर के नोड्स को शामिल करने के लिए विस्तारित होता है।

प्रारंभिक GNN वास्तुकला, जैसे ग्राफ कन्वोल्यूशनल नेटवर्क (GCN), की एक प्रमुख सीमा यह है कि वे जानकारी एकत्र करते समय सभी पड़ोसियों को समान रूप से मानते हैं। उदाहरण के लिए, एक आणविक ग्राफ में, एक कार्बन परमाणु हाइड्रोजन और ऑक्सीजन दोनों से जुड़ा हो सकता है, लेकिन विषाक्तता की भविष्यवाणी के लिए ऑक्सीजन परमाणु अधिक रासायनिक रूप से महत्वपूर्ण हो सकता है। GCN दोनों पड़ोसियों को समान भार देगा, जबकि GAT ऑक्सीजन परमाणु को उच्च अटेंशन निर्दिष्ट करना सीख सकते हैं।

GAT में अटेंशन तंत्र

GAT में अटेंशन तंत्र निम्नानुसार कार्य करता है। एक नोड \(u\) के लिए जिसमें फीचर वेक्टर \(\mathbf{x}_u\) है, और इसके पड़ोसी \(v\) के लिए, मॉडल एक साझा रैखिक परिवर्तन और एक सीखने योग्य भार वेक्टर का उपयोग करके अटेंशन गुणांक \(e_{uv}\) की गणना करता है। यह गुणांक आमतौर पर सॉफ्टमैक्स फ़ंक्शन का उपयोग करके सभी पड़ोसियों में सामान्यीकृत किया जाता है, यह सुनिश्चित करते हुए कि अटेंशन भार एक तक जोड़ते हैं। सामान्यीकृत गुणांक का उपयोग तब पड़ोसियों के परिवर्तित फीचर के भारित योग की गणना करने के लिए किया जाता है, जो नोड \(u\) का अद्यतन प्रतिनिधित्व बन जाता है।

औपचारिक रूप से, अटेंशन गुणांक की गणना इस प्रकार की जाती है:

\[ e_{uv} = \text{LeakyReLU}(\mathbf{a}^T [\mathbf{W}\mathbf{x}_u \| \mathbf{W}\mathbf{x}_v]) \]

जहां \(\mathbf{W}\) एक साझा भार मैट्रिक्स है, \(\mathbf{a}\) एक सीखने योग्य वेक्टर है, और \(\|\\) संयोजन को दर्शाता है। गुणांक सभी पड़ोसियों \(v \in N_u\) पर सॉफ्टमैक्स का उपयोग करके सामान्यीकृत किए जाते हैं। अद्यतन नोड प्रतिनिधित्व तब है:

\[ \mathbf{h}_u = \sigma\left(\sum_{v \in N_u} \alpha_{uv} \mathbf{W}\mathbf{x}_v\right) \]

जहां \(\alpha_{uv}\) सामान्यीकृत अटेंशन गुणांक हैं और \(\sigma\) एक अरैखिकता है।

यह तंत्र मल्टी-हेड अटेंशन के समान है जो ट्रांसफॉर्मर में होता है, जहां विभिन्न प्रकार के संबंधों को पकड़ने के लिए कई स्वतंत्र अटेंशन हेड का उपयोग किया जाता है। GAT में, मल्टी-हेड अटेंशन को समानांतर में कई अटेंशन-भारित एकत्रीकरण की गणना करके और उनके आउटपुट को संयोजित या औसत करके लागू किया जा सकता है। यह मॉडल की अभिव्यक्ति शक्ति को बढ़ाता है और प्रशिक्षण को स्थिर करता है।

वास्तुकला विविधताएं

मूल 2018 पेपर के बाद से GAT के कई विविधताएं प्रस्तावित की गई हैं। एक उल्लेखनीय विविधता GATv2 है, जिसे 2021 में पेश किया गया, जो मूल GAT की एक सीमा को संबोधित करता है जहां अटेंशन गुणांक संयोजन के बाद रैखिक संचालन का उपयोग करके गणना की जाती है। GATv2 एक अधिक अभिव्यंजक अटेंशन तंत्र का उपयोग करता है जो मॉडल को अटेंशन स्कोर की गणना करने की अनुमति देता है जो इनपुट फीचर के प्रति अधिक संवेदनशील होते हैं, जिससे उन कार्यों पर प्रदर्शन में सुधार होता है जिनके लिए सूक्ष्म भेदभाव की आवश्यकता होती है।

एक और विविधता एज फीचर के साथ ग्राफ अटेंशन नेटवर्क है, जो अटेंशन गणना में एज फीचर को शामिल करता है। आणविक ग्राफ में, एज फीचर बंधन प्रकार (एकल, दोहरा, सुगंधित) का प्रतिनिधित्व कर सकते हैं, और उन्हें शामिल करने से मॉडल अपने कनेक्शन की प्रकृति के आधार पर पड़ोसियों को अलग-अलग भार दे सकता है। यह रसायन विज्ञान और जीव विज्ञान अनुप्रयोगों में विशेष रूप से उपयोगी है।

इसके अतिरिक्त, GAT को अवशिष्ट कनेक्शन और परत सामान्यीकरण जैसे अन्य GNN घटकों के साथ जोड़ा जा सकता है ताकि प्रशिक्षण स्थिरता और प्रदर्शन में सुधार हो सके। ये संवर्द्धन आधुनिक GNN वास्तुकला में आम हैं।

अनुप्रयोग

GAT को विभिन्न क्षेत्रों में लागू किया गया है। आणविक जीव विज्ञान और दवा खोज में, GAT का उपयोग आणविक गुणों की भविष्यवाणी करने के लिए किया जाता है, जैसे घुलनशीलता, विषाक्तता, या विशिष्ट बैक्टीरिया जैसे ई. कोलाई के खिलाफ प्रभावकारिता। अणुओं को परमाणुओं के साथ नोड और बंधन के साथ किनारों के रूप में ग्राफ के रूप में दर्शाया जाता है, और GAT जैविक गतिविधि के लिए महत्वपूर्ण कार्यात्मक समूहों पर ध्यान केंद्रित करना सीख सकते हैं।

सामाजिक नेटवर्क विश्लेषण में, GAT का उपयोग नोड वर्गीकरण और लिंक भविष्यवाणी के लिए किया जाता है। उदाहरण के लिए, एक उद्धरण नेटवर्क में, GAT सबसे प्रभावशाली उद्धरण पत्रों पर ध्यान देकर शोध पत्रों को शोध विषयों में वर्गीकृत कर सकते हैं। अनुशंसा प्रणालियों में, GAT उपयोगकर्ता-आइटम इंटरैक्शन को एक द्विदलीय ग्राफ के रूप में मॉडल कर सकते हैं, जहां अटेंशन उपयोगकर्ता के लिए सबसे प्रासंगिक आइटम की पहचान करने में मदद करता है।

GAT का उपयोग कंप्यूटर विज़न में वस्तु पहचान और दृश्य ग्राफ पीढ़ी जैसे कार्यों के लिए भी किया जाता है, जहां छवियों को वस्तुओं और उनके संबंधों के ग्राफ के रूप में दर्शाया जाता है। भौतिकी में, GAT को कण ट्रैक पुनर्निर्माण और गतिशील प्रणालियों के मॉडलिंग के लिए लागू किया गया है।

ट्रांसफॉर्मर से संबंध

GAT और Transformer (architecture) मॉडल के बीच एक घनिष्ठ संबंध है। जैसा कि 2022 के ज्यामितीय गहन शिक्षण पर स्थिति पत्र में उल्लेख किया गया है, एक ट्रांसफॉर्मर परत को एक पूर्ण ग्राफ पर लागू GNN के रूप में व्याख्या किया जा सकता है जहां हर टोकन हर दूसरे टोकन से जुड़ा होता है। इस दृष्टिकोण में, ट्रांसफॉर्मर में स्व-अटेंशन तंत्र अटेंशन भार के साथ संदेश पारित का एक रूप है। इसके विपरीत, GAT को मनमाने ग्राफ संरचनाओं के लिए अनुकूलित ट्रांसफॉर्मर के रूप में देखा जा सकता है, जहां अटेंशन सभी जोड़ों के बजाय मौजूदा किनारों तक सीमित है।

इस संबंध ने दोनों क्षेत्रों के बीच पार-परागण को जन्म दिया है। ट्रांसफॉर्मर के लिए विकसित तकनीकें, जैसे स्थितीय एन्कोडिंग और क्रॉस-अटेंशन, GNN के लिए अनुकूलित की गई हैं। उदाहरण के लिए, ग्राफ लाप्लासियन eigenvectors पर आधारित स्थितीय एन्कोडिंग संरचनात्मक जानकारी प्रदान कर सकती है जो अटेंशन-आधारित संदेश पारित को पूरक करती है।

कार्यान्वयन और पुस्तकालय

कई ओपन-सोर्स पुस्तकालय GAT और अन्य GNN वास्तुकला को लागू करते हैं। PyTorch Geometric (PyG) PyTorch पर निर्मित एक लोकप्रिय पुस्तकालय है जो GAT परतों के कुशल कार्यान्वयन प्रदान करता है, साथ ही ग्राफ डेटा को संभालने के लिए उपयोगिताएं भी प्रदान करता है। TensorFlow GNN TensorFlow पारिस्थितिकी तंत्र के लिए समान कार्यक्षमता प्रदान करता है। डीप ग्राफ लाइब्रेरी (DGL) एक फ्रेमवर्क-अज्ञेय पुस्तकालय है जो PyTorch और TensorFlow दोनों बैकएंड का समर्थन करता है। JAX उपयोगकर्ताओं के लिए, jraph पुस्तकालय GNN कार्यान्वयन प्रदान करता है, और जूलिया उपयोगकर्ताओं के लिए, GraphNeuralNetworks.jl और GeometricFlux.jl उपलब्ध हैं।

ये पुस्तकालय आमतौर पर पूर्व-निर्मित GAT परतें शामिल करते हैं जिन्हें आसानी से कस्टम मॉडल में एकीकृत किया जा सकता है। वे GNN के मूल्यांकन के लिए डेटासेट और बेंचमार्क भी प्रदान करते हैं, जैसे उद्धरण नेटवर्क (Cora, CiteSeer) और आणविक गुण भविष्यवाणी डेटासेट।

सीमाएं और विस्तार

सभी संदेश-पारित GNN की तरह, GAT वेइसफेलर-लेहमैन ग्राफ आइसोमोर्फिज्म परीक्षण की अभिव्यक्ति शक्ति सीमाओं के अधीन हैं। इसका मतलब है कि गैर-आइसोमोर्फिक ग्राफ के जोड़े मौजूद हैं जिन्हें GAT अलग नहीं कर सकते, जो सूक्ष्म संरचनात्मक भेदभाव की आवश्यकता वाले कार्यों के लिए एक सीमा हो सकती है। इसे दूर करने के लिए, शोधकर्ताओं ने उच्च-क्रम GNN प्रस्तावित किए हैं जो सिम्प्लिसियल कॉम्प्लेक्स पर काम करते हैं या वैश्विक अटेंशन के साथ ग्राफ ट्रांसफॉर्मर का उपयोग करते हैं, हालांकि इनमें अक्सर बढ़ी हुई कम्प्यूटेशनल लागत होती है।

एक और सीमा स्केलेबिलिटी है। उच्च-डिग्री नोड्स वाले ग्राफ के लिए सभी पड़ोसियों पर अटेंशन की गणना करना महंगा हो सकता है, हालांकि यह आम तौर पर पूर्ण ट्रांसफॉर्मर की द्विघात लागत से कम गंभीर है। पड़ोसियों का नमूनाकरण या स्पार्स अटेंशन का उपयोग जैसी तकनीकें इस मुद्दे को कम कर सकती हैं।

2024 तक, GAT व्यापक रूप से उपयोग की जाने वाली और सक्रिय रूप से शोध की जाने वाली वास्तुकला बनी हुई है। पड़ोसी महत्व को अनुकूल रूप से तौलने की उनकी क्षमता ने उन्हें GNN टूलबॉक्स में एक मानक उपकरण बना दिया है, और वे मशीन लर्निंग और कृत्रिम बुद्धिमत्ता में नए विविधताओं और अनुप्रयोगों को प्रेरित करना जारी रखते हैं।