जनरेटिव टोपोग्राफिक मानचित्र

एक जनरेटिव टोपोग्राफिक मैप (GTM) एक अरेखीय अव्यक्त चर मॉडल है जो निम्न-आयामी मैनिफोल्ड पर उच्च-आयामी डेटा की कल्पना करने के लिए एक संभाव्य ढांचा प्रदान करता है। इसे 1998 में क्रिस्टोफर बिशप, मार्कस स्वेन्सेन और क्रिस्टोफर के. आई. विलियम्स द्वारा स्व-संगठित मानचित्रों (SOMs) के एक सैद्धांतिक विकल्प के रूप में पेश किया गया था, जो बाद की कई सीमाओं को संबोधित करता है, जिसमें संभाव्य आधार की कमी और एक अच्छी तरह से परिभाषित उद्देश्य फ़ंक्शन की अनुपस्थिति शामिल है।

GTM डेटा स्पेस में एम्बेडेड निम्न-आयामी मैनिफोल्ड पर केंद्रित गाऊसी घटकों के मिश्रण के रूप में देखे गए डेटा के वितरण को मॉडल करता है। मैनिफोल्ड को अव्यक्त स्थान (आमतौर पर एक द्वि-आयामी ग्रिड) से डेटा स्पेस तक एक चिकनी, अरेखीय मैपिंग द्वारा परिभाषित किया जाता है, जिसे रेडियल आधार फ़ंक्शन (RBF) नेटवर्क का उपयोग करके लागू किया जाता है। यह मैपिंग मॉडल के तहत डेटा की संभावना को अधिकतम करके सीखी जाती है, आमतौर पर अपेक्षा-अधिकतमीकरण (EM) एल्गोरिथ्म के माध्यम से।

मॉडल सूत्रीकरण

GTM मानता है कि प्रत्येक देखा गया डेटा बिंदु $\mathbf{x}$ पहले अव्यक्त स्थान में बिंदुओं के एक समान ग्रिड से एक अव्यक्त चर $\mathbf{z}$ का चयन करके उत्पन्न होता है, फिर $\mathbf{z}$ को एक अरेखीय फ़ंक्शन $\mathbf{y}(\mathbf{z}; \mathbf{W})$ (वजन $\mathbf{W}$ द्वारा पैरामीटरयुक्त) के माध्यम से डेटा स्पेस में एक बिंदु पर मैप किया जाता है, और अंत में विचरण $\beta^{-1}$ के साथ गाऊसी शोर जोड़ा जाता है। एकल डेटा बिंदु की संभावना निम्न द्वारा दी गई है:

$$p(\mathbf{x}|\mathbf{W}, \beta) = \frac{1}{K} \sum_{k=1}^{K} \mathcal{N}(\mathbf{x} | \mathbf{y}(\mathbf{z}_k; \mathbf{W}), \beta^{-1} \mathbf{I})$$

जहाँ $K$ अव्यक्त ग्रिड बिंदुओं की संख्या है, और $\mathbf{I}$ पहचान मैट्रिक्स है। मैपिंग $\mathbf{y}(\mathbf{z}; \mathbf{W})$ आधार फ़ंक्शनों का एक रैखिक संयोजन है, आमतौर पर गाऊसी, वजन $\mathbf{W}$ के साथ। प्रशिक्षण में EM का उपयोग करके डेटा सेट पर लॉग-संभावना को अधिकतम करना शामिल है, जो अव्यक्त बिंदुओं पर पश्च वितरण की गणना (E-चरण) और वजन और शोर विचरण को अद्यतन करने (M-चरण) के बीच वैकल्पिक होता है।

स्व-संगठित मानचित्रों से संबंध

GTM को 1980 के दशक में ट्यूवो कोहोनेन द्वारा पेश किए गए स्व-संगठित मानचित्र (SOM) के जनरेटिव समकक्ष के रूप में विकसित किया गया था। SOMs के विपरीत, जो एक अनुमानी अद्यतन नियम का उपयोग करते हैं और संभाव्य व्याख्या की कमी रखते हैं, GTM एक अच्छी तरह से परिभाषित संभावना फ़ंक्शन प्रदान करता है, जो सैद्धांतिक मॉडल तुलना, लापता डेटा की हैंडलिंग और व्यापक संभाव्य ढांचे में एकीकरण को सक्षम बनाता है। GTM अव्यक्त से डेटा स्पेस तक एक चिकनी, निरंतर मैपिंग भी उत्पन्न करता है, जबकि SOMs एक असतत, टुकड़े-टुकड़े स्थिर मैपिंग देते हैं। हालाँकि, GTM कम्प्यूटेशनल रूप से अधिक गहन है, क्योंकि प्रशिक्षण के दौरान सभी अव्यक्त बिंदुओं के लिए मैपिंग और गाऊसी घनत्व का मूल्यांकन करना आवश्यक है।

अनुप्रयोग

GTM को विभिन्न डोमेन में लागू किया गया है, जिनमें शामिल हैं:

• डेटा विज़ुअलाइज़ेशन: खोजपूर्ण विश्लेषण के लिए उच्च-आयामी डेटा (जैसे, जीन अभिव्यक्ति प्रोफाइल, सेंसर रीडिंग) को द्वि-आयामी मानचित्र पर प्रोजेक्ट करना।
• घनत्व अनुमान: डेटा के अंतर्निहित संभाव्यता वितरण को मॉडल करना, जिसका उपयोग विसंगति का पता लगाने या जनरेटिव सैंपलिंग के लिए किया जा सकता है।
• लापता डेटा प्रतिस्थापन: आंशिक रूप से देखे गए डेटा में लापता मानों का अनुमान लगाने के लिए अव्यक्त चर संरचना का लाभ उठाना।
• समय श्रृंखला विश्लेषण: अस्थायी निर्भरता को पकड़ने के लिए मॉडल का विस्तार करना, जैसे कि समय श्रृंखला के लिए जनरेटिव टोपोग्राफिक मैपिंग (GTM-TS) में।

आधुनिक Machine learning और Generative AI के संदर्भ में, GTM को जनरेटिव मॉडल का एक प्रारंभिक उदाहरण माना जाता है, जो वैरिएशनल ऑटोएनकोडर और जनरेटिव एडवर्सेरियल नेटवर्क जैसे गहन जनरेटिव दृष्टिकोणों से पहले आता है। इसका संभाव्य सूत्रीकरण Deep learning मॉडलों के सिद्धांतों के साथ संरेखित होता है जो अव्यक्त प्रतिनिधित्व सीखते हैं, हालाँकि यह आमतौर पर उथले आर्किटेक्चर का उपयोग करता है।

विस्तार और प्रकार

GTM के कई विस्तार प्रस्तावित किए गए हैं, जिनमें शामिल हैं:

• पदानुक्रमित GTM: एक बहु-स्तरीय मॉडल जो कई पैमानों पर संरचना को पकड़ता है।
• बायेसियन GTM: मॉडल को नियमित करने और अनिश्चितता अनुमान प्रदान करने के लिए वजन पर पूर्व वितरण शामिल करना।
• विभेदक GTM: प्रशिक्षण उद्देश्य में वर्ग लेबल शामिल करके वर्गीकरण कार्यों के लिए मॉडल को अनुकूलित करना।
• वृद्धिशील GTM: नए डेटा आने पर मॉडल को ऑनलाइन अद्यतन करना, स्ट्रीमिंग अनुप्रयोगों के लिए उपयोगी।

इन प्रकारों को अनुसंधान सेटिंग्स में खोजा गया है, अक्सर Nokia Bell Labs और Xerox PARC जैसे संस्थानों के समूहों द्वारा, हालाँकि मुख्य GTM अनुपयोजित शिक्षण में एक मौलिक उपकरण बना हुआ है।

सीमाएँ और विरासत

GTM की प्राथमिक सीमाओं में इसकी कम्प्यूटेशनल लागत, अव्यक्त बिंदुओं और आधार फ़ंक्शनों की संख्या चुनने की आवश्यकता, और गाऊसी शोर की धारणा शामिल है, जो सभी डेटा प्रकारों के लिए मान्य नहीं हो सकती है। इनके बावजूद, इसने संभाव्य आयामीता में कमी पर बाद के काम को प्रभावित किया, जिसमें 2005 में नील लॉरेंस द्वारा पेश किया गया गाऊसी प्रक्रिया अव्यक्त चर मॉडल (GPLVM) शामिल है। GTM को Pattern recognition और Neural network सिद्धांत पर पाठ्यपुस्तकों में भी उद्धृत किया गया है, विशेष रूप से Christopher Bishop द्वारा, जिन्होंने मूल पेपर का सह-लेखन किया था।

Artificial intelligence के व्यापक परिदृश्य में, GTM शास्त्रीय सांख्यिकीय मॉडलिंग और आधुनिक जनरेटिव दृष्टिकोणों के बीच एक पुल का प्रतिनिधित्व करता है। जबकि व्यवहार में इसे बड़े पैमाने पर गहन जनरेटिव मॉडलों द्वारा प्रतिस्थापित किया गया है, यह एक उपयोगी शैक्षणिक उदाहरण और नई अव्यक्त चर तकनीकों के मूल्यांकन के लिए एक बेंचमार्क बना हुआ है। संभाव्य व्याख्या और स्पष्ट अव्यक्त संरचना पर इसका जोर Unsupervised learning और Representation learning में अनुसंधान को सूचित करना जारी रखता है।

यह भी देखें

• Self-organizing map
• latent-variable-model
• gaussian-process-latent-variable-model
• Variational Autoencoder