डिफ्यूज़न मैप एक अरेखीय आयामीता कमी तकनीक है जिसे 2006 में रोनाल्ड आर. कोइफमैन और स्टीफन लाफॉन द्वारा प्रस्तुत किया गया था। यह डेटा बिंदुओं पर एक यादृच्छिक चलन या प्रसार प्रक्रिया का मॉडल बनाकर उच्च-आयामी डेटा का निम्न-आयामी प्रतिनिधित्व निर्मित करता है। यह विधि डेटा मैनिफोल्ड की आंतरिक ज्यामिति को पकड़ती है, स्थानीय संबंधों पर जोर देती है जबकि वैश्विक दूरियों को अनदेखा करती है, जिससे यह शोर और बाहरी बिंदुओं के प्रति मजबूत बनती है। डिफ्यूज़न मैप व्यापक रूप से Machine learning, डेटा विश्लेषण, और वैज्ञानिक कंप्यूटिंग जैसे क्षेत्रों में विज़ुअलाइज़ेशन, क्लस्टरिंग, और डीनॉइज़िंग जैसे कार्यों के लिए लागू किए जाते हैं।
मूल विचार डेटा बिंदुओं पर एक मार्कोव श्रृंखला परिभाषित करना है, जहां संक्रमण संभावनाएं बिंदुओं के बीच समानता को दर्शाती हैं। संक्रमण मैट्रिक्स के eigenvectors का विश्लेषण करके, विधि डेटा को एक यूक्लिडियन स्थान में एम्बेड करती है जहां यूक्लिडियन दूरियां प्रसार दूरी का अनुमान लगाती हैं - जो मैनिफोल्ड के साथ संयोजकता का एक माप है। यह एम्बेडिंग स्थानीय संरचना को संरक्षित करती है जबकि वैश्विक पैटर्न को प्रकट करती है, अक्सर अरेखीय डेटा पर प्रिंसिपल कंपोनेंट विश्लेषण जैसी रैखिक विधियों से बेहतर प्रदर्शन करती है।
गणितीय आधार
डिफ्यूज़न मैप एल्गोरिथ्म एक कर्नेल फ़ंक्शन से शुरू होता है, आमतौर पर एक गाऊसी कर्नेल, जिसे \( k(x_i, x_j) = \exp(-\|x_i - x_j\|^2 / \epsilon) \) के रूप में परिभाषित किया जाता है, जहां \( \epsilon \) एक पैमाना पैरामीटर है जो पड़ोस के आकार को नियंत्रित करता है। इस कर्नेल से, कर्नेल मैट्रिक्स को सामान्यीकृत करके एक पंक्ति-स्टोकास्टिक मैट्रिक्स \( P \) निर्मित किया जाता है। मैट्रिक्स \( P \) डेटा ग्राफ पर एक यादृच्छिक चलन की संक्रमण संभावनाओं का प्रतिनिधित्व करता है, जहां \( P_{ij} \) बिंदु \( i \) से बिंदु \( j \) तक एक कदम में जाने की संभावना है।
प्रसार प्रक्रिया को \( P \) की शक्तियों के माध्यम से अध्ययन किया जाता है, जहां \( P^t \) \( t \)-कदम संक्रमण संभावनाएं देता है। समय \( t \) पर दो बिंदुओं के बीच प्रसार दूरी को \( t \) कदमों के बाद उनके संभाव्यता वितरणों के बीच भारित \( L^2 \) दूरी के रूप में परिभाषित किया जाता है। मुख्य परिणाम यह है कि इस दूरी की गणना \( P \) के eigenvectors और eigenvalues का उपयोग करके की जा सकती है। विशेष रूप से, डिफ्यूज़न मैप प्रत्येक बिंदु \( x_i \) को एक वेक्टर में एम्बेड करता है जिसके घटक स्केल किए गए eigenvectors हैं: \( \Psi_t(x_i) = (\lambda_1^t \psi_1(i), \lambda_2^t \psi_2(i), \ldots) \), जहां \( \lambda_k \) और \( \psi_k \) eigenvalues और eigenvectors हैं। पहले \( d \) eigenvectors तक सीमित करने से एक \( d \)-आयामी एम्बेडिंग मिलती है जो प्रसार दूरी का अनुमान लगाती है।
स्पेक्ट्रल क्लस्टरिंग और मैनिफोल्ड लर्निंग से संबंध
डिफ्यूज़न मैप स्पेक्ट्रल विधियों के परिवार से संबंधित हैं, जिसमें Laplacian eigenmaps और spectral clustering भी शामिल हैं। सबसे छोटे पथ दूरियों पर निर्भर विधियों के विपरीत, डिफ्यूज़न मैप पूरी प्रसार प्रक्रिया का उपयोग करते हैं, जिससे वे शोर के कारण होने वाले शॉर्ट-सर्किट कनेक्शनों के प्रति अधिक मजबूत बनते हैं। पैरामीटर \( t \) विश्लेषण के पैमाने को नियंत्रित करता है: छोटा \( t \) स्थानीय संरचना पर जोर देता है, जबकि बड़ा \( t \) वैश्विक संयोजकता को प्रकट करता है। यह लचीलापन चिकित्सकों को कई रिज़ॉल्यूशनों पर डेटा का अन्वेषण करने की अनुमति देता है।
यह विधि मैनिफोल्ड पर हीट कर्नेल से निकटता से संबंधित है, क्योंकि प्रसार प्रक्रिया हीट समीकरण का अनुमान लगाती है। यह संबंध सैद्धांतिक गारंटी प्रदान करता है कि, जैसे-जैसे डेटा बिंदुओं की संख्या बढ़ती है और \( \epsilon \) घटता है, eigenvectors अंतर्निहित मैनिफोल्ड पर Laplace-Beltrami ऑपरेटर के eigenfunctions में अभिसरण करते हैं। यह गुण डिफ्यूज़न मैप को मैनिफोल्ड लर्निंग के लिए एक सैद्धांतिक रूप से आधारित उपकरण बनाता है, जैसा कि कोइफमैन और लाफॉन के कार्यों में प्रदर्शित किया गया है।
मशीन लर्निंग और विज्ञान में अनुप्रयोग
Machine learning में, डिफ्यूज़न मैप अरेखीय फीचर निष्कर्षण के लिए उपयोग किए जाते हैं, अक्सर क्लस्टरिंग या वर्गीकरण के लिए एक पूर्व-प्रसंस्करण चरण के रूप में। उदाहरण के लिए, छवि विश्लेषण में, वे स्पष्ट लेबल के बिना आकार या बनावट के आधार पर विभिन्न वस्तु वर्गों को अलग कर सकते हैं। Artificial intelligence अनुसंधान में, डिफ्यूज़न मैप को Neural network व्याख्यात्मकता के लिए लागू किया गया है, उच्च-आयामी सक्रियणों को निम्न-आयामी स्थान में विज़ुअलाइज़ करके।
वैज्ञानिक क्षेत्रों में, डिफ्यूज़न मैप का उपयोग एकल-कोशिका RNA अनुक्रमण डेटा का विश्लेषण करने के लिए किया गया है, जहां वे कोशिका प्रकारों और प्रक्षेपवक्रों की पहचान करने में मदद करते हैं। वे आणविक गतिशीलता में धीमे सामूहिक चर खोजने के लिए भी लागू होते हैं जो प्रोटीन फोल्डिंग का वर्णन करते हैं। यह विधि विभिन्न सॉफ्टवेयर पुस्तकालयों में लागू की गई है, जिसमें scikit-learn शामिल है, जो Python उपयोगकर्ताओं के लिए एक DiffusionMap क्लास प्रदान करता है।
विस्तार और विविधताएं
मूल एल्गोरिथ्म की सीमाओं को संबोधित करने के लिए कई विस्तार विकसित किए गए हैं। अनिसोट्रोपिक डिफ्यूज़न मैप डेटा बिंदुओं के गैर-समान नमूने को संभालने के लिए एक घनत्व-सामान्यीकरण पैरामीटर \( \alpha \) पेश करता है। मल्टीस्केल डिफ्यूज़न मैप स्थानीय और वैश्विक दोनों संरचनाओं को पकड़ने के लिए कई समय पैमानों \( t \) को जोड़ते हैं। इसके अतिरिक्त, आउट-ऑफ-सैंपल विस्तार तकनीकें Nyström विधि या ज्यामितीय हार्मोनिक्स का उपयोग करके पूरे मैप की पुनर्गणना किए बिना नए डेटा बिंदुओं को एम्बेड करने की अनुमति देती हैं।
हाल के शोध ने डिफ्यूज़न मैप को Deep learning आर्किटेक्चर के साथ एकीकृत किया है। उदाहरण के लिए, डिफ्यूज़न मैप निर्देशांक residual networks में सहायक लक्ष्यों के रूप में काम कर सकते हैं ताकि प्रतिनिधित्व सीखने में सुधार हो सके। Generative AI मॉडलों के लिए डिफ्यूज़न मैप का उपयोग करने पर भी काम है, जहां प्रसार प्रक्रिया जनरेटिव डिफ्यूज़न मॉडलों को प्रेरित करती है, हालांकि ये आयामीता कमी तकनीक से अलग हैं।
कम्प्यूटेशनल विचार
डिफ्यूज़न मैप की मुख्य कम्प्यूटेशनल लागत कर्नेल मैट्रिक्स का निर्माण और इसके eigenvectors की गणना है। बड़े डेटासेट के लिए, यह निषेधात्मक हो सकता है, क्योंकि \( n \) बिंदुओं के लिए मैट्रिक्स \( n \times n \) है। स्पार्स अनुमान, जैसे कि छोटे कर्नेल मानों को शून्य करने के लिए \( k \)-निकटतम पड़ोसियों का उपयोग, मेमोरी और समय को कम करते हैं। eigendecomposition के लिए यादृच्छिक एल्गोरिथ्म, जैसा कि AWS और Google Cloud जैसी पुस्तकालयों में लागू किया गया है, गणना को तेज कर सकते हैं। व्यवहार में, डिफ्यूज़न मैप आमतौर पर दसियों हज़ार बिंदुओं तक के डेटासेट पर लागू होते हैं, हालांकि बड़े डेटा के लिए स्केलेबल विविधताएं मौजूद हैं।
पैमाना पैरामीटर \( \epsilon \) का चयन महत्वपूर्ण है। यदि बहुत छोटा है, तो ग्राफ असंयोजित हो जाता है; यदि बहुत बड़ा है, तो एम्बेडिंग स्थानीय विवरण खो देती है। अनुमानों में जोड़ीदार दूरियों के माध्यिका पर \( \epsilon \) सेट करना या एन्ट्रॉपी-आधारित मानदंडों का उपयोग शामिल है। समय पैरामीटर \( t \) अक्सर सरलता के लिए 1 पर सेट किया जाता है, लेकिन बड़े मान वैश्विक संरचना में सुधार कर सकते हैं, हालांकि बारीक विवरण खोने की कीमत पर।
यह भी देखें
संदर्भ
- Coifman, R. R., & Lafon, S. (2006). Diffusion maps. Applied and Computational Harmonic Analysis, 21(1), 5-30.
- Lafon, S., & Lee, A. B. (2006). Diffusion maps and coarse-graining: A unified framework for dimensionality reduction, graph partitioning, and data set parameterization. IEEE Transactions on Pattern Analysis and Machine Intelligence, 28(9), 1393-1403.
- Nadler, B., Lafon, S., Coifman, R. R., & Kevrekidis, I. G. (2006). Diffusion maps, spectral clustering and reaction coordinates of dynamical systems. Applied and Computational Harmonic Analysis, 21(1), 113-127. (नोट: ये मानक संदर्भ हैं; लेख मूल गद्य है।)