वितरण-से-बाहर पहचान

आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) डिटेक्शन मशीन लर्निंग की एक उपशाखा है जो उन इनपुट की पहचान करने से संबंधित है जो उस सांख्यिकीय वितरण से संबंधित नहीं हैं जिस पर मॉडल को प्रशिक्षित किया गया था। तैनात सिस्टम में, मॉडल अक्सर ऐसे इनपुट का सामना करते हैं जो नए, असामान्य या विभिन्न डोमेन से होते हैं, और इन्हें पहचानने में विफल रहने से गलत भविष्यवाणियां हो सकती हैं जिनके गंभीर परिणाम हो सकते हैं। OOD डिटेक्शन का उद्देश्य ऐसे इनपुट को चिह्नित करना है ताकि सिस्टम उचित रूप से प्रतिक्रिया दे सकें, जैसे कि परहेज करना, किसी मानव को सौंपना, या फॉलबैक तंत्र को ट्रिगर करना।

यह समस्या एनोमली डिटेक्शन या नवीनता डिटेक्शन जैसे संबंधित कार्यों से अलग है, हालांकि इन शब्दों का उपयोग कभी-कभी परस्पर किया जाता है। OOD डिटेक्शन आमतौर पर एक ज्ञात प्रशिक्षण वितरण मानता है और उन इनपुट पर ध्यान केंद्रित करता है जो इसके समर्थन से बाहर होते हैं, जबकि एनोमली डिटेक्शन वितरण के भीतर दुर्लभ घटनाओं पर भी विचार कर सकता है। आधुनिक डीप लर्निंग में, OOD डिटेक्शन स्वायत्त ड्राइविंग, चिकित्सा निदान और वित्तीय धोखाधड़ी का पता लगाने जैसे सुरक्षा-महत्वपूर्ण डोमेन में तंत्रिका नेटवर्क तैनात करने के लिए एक महत्वपूर्ण घटक बन गया है।

विधियाँ और दृष्टिकोण

प्रारंभिक OOD डिटेक्शन विधियाँ वर्गीकरण नेटवर्क के सॉफ्टमैक्स कॉन्फिडेंस स्कोर पर निर्भर करती थीं, यह देखते हुए कि मॉडल OOD इनपुट को कम कॉन्फिडेंस देते हैं। हालांकि, तंत्रिका नेटवर्क अक्सर अत्यधिक आत्मविश्वासी होते हैं, और यह दृष्टिकोण अविश्वसनीय साबित हुआ। बाद के शोध ने अधिक मजबूत तकनीकें पेश कीं, जिनमें तापमान स्केलिंग शामिल है, जो इन-डिस्ट्रीब्यूशन और OOD नमूनों को बेहतर ढंग से अलग करने के लिए सॉफ्टमैक्स वितरण को समायोजित करती है। ODIN (आउट-ऑफ-डिस्ट्रीब्यूशन डिटेक्टर फॉर न्यूरल नेटवर्क्स) नामक विधि ने अंतर को बढ़ाने के लिए तापमान स्केलिंग को इनपुट प्रीप्रोसेसिंग के साथ जोड़ा।

काम की एक और पंक्ति फीचर स्पेस में दूरी-आधारित मीट्रिक का उपयोग करती है। डीप नियरेस्ट नेबर (DNN) दृष्टिकोण जैसे मॉडल परीक्षण इनपुट के फीचर प्रतिनिधित्व और प्रशिक्षण वर्गों के सेंट्रोइड के बीच की दूरी की गणना करते हैं, और उन इनपुट को चिह्नित करते हैं जो सभी सेंट्रोइड से दूर हैं। महालनोबिस दूरी-आधारित विधियाँ फीचर वितरण को बहुभिन्नरूपी गाऊसी के रूप में मॉडल करती हैं और स्कोर के रूप में महालनोबिस दूरी का उपयोग करती हैं, जो बेंचमार्क डेटासेट पर मजबूत प्रदर्शन दिखाती हैं।

जनरेटिव मॉडल भी OOD डिटेक्शन के लिए नियोजित किए गए हैं। Generative AI मॉडल का उपयोग करने वाले दृष्टिकोण, जैसे वेरिएशनल ऑटोएनकोडर (VAE) और जनरेटिव एडवरसैरियल नेटवर्क (GAN), प्रशिक्षण वितरण को स्पष्ट रूप से मॉडल करने और उस मॉडल के तहत परीक्षण इनपुट की संभावना को मापने का प्रयास करते हैं। हालांकि, संभावना-आधारित विधियों को कभी-कभी OOD इनपुट को अधिक संभावना देते हुए दिखाया गया है, एक प्रति-सहज ज्ञान युक्त घटना जिसने इस बात पर आगे शोध को प्रेरित किया है कि डीप जनरेटिव मॉडल इस तरह से व्यवहार क्यों करते हैं।

मूल्यांकन और बेंचमार्क

OOD डिटेक्शन के लिए मानक बेंचमार्क में इन-डिस्ट्रीब्यूशन डेटा के रूप में CIFAR-10, CIFAR-100 और ImageNet जैसे डेटासेट शामिल हैं, जिनमें OOD सेट SVHN, Tiny ImageNet या LSUN जैसे अन्य डेटासेट से लिए गए हैं। आमतौर पर उपयोग किए जाने वाले मीट्रिक में रिसीवर ऑपरेटिंग विशेषता वक्र के अंतर्गत क्षेत्र (AUROC), एक निश्चित सही सकारात्मक दर पर गलत सकारात्मक दर (FPR@TPR) और डिटेक्शन त्रुटि दर शामिल हैं। ये मीट्रिक शोधकर्ताओं को विभिन्न सेटिंग्स और थ्रेशोल्ड में विधियों की तुलना करने की अनुमति देते हैं।

हाल के वर्षों में, बेंचमार्क में अधिक चुनौतीपूर्ण परिदृश्य शामिल करने के लिए विस्तार हुआ है, जैसे कि सिमेंटिक शिफ्ट (जहां OOD इनपुट नए वर्गों से होते हैं) और कोवेरिएट शिफ्ट (जहां इनपुट वितरण बदलता है लेकिन लेबल स्पेस समान रहता है)। 2021 में पेश किया गया OpenOOD बेंचमार्क, कई कार्यों और डेटासेट में OOD डिटेक्शन विधियों के मूल्यांकन के लिए एक एकीकृत ढांचा प्रदान करता है, जो तुलनाओं को मानकीकृत करने में मदद करता है।

चुनौतियाँ और सीमाएँ

प्रगति के बावजूद, OOD डिटेक्शन एक खुली समस्या बनी हुई है। एक प्रमुख चुनौती अत्यधिक आत्मविश्वास की समस्या है: डीप नेटवर्क अक्सर प्रशिक्षण वितरण से दूर इनपुट के लिए उच्च-कॉन्फिडेंस भविष्यवाणियां उत्पन्न करते हैं। यह विशेष रूप से बड़े भाषा मॉडल (LLM) में समस्याग्रस्त है, जहां इनपुट स्पेस असतत और उच्च-आयामी है, जिससे यह परिभाषित करना मुश्किल हो जाता है कि OOD इनपुट क्या है। Transformer (architecture)-आधारित मॉडल के लिए, OOD डिटेक्शन में अक्सर टोकन-स्तरीय संभावनाओं या एम्बेडिंग का विश्लेषण शामिल होता है, लेकिन ये विधियाँ अभी भी प्रारंभिक चरणों में हैं।

एक और चुनौती आयामीता का अभिशाप है। उच्च-आयामी स्थानों में, दूरियाँ कम सार्थक हो जाती हैं, और घनत्व अनुमान असंभव हो जाता है। यह दूरी-आधारित और संभावना-आधारित दोनों विधियों को प्रभावित करता है। इसके अलावा, OOD डिटेक्शन विधियाँ अक्सर हाइपरपैरामीटर की पसंद और विशिष्ट आर्किटेक्चर के प्रति संवेदनशील होती हैं, जिससे मॉडलों में सामान्यीकरण करना मुश्किल हो जाता है।

एक सैद्धांतिक सीमा भी है: OOD वितरण के बारे में धारणाओं के बिना, पूर्ण डिटेक्शन की गारंटी देना असंभव है। इसने प्रमाणित रूप से मजबूत OOD डिटेक्शन पर शोध को जन्म दिया है, जिसके लिए अक्सर डेटा जनरेशन प्रक्रिया के बारे में प्रतिबंधात्मक धारणाओं की आवश्यकता होती है।

अनुप्रयोग और भविष्य की दिशाएँ

OOD डिटेक्शन व्यापक रूप से सुरक्षा-महत्वपूर्ण सिस्टम में लागू किया जाता है। उदाहरण के लिए, स्वायत्त ड्राइविंग में, एक धारणा प्रणाली को पहचानना चाहिए कि उसे प्रशिक्षण के दौरान नहीं देखी गई वस्तु या दृश्य का सामना करना पड़ा है, जैसे कि एक असामान्य सड़क बाधा। Waymo और Tesla जैसी कंपनियाँ दुर्घटनाओं को रोकने के लिए मजबूत OOD डिटेक्शन में निवेश करती हैं। स्वास्थ्य सेवा में, OOD डिटेक्शन उन चिकित्सा छवियों को चिह्नित करने में मदद करता है जो प्रशिक्षण सेट से भिन्न होती हैं, जिससे गलत निदान का जोखिम कम होता है। वित्त में, यह धोखाधड़ी वाले लेनदेन की पहचान कर सकता है जो सामान्य पैटर्न से विचलित होते हैं।

बड़े भाषा मॉडल के लिए, OOD डिटेक्शन का उपयोग उन प्रॉम्प्ट की पहचान करने के लिए किया जाता है जो दायरे से बाहर या प्रतिकूल हैं, जो भ्रम और दुरुपयोग को कम करने में मदद करता है। इस क्षेत्र में शोध जारी है, जिसमें ऐसी विधियाँ शामिल हैं जो Transformer (architecture) के आंतरिक प्रतिनिधित्व या उत्पन्न टोकन की अनिश्चितता का लाभ उठाती हैं।

भविष्य की दिशाओं में OOD डिटेक्शन विधियों को विकसित करना शामिल है जो मॉडल-अज्ञेयवादी हैं और विभिन्न आर्किटेक्चर में लागू किए जा सकते हैं, जिनमें तंत्रिका नेटवर्क और Transformer (architecture) शामिल हैं। निरंतर सीखने में भी रुचि है, जहां मॉडल को समय के साथ नए वितरणों के अनुकूल होने के दौरान OOD इनपुट का पता लगाना चाहिए। जैसे-जैसे AI सिस्टम अधिक व्यापक होते जा रहे हैं, विश्वसनीय और मजबूत सिस्टम बनाने के लिए विश्वसनीय OOD डिटेक्शन आवश्यक होगा।

यह भी देखें

• anomaly-detection
• confidence-calibration
• distribution-shift
• मजबूती