क्रॉस-वैलिडेशन, जिसे कभी-कभी रोटेशन अनुमान या आउट-ऑफ-सैंपल परीक्षण भी कहा जाता है, मॉडल सत्यापन तकनीकों का एक परिवार है जो यह आकलन करने के लिए उपयोग किया जाता है कि सांख्यिकीय विश्लेषण के परिणाम एक स्वतंत्र डेटा सेट पर कैसे सामान्यीकृत होंगे। यह एक पुनर्नमूनाकरण विधि है जो विभिन्न पुनरावृत्तियों पर एक मॉडल को प्रशिक्षित और परीक्षण करने के लिए डेटा के विभिन्न हिस्सों का उपयोग करती है। क्रॉस-वैलिडेशन आमतौर पर पूर्वानुमान सेटिंग्स में यह अनुमान लगाने के लिए उपयोग किया जाता है कि एक पूर्वानुमानित मॉडल व्यवहार में कितनी सटीकता से प्रदर्शन करेगा, और यह एक फिट किए गए मॉडल की गुणवत्ता और उसके मापदंडों की स्थिरता का भी आकलन कर सकता है।
एक विशिष्ट पूर्वानुमान समस्या में, एक मॉडल को ज्ञात डेटासेट (प्रशिक्षण सेट) पर प्रशिक्षित किया जाता है और फिर अदृश्य डेटा के डेटासेट (सत्यापन या परीक्षण सेट) पर परीक्षण किया जाता है। लक्ष्य नए डेटा की भविष्यवाणी करने की मॉडल की क्षमता को मापना है जो अनुमान में उपयोग नहीं किया गया था, जिससे ओवरफिटिंग या चयन पूर्वाग्रह जैसी समस्याओं को चिह्नित किया जा सके और यह अंतर्दृष्टि प्रदान की जा सके कि मॉडल एक स्वतंत्र डेटासेट पर कैसे सामान्यीकृत होगा। क्रॉस-वैलिडेशन के एक दौर में नमूने को पूरक उपसमुच्चय में विभाजित करना शामिल है: मॉडल को एक उपसमुच्चय (प्रशिक्षण सेट) पर फिट किया जाता है और दूसरे (सत्यापन सेट) पर मान्य किया जाता है। परिवर्तनशीलता को कम करने के लिए, अधिकांश विधियाँ विभिन्न विभाजनों के साथ कई दौर करती हैं, और सत्यापन परिणामों को दौरों पर औसत किया जाता है ताकि पूर्वानुमानित प्रदर्शन का अधिक सटीक अनुमान प्राप्त हो सके।
प्रेरणा
एक मॉडल पर विचार करें जिसमें एक या अधिक अज्ञात पैरामीटर और एक डेटासेट हो जिस पर मॉडल को फिट किया जा सके। फिटिंग प्रक्रिया मॉडल को प्रशिक्षण डेटा पर यथासंभव अच्छी तरह फिट करने के लिए मापदंडों को अनुकूलित करती है। यदि उसी जनसंख्या से सत्यापन डेटा का एक स्वतंत्र नमूना लिया जाता है, तो मॉडल आम तौर पर सत्यापन डेटा पर उतना अच्छा फिट नहीं होगा जितना कि प्रशिक्षण डेटा पर होता है। यह विसंगति विशेष रूप से बड़ी होती है जब प्रशिक्षण सेट छोटा होता है या जब मापदंडों की संख्या बड़ी होती है। क्रॉस-वैलिडेशन इस प्रभाव के आकार का अनुमान लगाने का एक तरीका प्रदान करता है, जो मॉडल प्रदर्शन को समझने के लिए महत्वपूर्ण है।
उदाहरण: रैखिक प्रतिगमन
रैखिक प्रतिगमन में, मान लीजिए कि वास्तविक प्रतिक्रिया मान \(y_1, \ldots, y_n\) और \(n\) p-आयामी सहचर वेक्टर \(\mathbf{x}_1, \ldots, \mathbf{x}_n\) हैं, जहां प्रत्येक \(\mathbf{x}_i\) के घटक \(x_{i1}, \ldots, x_{ip}\) हैं। डेटा पर एक हाइपरप्लेन \(\hat{y} = a + \boldsymbol{\beta}^T \mathbf{x}\) फिट करने के लिए न्यूनतम वर्गों का उपयोग करते हुए, प्रशिक्षण सेट पर माध्य वर्ग त्रुटि (MSE) को इस प्रकार परिभाषित किया गया है:
\[
\text{MSE} = \frac{1}{n} \sum_{i=1}^n (y_i - \hat{y}_i)^2 = \frac{1}{n} \sum_{i=1}^n (y_i - a - \boldsymbol{\beta}^T \mathbf{x}_i)^2.
\]
यदि मॉडल सही ढंग से निर्दिष्ट है, तो प्रशिक्षण MSE वास्तविक पूर्वानुमान त्रुटि को कम आंकने की प्रवृत्ति रखता है क्योंकि मॉडल को प्रशिक्षण डेटा को फिट करने के लिए अनुकूलित किया गया है। क्रॉस-वैलिडेशन बाहर रखे गए डेटा पर मॉडल का मूल्यांकन करके इस आशावाद को ठीक करने में मदद करता है।
सामान्य विधियाँ
कई क्रॉस-वैलिडेशन तकनीकें मौजूद हैं, जो डेटा को विभाजित करने के तरीके में भिन्न हैं।
k-फोल्ड क्रॉस-वैलिडेशन
k-फोल्ड क्रॉस-वैलिडेशन में, मूल नमूने को यादृच्छिक रूप से \(k\) समान आकार के उप-नमूनों में विभाजित किया जाता है। इनमें से, \(k-1\) उप-नमूनों का उपयोग प्रशिक्षण डेटा के रूप में किया जाता है, और शेष एक उप-नमूने का उपयोग सत्यापन डेटा के रूप में किया जाता है। प्रक्रिया को \(k\) बार दोहराया जाता है, प्रत्येक उप-नमूने का उपयोग सत्यापन डेटा के रूप में ठीक एक बार किया जाता है। फिर एकल अनुमान उत्पन्न करने के लिए \(k\) परिणामों को औसत किया जाता है। \(k\) के लिए विशिष्ट विकल्प 5 या 10 हैं, जो पूर्वाग्रह और विचरण को संतुलित करते हैं। एक विशेष मामला लीव-वन-आउट क्रॉस-वैलिडेशन (LOOCV) है, जहां \(k\) डेटा बिंदुओं की संख्या के बराबर होता है, जिसका अर्थ है कि प्रत्येक अवलोकन का उपयोग सत्यापन सेट के रूप में एक बार किया जाता है।
लीव-वन-आउट क्रॉस-वैलिडेशन (LOOCV)
LOOCV k-फोल्ड क्रॉस-वैलिडेशन का एक चरम रूप है जहां प्रत्येक प्रशिक्षण सेट में एक को छोड़कर सभी अवलोकन शामिल होते हैं, और सत्यापन सेट वह एकल अवलोकन होता है। यह विधि बड़े डेटासेट के लिए कम्प्यूटेशनल रूप से महंगी है लेकिन पूर्वानुमान त्रुटि का लगभग निष्पक्ष अनुमान प्रदान करती है, हालांकि इसमें उच्च विचरण हो सकता है।
दोहराया यादृच्छिक उप-नमूनाकरण
मोंटे कार्लो क्रॉस-वैलिडेशन के रूप में भी जाना जाता है, यह विधि डेटा को कई बार प्रशिक्षण और सत्यापन सेटों में यादृच्छिक रूप से विभाजित करती है, प्रतिस्थापन के साथ। पूर्वानुमान त्रुटि को विभाजनों पर औसत किया जाता है। यह दृष्टिकोण यह गारंटी नहीं देता है कि प्रत्येक अवलोकन का उपयोग सत्यापन के लिए ठीक एक बार किया जाता है, लेकिन यह तब उपयोगी हो सकता है जब डेटा का आकार बड़ा हो।
स्तरीकृत क्रॉस-वैलिडेशन
असंतुलित वर्गों वाली वर्गीकरण समस्याओं में, स्तरीकृत क्रॉस-वैलिडेशन यह सुनिश्चित करता है कि प्रत्येक फोल्ड मूल डेटासेट के समान वर्ग अनुपात बनाए रखता है। यह एक फोल्ड में किसी विशेष वर्ग की कमी को रोकता है, जो भ्रामक प्रदर्शन अनुमानों का कारण बन सकता है।
अनुप्रयोग
क्रॉस-वैलिडेशन का व्यापक रूप से Machine learning और Artificial intelligence में मॉडल चयन और हाइपरपैरामीटर ट्यूनिंग के लिए उपयोग किया जाता है। उदाहरण के लिए, तंत्रिका नेटवर्क या बड़े भाषा मॉडल को प्रशिक्षित करने में, चिकित्सक परतों की संख्या, सीखने की दर, या नियमितीकरण मापदंडों को चुनने के लिए क्रॉस-वैलिडेशन का उपयोग करते हैं। इसका उपयोग Deep learning में आर्किटेक्चर की तुलना करने और Transformer (architecture)-आधारित मॉडलों में तैनाती से पहले सामान्यीकरण का मूल्यांकन करने के लिए भी किया जाता है।
पूर्वानुमान से परे, क्रॉस-वैलिडेशन मॉडल मापदंडों की स्थिरता का आकलन करने में मदद करता है। यदि किसी मॉडल के पैरामीटर विभिन्न प्रशिक्षण फोल्डों में काफी भिन्न होते हैं, तो यह अस्थिरता और संभावित ओवरफिटिंग को इंगित करता है। यह Generative AI जैसे क्षेत्रों में विशेष रूप से महत्वपूर्ण है, जहां मॉडलों को विविध वास्तविक दुनिया के इनपुटों के लिए सामान्यीकृत होना चाहिए।
सीमाएँ और विचार
क्रॉस-वैलिडेशन की कई सीमाएँ हैं। यह कम्प्यूटेशनल रूप से महंगा हो सकता है, विशेष रूप से बड़े डेटासेट और जटिल मॉडलों के साथ, क्योंकि इसके लिए बार-बार प्रशिक्षण की आवश्यकता होती है। समय-श्रृंखला डेटा के लिए, मानक क्रॉस-वैलिडेशन अनुचित है क्योंकि यादृच्छिक विभाजन अस्थायी क्रम का उल्लंघन करता है; इसके बजाय, फॉरवर्ड चेनिंग जैसी तकनीकों का उपयोग किया जाता है। इसके अतिरिक्त, क्रॉस-वैलिडेशन किसी दिए गए प्रशिक्षण सेट आकार के लिए अपेक्षित पूर्वानुमान त्रुटि का अनुमान लगाता है, लेकिन यह यादृच्छिक विभाजन के कारण परिवर्तनशीलता को पूरी तरह से ध्यान में नहीं रखता है, जिससे डेटासेट छोटा होने पर अनुमान में उच्च विचरण हो सकता है।
एक और विचार यह है कि क्रॉस-वैलिडेशन मानता है कि डेटा स्वतंत्र और समान रूप से वितरित (i.i.d.) है। व्यवहार में, यदि डेटा के भीतर क्लस्टरिंग या सहसंबंध है, तो सत्यापन परिणाम अत्यधिक आशावादी हो सकते हैं। समूहीकृत क्रॉस-वैलिडेशन जैसी विधियाँ यह सुनिश्चित करके इसे संबोधित कर सकती हैं कि एक समूह के सभी अवलोकन प्रशिक्षण या सत्यापन सेट में एक साथ रखे जाएं।
ओवरफिटिंग से संबंध
ओवरफिटिंग तब होती है जब एक मॉडल अंतर्निहित पैटर्न के बजाय प्रशिक्षण डेटा में शोर सीखता है, जिससे नए डेटा पर खराब प्रदर्शन होता है। क्रॉस-वैलिडेशन ओवरफिटिंग का पता लगाने के लिए एक प्राथमिक उपकरण है: यदि सत्यापन त्रुटि प्रशिक्षण त्रुटि से काफी अधिक है, तो मॉडल संभवतः ओवरफिटिंग कर रहा है। कई विभाजनों पर औसत करके, क्रॉस-वैलिडेशन एकल प्रशिक्षण-परीक्षण विभाजन की तुलना में सामान्यीकरण त्रुटि का अधिक विश्वसनीय अनुमान प्रदान करता है, जिससे चिकित्सकों को अत्यधिक जटिल मॉडल चुनने से बचने में मदद मिलती है।
ऐतिहासिक संदर्भ
क्रॉस-वैलिडेशन की अवधारणा की जड़ें 1930 के दशक की सांख्यिकी में हैं, जिसमें सीमोर गीसर और अन्य लोगों का प्रारंभिक कार्य शामिल है। यह 20वीं सदी के अंत में कम्प्यूटेशनल सांख्यिकी और Machine learning के उदय के साथ अधिक प्रमुख हो गया। Thomas G. Dietterich और Michael I. Jordan जैसे शोधकर्ताओं ने इसकी सैद्धांतिक समझ और व्यावहारिक अनुप्रयोगों में योगदान दिया है। आज, क्रॉस-वैलिडेशन डेटा वैज्ञानिकों के टूलबॉक्स में एक मानक उपकरण है और अधिकांश सांख्यिकीय और मशीन लर्निंग पुस्तकालयों में लागू किया गया है।
यह भी देखें
- मशीन लर्निंग
- कृत्रिम बुद्धिमत्ता
- गहन शिक्षण
- तंत्रिका नेटवर्क
- बड़ा भाषा मॉडल
- ट्रांसफॉर्मर
- जनरेटिव एआई
- ओवरफिटिंग (यदि उपलब्ध हो)
संदर्भ
- गीसर, एस. (1975)। पूर्वानुमानित नमूना पुन: उपयोग विधि और अनुप्रयोग। जर्नल ऑफ द अमेरिकन स्टैटिस्टिकल एसोसिएशन।
- स्टोन, एम. (1974)। क्रॉस-वैलिडेटरी विकल्प और सांख्यिकीय भविष्यवाणियों का आकलन। जर्नल ऑफ द रॉयल स्टैटिस्टिकल सोसाइटी।
- कोहावी, आर. (1995)। सटीकता अनुमान और मॉडल चयन के लिए क्रॉस-वैलिडेशन और बूटस्ट्रैप का एक अध्ययन। इंटरनेशनल जॉइंट कॉन्फ्रेंस ऑन आर्टिफिशियल इंटेलिजेंस।