डेटा प्रीप्रोसेसिंग मशीन लर्निंग पाइपलाइन में वह चरण है जो कच्चे, अव्यवस्थित डेटा को एक स्वच्छ, संरचित प्रारूप में परिवर्तित करता है जो विश्लेषण और मॉडल प्रशिक्षण के लिए उपयुक्त होता है। इसमें तकनीकों का एक व्यापक समूह शामिल है - जिसमें सफाई, परिवर्तन, कमी और फीचर इंजीनियरिंग शामिल हैं - जो लापता मानों, असंगत प्रारूपों, आउटलायर्स और अनावश्यक जानकारी जैसी समस्याओं का समाधान करता है। लक्ष्य डेटा गुणवत्ता और परिणामस्वरूप, डाउनस्ट्रीम मॉडलों की सटीकता और विश्वसनीयता को बढ़ाना है, चाहे वे शास्त्रीय एल्गोरिदम हों या डीप लर्निंग नेटवर्क। हालांकि इसे अक्सर एक सामान्य कदम माना जाता है, प्रीप्रोसेसिंग डेटा वैज्ञानिक के समय का एक महत्वपूर्ण हिस्सा खपत कर सकती है और पक्षपाती या त्रुटिपूर्ण भविष्यवाणियों से बचने के लिए महत्वपूर्ण है।
प्रीप्रोसेसिंग की आवश्यकता इस तथ्य से उत्पन्न होती है कि वास्तविक दुनिया का डेटा शायद ही कभी सीधे उपभोग के लिए तैयार होता है। सेंसर, उपयोगकर्ता इनपुट और वेब लॉग जैसे स्रोत शोरगुल वाले, अधूरे और विषम रिकॉर्ड उत्पन्न करते हैं। उदाहरण के लिए, एक डेटासेट में डुप्लिकेट प्रविष्टियाँ, विभिन्न प्रारूपों में दिनांक फ़ील्ड, या टाइपो वाले श्रेणीबद्ध चर हो सकते हैं। प्रीप्रोसेसिंग के बिना, मॉडल अभिसरण करने में विफल हो सकते हैं, तिरछे परिणाम उत्पन्न कर सकते हैं, या अप्रासंगिक पैटर्न पर ओवरफिट हो सकते हैं। कृत्रिम बुद्धिमत्ता प्रणालियों के संदर्भ में, प्रीप्रोसेसिंग एल्गोरिदम की विशिष्ट आवश्यकताओं के साथ डेटा को संरेखित करने में भी मदद करती है, जैसे ग्रेडिएंट-आधारित अनुकूलन के लिए स्केलिंग या तंत्रिका नेटवर्क आर्किटेक्चर के लिए एन्कोडिंग।
डेटा सफाई
डेटा सफाई पहला और सबसे मौलिक प्रीप्रोसेसिंग चरण है। इसमें त्रुटियों की पहचान और सुधार, लापता मानों को संभालना और डुप्लिकेट को हटाना शामिल है। लापता डेटा को विलोपन (उच्च अनुपस्थिति दर वाली पंक्तियों या स्तंभों को हटाना) या प्रतिस्थापन (माध्य, माध्यिका, या मोड जैसे सांख्यिकीय उपायों के साथ अंतराल भरना, या के-निकटतम पड़ोसियों जैसी अधिक उन्नत विधियों का उपयोग करना) के माध्यम से संबोधित किया जा सकता है। आउटलायर्स, जो चरम मान हैं जो मानक से महत्वपूर्ण रूप से विचलित होते हैं, अक्सर जेड-स्कोर या अंतरचतुर्थक श्रेणियों का उपयोग करके पहचाने जाते हैं और संदर्भ के आधार पर सीमित, परिवर्तित या हटाए जा सकते हैं। डुप्लिकेट रिकॉर्ड, जो डेटा विलय त्रुटियों से उत्पन्न हो सकते हैं, आमतौर पर प्रमुख फ़ील्ड के आधार पर पहचाने जाते हैं और अतिप्रतिनिधित्व को रोकने के लिए समाप्त किए जाते हैं।
डेटा परिवर्तन
परिवर्तन डेटा को एक सुसंगत पैमाने या वितरण में परिवर्तित करता है। सामान्य तकनीकों में सामान्यीकरण (सुविधाओं को एक सीमा में स्केल करना, अक्सर 0 से 1) और मानकीकरण (माध्य को 0 पर केंद्रित करना और विचरण को 1 पर स्केल करना) शामिल हैं। ये उन एल्गोरिदम के लिए आवश्यक हैं जो दूरी मापों पर निर्भर करते हैं, जैसे के-निकटतम पड़ोसी, और ग्रेडिएंट-आधारित अनुकूलकों जैसे एडम ऑप्टिमाइज़र और एसजीडी वेरिएंट के लिए। तिरछे वितरण के लिए, लॉग या पावर परिवर्तन तिरछापन कम कर सकते हैं और पैटर्न को अधिक स्पष्ट बना सकते हैं। श्रेणीबद्ध चर को एन्कोड करना एक और महत्वपूर्ण परिवर्तन है: लेबल एन्कोडिंग श्रेणियों को पूर्णांक निर्दिष्ट करता है, जबकि वन-हॉट एन्कोडिंग प्रत्येक श्रेणी के लिए बाइनरी कॉलम बनाता है, जिसे अक्सर उन मॉडलों के लिए पसंद किया जाता है जो कोई क्रमिक संबंध नहीं मानते हैं। दिनांक और समय फ़ील्ड को वर्ष, माह और सप्ताह के दिन जैसे घटकों में विघटित किया जा सकता है।
डेटा कमी और फीचर इंजीनियरिंग
डेटा कमी का उद्देश्य आवश्यक जानकारी को संरक्षित करते हुए डेटा की मात्रा को कम करना है। आयामीता कमी तकनीकें, जैसे प्रिंसिपल कंपोनेंट विश्लेषण (पीसीए) और टी-एसएनई, उच्च-आयामी डेटा को निम्न-आयामी स्थानों में प्रक्षेपित करती हैं, कम्प्यूटेशनल लागत को कम करती हैं और आयामीता के अभिशाप को कम करती हैं। फीचर चयन विधियाँ, जिनमें फ़िल्टर, रैपर और एम्बेडेड दृष्टिकोण शामिल हैं, सबसे प्रासंगिक चर की पहचान करती हैं और अनावश्यक को त्याग देती हैं। दूसरी ओर, फीचर इंजीनियरिंग, अंतर्निहित पैटर्न को बेहतर ढंग से पकड़ने के लिए मौजूदा सुविधाओं से नई सुविधाएँ बनाती है। उदाहरण के लिए, एक टाइमस्टैम्प से 'दिन का घंटा' या 'is_weekend' प्राप्त किया जा सकता है, और खरीद इतिहास से 'औसत लेनदेन मूल्य' की गणना की जा सकती है। डेटा ऑग्मेंटेशन में, जो छवि और पाठ कार्यों में सामान्य प्रीप्रोसेसिंग का एक रूप है, डेटासेट आकार बढ़ाने और सामान्यीकरण में सुधार करने के लिए सिंथेटिक विविधताएँ उत्पन्न की जाती हैं।
डीप लर्निंग के लिए प्रीप्रोसेसिंग
डीप लर्निंग मॉडल, विशेष रूप से ट्रांसफॉर्मर-आधारित आर्किटेक्चर जैसे बड़े भाषा मॉडल, की विशिष्ट प्रीप्रोसेसिंग आवश्यकताएँ होती हैं। पाठ डेटा को टोकनाइज़ किया जाना चाहिए - शब्दों, उपशब्दों या वर्णों में विभाजित - और संख्यात्मक आईडी में परिवर्तित किया जाना चाहिए, अक्सर प्रशिक्षण के दौरान निर्मित शब्दावली का उपयोग करके। बैचिंग सक्षम करने के लिए अनुक्रमों को एक निश्चित लंबाई में पैड या ट्रंकेट किया जाता है। छवि डेटा के लिए, प्रीप्रोसेसिंग में आकार बदलना, क्रॉपिंग और रंग सामान्यीकरण शामिल हो सकता है। इसके अतिरिक्त, बैच सामान्यीकरण और लेयर सामान्यीकरण जैसी तकनीकें नेटवर्क के भीतर प्रशिक्षण को स्थिर करने के लिए लागू की जाती हैं, हालांकि इन्हें कभी-कभी प्रीप्रोसेसिंग के बजाय मॉडल आर्किटेक्चर का हिस्सा माना जाता है। अनुक्रम-से-अनुक्रम कार्यों के लिए, प्रीप्रोसेसिंग में कम्प्यूटेशन को अनुकूलित करने के लिए अनुक्रमों को लंबाई के अनुसार क्रमबद्ध करना शामिल हो सकता है। प्रीप्रोसेसिंग चरणों का चुनाव अवशिष्ट नेटवर्क या यू-नेट जैसे मॉडलों के प्रदर्शन को महत्वपूर्ण रूप से प्रभावित कर सकता है, और इसे अक्सर समग्र पाइपलाइन के हिस्से के रूप में ट्यून किया जाता है।
उपकरण और सर्वोत्तम अभ्यास
व्यवहार में, डेटा प्रीप्रोसेसिंग पायथन में पांडास और साइकिट-लर्न जैसी प्रोग्रामिंग लाइब्रेरी, या अमेज़न वेब सर्विसेज, एज़्योर और गूगल क्लाउड जैसे क्लाउड प्लेटफार्मों के भीतर विशेष उपकरणों का उपयोग करके की जाती है। सर्वोत्तम अभ्यासों में हर परिवर्तन का दस्तावेजीकरण करना, प्रतिलिपि प्रस्तुत करने योग्य पाइपलाइन बनाना, और डेटा लीकेज से बचने के लिए किसी भी प्रीप्रोसेसिंग से पहले डेटा को प्रशिक्षण, सत्यापन और परीक्षण सेट में विभाजित करना शामिल है। स्केलिंग पैरामीटर केवल प्रशिक्षण सेट पर फिट किए जाने चाहिए और परीक्षण डेटा पर लागू किए जाने चाहिए। 2020 के दशक के मध्य तक, स्वचालित मशीन लर्निंग (ऑटोएमएल) उपकरण तेजी से प्रीप्रोसेसिंग चरणों को शामिल कर रहे हैं, लेकिन यह सुनिश्चित करने के लिए मानवीय निरीक्षण आवश्यक बना हुआ है कि परिवर्तन डोमेन ज्ञान के साथ संरेखित हों और पूर्वाग्रह न लाएँ।
निष्कर्ष
डेटा प्रीप्रोसेसिंग किसी भी मशीन लर्निंग या एआई परियोजना में एक आधारभूत चरण है। यह कच्चे डेटा और मॉडल तत्परता के बीच की खाई को पाटता है, सीधे भविष्यवाणियों की गुणवत्ता को प्रभावित करता है। हालांकि इसमें मॉडल आर्किटेक्चर या प्रशिक्षण एल्गोरिदम की चमक का अभाव है, इसके महत्व को कम करके नहीं आंका जा सकता: एक अच्छी तरह से प्रीप्रोसेस्ड डेटासेट एक ऐसे मॉडल के बीच अंतर कर सकता है जो विफल होता है और एक जो उत्पादन में विश्वसनीय रूप से प्रदर्शन करता है। जैसे-जैसे डेटा की मात्रा बढ़ती है और स्रोत अधिक विविध होते जाते हैं, प्रीप्रोसेसिंग की भूमिका और भी महत्वपूर्ण होती जाएगी, स्वचालित और अनुकूली विधियों में चल रहे शोध के साथ।