पूलिंग एक डाउनसैंपलिंग ऑपरेशन है जिसका उपयोग न्यूरल नेटवर्क में किया जाता है, विशेष रूप से कन्वोल्यूशनल न्यूरल नेटवर्क (सीएनएन) में। एक पूलिंग परत कई वैक्टरों में फैली जानकारी को कम वैक्टरों में एकत्रित करती है, जिससे अतिरेक और आवश्यक गणना तथा मेमोरी की मात्रा कम होती है। यह बाद की परतों में न्यूरॉन्स के रिसेप्टिव फील्ड को भी बढ़ाती है, जिससे मॉडल इनपुट में छोटे बदलावों के प्रति अधिक मजबूत बनता है। पूलिंग आमतौर पर कन्वोल्यूशनल परतों के बाद लागू की जाती है ताकि फीचर मैप्स के स्थानिक आयामों को धीरे-धीरे कम किया जा सके, जबकि सबसे महत्वपूर्ण जानकारी को संरक्षित रखा जा सके।
2-आयामी सीएनएन में, एक पूलिंग परत इनपुट टेंसर \(x \in \mathbb{R}^{H \times W \times C}\) लेती है, जहाँ \(H\) ऊँचाई है, \(W\) चौड़ाई है, और \(C\) चैनलों की संख्या है, और आउटपुट टेंसर \(y \in \mathbb{R}^{H' \times W' \times C'}\) देती है। यह ऑपरेशन दो मापदंडों द्वारा नियंत्रित होता है: फ़िल्टर आकार (या कर्नेल आकार) \(f\) और स्ट्राइड \(s\)। कुछ मामलों में, क्षैतिज और ऊर्ध्वाधर दिशाओं के लिए अलग-अलग फ़िल्टर आकार और स्ट्राइड उपयोग किए जाते हैं, जिन्हें \(f_H, f_W, s_H, s_W\) से दर्शाया जाता है। एक आउटपुट प्रविष्टि \(y_{i,j,c}\) का रिसेप्टिव फील्ड इनपुट प्रविष्टियों का वह समूह है जो इसे प्रभावित कर सकता है, आमतौर पर स्ट्राइड द्वारा निर्धारित स्थिति पर केंद्रित \(f \times f\) आकार की एक विंडो।
मैक्स पूलिंग
मैक्स पूलिंग सबसे सामान्य पूलिंग प्रकार है। यह इनपुट की प्रत्येक विंडो से अधिकतम मान चुनता है। औपचारिक रूप से, फ़िल्टर आकार \(f\) और स्ट्राइड \(s\) के लिए, स्थिति \((i,j,c)\) पर आउटपुट इस प्रकार परिभाषित है:
\[\mathrm{MaxPool}(x|f,s)_{i,j,c} = \max(x_{is:is+f-1, js:js+f-1, c})\]
जहाँ संकेतन \(is:is+f-1\) \(is\) से \(is+f-1\) तक के सूचकांकों की सीमा को दर्शाता है। यदि क्षैतिज और ऊर्ध्वाधर स्ट्राइड अलग-अलग हैं, तो सूत्र \(x_{i s_H : i s_H + f_H - 1, j s_W : j s_W + f_W - 1, c}\) में सामान्यीकृत हो जाता है। मैक्स पूलिंग प्रत्येक स्थानीय क्षेत्र में सबसे मजबूत सक्रियण को संरक्षित करने में प्रभावी है, जो किनारों या बनावट जैसी विशेषताओं को बनाए रखने में मदद करता है, जबकि कम महत्वपूर्ण विवरणों को हटा देता है।
औसत पूलिंग
औसत पूलिंग अधिकतम के बजाय प्रत्येक विंडो में सभी मानों का माध्य गणना करती है। इसका उपयोग कभी-कभी मैक्स पूलिंग के स्थान पर किया जाता है, विशेष रूप से नेटवर्क की अंतिम परतों में वर्गीकरण आउटपुट से पहले। औसत पूलिंग फीचर मैप को चिकना करती है, जो ओवरफिटिंग को कम कर सकती है, लेकिन तीव्र विशेषताओं को खो सकती है। ग्लोबल औसत पूलिंग, एक विशेष मामला जहाँ फ़िल्टर आकार पूरे स्थानिक आयाम के बराबर होता है, प्रति चैनल एक एकल मान आउटपुट करता है और अक्सर नेटवर्क डिज़ाइन जैसी वास्तुकलाओं में पूर्ण रूप से जुड़ी परतों को बदलने के लिए उपयोग किया जाता है, जैसा कि 2010 के दशक के अंत में देखा गया।
कन्वोल्यूशनल आर्किटेक्चर में भूमिका
पूलिंग परतें कई क्लासिक सीएनएन आर्किटेक्चर का अभिन्न हिस्सा हैं। उदाहरण के लिए, एलेक्सनेट मॉडल, जो 2012 में पेश किया गया था, ने अपनी पहली, दूसरी और पाँचवीं कन्वोल्यूशनल परतों के बाद मैक्स पूलिंग का उपयोग किया। वीजीजी नेटवर्क, जो 2014 में विकसित किए गए थे, ने कन्वोल्यूशनल परतों के प्रत्येक ब्लॉक के बाद फ़िल्टर आकार 2 और स्ट्राइड 2 के साथ मैक्स पूलिंग का उपयोग किया। इन डिज़ाइनों ने वर्गीकरण से पहले फीचर मैप्स के स्थानिक आकार को 224x224 जैसे आयामों से घटाकर 7x7 करने में मदद की, जिससे कम पैरामीटरों के साथ गहरे नेटवर्क सक्षम हुए।
विकल्प और आधुनिक उपयोग
आधुनिक आर्किटेक्चर में, पूलिंग को कभी-कभी स्ट्राइडेड कन्वोल्यूशन द्वारा प्रतिस्थापित किया जाता है, जो 1 से अधिक स्ट्राइड के साथ कन्वोल्यूशन का उपयोग करके डाउनसैंपलिंग करता है। यह दृष्टिकोण, जैसे जनरेटिव मॉडल और कुछ ट्रांसफॉर्मर-आधारित विज़न सिस्टम में उपयोग किया जाता है, नेटवर्क को निश्चित नियम के बजाय डाउनसैंपलिंग ऑपरेशन सीखने की अनुमति देता है। हालाँकि, पूलिंग अपनी सरलता और प्रभावशीलता के कारण कई व्यावहारिक कार्यान्वयनों में सामान्य बनी हुई है। ट्रांसफॉर्मर आर्किटेक्चर में, पूलिंग कम केंद्रीय है, लेकिन ग्लोबल औसत पूलिंग अभी भी कुछ विज़न ट्रांसफॉर्मरों में वर्गीकरण हेड के लिए उपयोग की जाती है।
सैद्धांतिक गुण
पूलिंग सीमित डिग्री तक अनुवाद अपरिवर्तनशीलता प्रदान करती है: क्योंकि यह एक स्थानीय विंडो पर एकत्रित होती है, इनपुट में छोटे बदलाव समान आउटपुट उत्पन्न कर सकते हैं यदि अधिकतम या औसत मान विंडो के भीतर रहता है। यह गुण वस्तु पहचान जैसे कार्यों के लिए उपयोगी है, जहाँ किसी विशेषता की सटीक स्थिति उसकी उपस्थिति से कम महत्वपूर्ण होती है। रिसेप्टिव फील्ड में वृद्धि का मतलब है कि गहरी परतों में न्यूरॉन्स इनपुट के बड़े क्षेत्रों पर प्रतिक्रिया कर सकते हैं, जिससे नेटवर्क पदानुक्रमित पैटर्न को पकड़ सकता है। पूलिंग बाद की परतों की कम्प्यूटेशनल लागत को भी कम करती है, क्योंकि यह पैरामीटरों और संचालन की संख्या घटाती है, जो जीपीयू और एक्सेलेरेटर जैसे हार्डवेयर पर प्रशिक्षण के लिए महत्वपूर्ण है।