एक ऑटोएनकोडर एक प्रकार का तंत्रिका-नेटवर्क है जिसे अपने इनपुट को एक संकीर्ण अड़चन परत से गुजारने के बाद पुनः उत्पन्न करने के लिए प्रशिक्षित किया जाता है। इसमें दो भाग होते हैं: एक एनकोडर जो इनपुट को एक संक्षिप्त आंतरिक कोड में संपीड़ित करता है, और एक डिकोडर जो उस कोड से मूल इनपुट का पुनर्निर्माण करता है। चूंकि नेटवर्क अड़चन के माध्यम से केवल थोड़ी मात्रा में जानकारी पारित कर सकता है, यह सीखने के लिए मजबूर होता है कि डेटा की कौन सी विशेषताएं सबसे महत्वपूर्ण हैं, जिससे एक अव्यक्त-स्थान प्रतिनिधित्व उत्पन्न होता है जो कच्चे इनपुट से छोटा और अक्सर अधिक सार्थक होता है।
इतिहास और विविधताएं
ऑटोएनकोडर 1980 के दशक के कनेक्शनिस्ट साहित्य से संबंधित हैं, लेकिन अपर्यवेक्षित-शिक्षण के एक रूप के रूप में आधुनिक प्रासंगिकता प्राप्त की, क्योंकि उन्हें किसी लेबल की आवश्यकता नहीं होती: इनपुट स्वयं प्रशिक्षण लक्ष्य के रूप में कार्य करता है, जो अब स्व-पर्यवेक्षित-शिक्षण कहलाता है, उसका एक प्रारंभिक उदाहरण है। 2013 में वैरिएशनल ऑटोएनकोडर (VAE) की शुरुआत ने एक संभाव्य मोड़ जोड़ा, जिससे अव्यक्त स्थान को एक मनमाने आकार के बजाय एक चिकनी, ज्ञात वितरण का अनुमान लगाने के लिए बाध्य किया गया। इससे उस वितरण से यादृच्छिक बिंदु खींचकर और उन्हें डिकोड करके नए नमूने उत्पन्न करना संभव हो गया, जिससे ऑटोएनकोडर एक संपीड़न उपकरण से एक जनरेटिव उपकरण में बदल गए। अन्य विविधताओं में डीनॉइज़िंग ऑटोएनकोडर शामिल हैं, जो एक दूषित संस्करण से एक स्वच्छ इनपुट को पुनर्प्राप्त करने के लिए प्रशिक्षित होते हैं, और स्पार्स ऑटोएनकोडर, जो अधिकांश अव्यक्त इकाइयों को शून्य के करीब रहने के लिए प्रोत्साहित करते हैं, एक गुण जो बाद में व्याख्यात्मकता अनुसंधान में बड़े भाषा मॉडल के भीतर व्यक्तिगत विशेषताओं को अलग करने के लिए पुनः उपयोग किया गया।
अनुप्रयोग
प्रत्यक्ष पीढ़ी के अलावा, ऑटोएनकोडर व्यापक रूप से आयामीता में कमी और विसंगति का पता लगाने के लिए उपयोग किए जाते हैं, क्योंकि जिन इनपुटों का मॉडल खराब पुनर्निर्माण करता है, वे प्रशिक्षण वितरण के सापेक्ष असामान्य होने की संभावना रखते हैं। छवि निर्माण में, ऑटोएनकोडर से एनकोडर-डिकोडर जोड़ी अव्यक्त प्रसार-मॉडल जैसे स्थिर-प्रसार का एक प्रमुख घटक है: एक छवि को एक छोटे अव्यक्त ग्रिड में संपीड़ित किया जाता है, प्रसार प्रक्रिया उस संपीड़ित स्थान में चलती है, और डिकोडर परिणाम को पूर्ण-रिज़ॉल्यूशन छवि में विस्तारित करता है। श्रम का यह विभाजन एक प्रमुख कारण है कि आधुनिक पाठ-से-छवि सिस्टम उपभोक्ता हार्डवेयर पर चल सकते हैं। ऑटोएनकोडर अनुशंसा प्रणालियों में भी दिखाई देते हैं, जहां वे विरल उपयोगकर्ता-आइटम इंटरैक्शन डेटा का पुनर्निर्माण करने में मदद करते हैं, और भाषण-पहचान और ऑडियो पाइपलाइनों में तरंगों को आगे की प्रक्रिया से पहले संपीड़ित करने के तरीके के रूप में।
अन्य आर्किटेक्चर से संबंध
ऑटोएनकोडर जनरेटिव-प्रतिकूल-नेटवर्क से संबंधित हैं लेकिन उनसे अलग हैं: एक GAN का जनरेटर भी एक अव्यक्त वेक्टर को आउटपुट में मैप करता है, लेकिन इसे पुनर्निर्माण त्रुटि को कम करने के बजाय एक विभेदक के खिलाफ प्रतिकूल रूप से प्रशिक्षित किया जाता है, जो तेज लेकिन कम नियंत्रणीय आउटपुट उत्पन्न करता है। ट्रांसफॉर्मर-आधारित सिस्टम ने बड़े पैमाने पर प्राकृतिक-भाषा-प्रसंस्करण के लिए सरल ऑटोएनकोडर को काफी हद तक विस्थापित कर दिया है, हालांकि एनकोडर-डिकोडर पैटर्न स्वयं, जिसे पहले अनुक्रम-से-अनुक्रम मॉडल में औपचारिक रूप दिया गया था, ऑटोएनकोडर और ट्रांसफॉर्मर आर्किटेक्चर दोनों का एक अवधारणात्मक पूर्वज बना हुआ है। बर्ट जैसे मॉडलों में उपयोग किए जाने वाले मास्क्ड-प्रेडिक्शन प्रीट्रेनिंग उद्देश्यों को भी पाठ पर लागू एक डीनॉइज़िंग-ऑटोएनकोडर कार्य के रूप में देखा जा सकता है।
सीमाएं
मानक ऑटोएनकोडर केवल पुनर्निर्माण के लिए अनुकूलन करते हैं, जो एक अव्यक्त स्थान की गारंटी नहीं देता जो चिकना, अलग-अलग, या डाउनस्ट्रीम कार्यों के लिए उपयोगी हो; वैरिएशनल और अन्य नियमित विविधताएं इसे आंशिक रूप से संबोधित करती हैं लेकिन आमतौर पर बेहतर-संरचित अव्यक्त स्थानों के लिए पुनर्निर्माण तीक्ष्णता का त्याग करती हैं। 2020 के दशक के मध्य तक, ऑटोएनकोडर मुख्य रूप से एक स्टैंडअलोन मॉडलिंग दृष्टिकोण के बजाय बड़ी जनरेटिव पाइपलाइनों के अंदर एक घटक के रूप में जीवित रहते हैं।