पर्सेप्ट्रॉन पेपर

परसेप्ट्रॉन बाइनरी क्लासिफायर के पर्यवेक्षित अधिगम के लिए एक एल्गोरिदम है, एक फ़ंक्शन जो यह तय करता है कि संख्याओं के वेक्टर द्वारा दर्शाया गया इनपुट किसी विशेष वर्ग से संबंधित है या नहीं। यह एक प्रकार का रैखिक क्लासिफायर है, जो एक रैखिक भविष्यवक्ता फ़ंक्शन के आधार पर भविष्यवाणी करता है जो वेट के एक सेट को फीचर वेक्टर के साथ जोड़ता है। परसेप्ट्रॉन को फ्रैंक रोसेनब्लैट द्वारा 1958 के एक पेपर में पेश किया गया था, जिसमें इसकी वास्तुकला और अधिगम प्रक्रिया का विवरण दिया गया था, और यह कृत्रिम बुद्धिमत्ता और मशीन लर्निंग के इतिहास में सबसे शुरुआती और सबसे प्रभावशाली मॉडलों में से एक बन गया।

1958 का पेपर तीन प्रकार की कोशिकाओं के एक नेटवर्क का वर्णन करता है: संवेदी (S), संघ (A), और प्रतिक्रिया (R) इकाइयाँ। रोसेनब्लैट ने इस कार्य को नवंबर 1958 में आयोजित पहले अंतर्राष्ट्रीय AI संगोष्ठी, मैकेनाइजेशन ऑफ थॉट प्रोसेसेस में प्रस्तुत किया। पेपर और उसके बाद के प्रदर्शनों ने उत्साह और विवाद दोनों को जन्म दिया, जिसने तंत्रिका नेटवर्क और गहन अधिगम में बाद के विकास की नींव रखी।

पृष्ठभूमि और विकास

कृत्रिम न्यूरॉन और कृत्रिम तंत्रिका नेटवर्क की पहली कल्पना 1943 में वॉरेन मैककुलोच और वाल्टर पिट्स ने अपने महत्वपूर्ण पेपर "ए लॉजिकल कैलकुलस ऑफ द आइडियाज इमैनेंट इन नर्वस एक्टिविटी" में की थी। 1957 में, रोसेनब्लैट, जो कॉर्नेल एरोनॉटिकल लेबोरेटरी में काम कर रहे थे, ने IBM 704 पर परसेप्ट्रॉन का अनुकरण किया। वह हार्डवेयर कार्यान्वयन में अधिक रुचि रखते थे और उन्होंने संयुक्त राज्य नौसेना अनुसंधान कार्यालय के सूचना प्रणाली शाखा और रोम एयर डेवलपमेंट सेंटर से एक कस्टम एनालॉग कंप्यूटर, मार्क I परसेप्ट्रॉन बनाने के लिए धन प्राप्त किया। रोसेनब्लैट की टीम ने जून 1959 और 14 दिसंबर 1959 के बीच बफ़ेलो, न्यूयॉर्क में कॉर्नेल एरोनॉटिकल लेबोरेटरी में मशीन को इकट्ठा और परीक्षण किया। इसका पहला सार्वजनिक प्रदर्शन 23 जून 1960 को हुआ।

परियोजना को अनुबंध Nonr-401(40) "कॉग्निटिव सिस्टम्स रिसर्च प्रोग्राम" (1959-1970) और Nonr-2381(00) "प्रोजेक्ट PARA" (1957-1963) के तहत वित्त पोषित किया गया था, जिसमें PARA का अर्थ "परसीविंग एंड रिकग्निशन ऑटोमेटा" था। 1959 में, इंस्टीट्यूट फॉर डिफेंस एनालिसिस ने $10,000 का अनुबंध प्रदान किया, और सितंबर 1961 तक, नौसेना अनुसंधान कार्यालय ने कुल $153,000 के आगे के अनुबंध प्रदान किए थे, जिसमें 1962 के लिए $108,000 प्रतिबद्ध थे। ONR अनुसंधान प्रबंधक, मार्विन डेनिकॉफ ने कहा कि ONR, ARPA के बजाय, परियोजना को वित्त पोषित किया क्योंकि इससे अल्पकालिक तकनीकी परिणाम उत्पन्न होने की संभावना नहीं थी; ARPA फंडिंग आमतौर पर लाखों डॉलर तक पहुंचती थी, जबकि ONR अनुबंध दसियों हज़ार के क्रम में थे। इस बीच, ARPA में IPTO के प्रमुख J.C.R. लिक्लिडर, 1950 के दशक में जैविक रूप से प्रेरित तरीकों में रुचि रखते थे, लेकिन 1960 के दशक के मध्य तक उनके खुले तौर पर आलोचक बन गए, जो साइमन और नेवेल के तार्किक AI दृष्टिकोण का पक्ष लेते थे।

मार्क I परसेप्ट्रॉन मशीन

परसेप्ट्रॉन एक मशीन होने का इरादा था, न कि केवल एक प्रोग्राम। जबकि इसका पहला कार्यान्वयन IBM 704 के लिए सॉफ्टवेयर था, इसे बाद में कस्टम हार्डवेयर, मार्क I परसेप्ट्रॉन के रूप में बनाया गया, जिसे छवि पहचान के लिए डिज़ाइन किया गया था। मशीन अब स्मिथसोनियन नेशनल म्यूज़ियम ऑफ अमेरिकन हिस्ट्री में है। मार्क I परसेप्ट्रॉन में तीन परतें थीं:

• 400 फोटोसेल की एक सरणी जो 20x20 ग्रिड में व्यवस्थित थी, जिसे "संवेदी इकाइयाँ" (S-इकाइयाँ), या "इनपुट रेटिना" कहा जाता था। प्रत्येक S-इकाई 40 A-इकाइयों तक जुड़ सकती थी।
• 512 परसेप्ट्रॉन की एक छिपी हुई परत, जिसे "संघ इकाइयाँ" (A-इकाइयाँ) कहा जाता था।
• आठ परसेप्ट्रॉन की एक आउटपुट परत, जिसे "प्रतिक्रिया इकाइयाँ" (R-इकाइयाँ) कहा जाता था।

रोसेनब्लैट ने इस तीन-परत वाले नेटवर्क को अल्फा-परसेप्ट्रॉन कहा, ताकि इसे अन्य मॉडलों से अलग किया जा सके। S-इकाइयाँ A-इकाइयों से यादृच्छिक रूप से एक प्लगबोर्ड के माध्यम से जुड़ी थीं, जिसमें यादृच्छिक संख्याओं की एक तालिका का उपयोग किया गया था, ताकि "परसेप्ट्रॉन में किसी भी विशेष जानबूझकर पूर्वाग्रह को समाप्त किया जा सके।" कनेक्शन वेट निश्चित थे, सीखे नहीं गए थे। रोसेनब्लैट ने यादृच्छिक कनेक्शन पर जोर दिया क्योंकि उनका मानना था कि रेटिना दृश्य प्रांतस्था से यादृच्छिक रूप से जुड़ा हुआ था, और वह चाहते थे कि मशीन मानव दृश्य धारणा से मिलती जुलती हो। A-इकाइयाँ R-इकाइयों से समायोज्य वेट के साथ जुड़ी थीं जो पोटेंशियोमीटर में एन्कोडेड थे, और अधिगम के दौरान वेट अपडेट इलेक्ट्रिक मोटरों द्वारा किए जाते थे।

1958 में अमेरिकी नौसेना द्वारा आयोजित एक प्रेस कॉन्फ्रेंस में, रोसेनब्लैट ने ऐसे बयान दिए जिन्होंने नवजात AI समुदाय में गरमागरम विवाद पैदा कर दिया। उनकी टिप्पणियों के आधार पर, द न्यूयॉर्क टाइम्स ने बताया कि परसेप्ट्रॉन "एक इलेक्ट्रॉनिक कंप्यूटर का भ्रूण है जो [नौसेना] उम्मीद करती है कि वह चलने, बात करने, देखने, लिखने, खुद को पुनरुत्पादित करने और अपने अस्तित्व के प्रति सचेत होने में सक्षम होगा।" 1960 से 1964 तक, केंद्रीय खुफिया एजेंसी के फोटो डिवीजन ने हवाई तस्वीरों में सैन्य रूप से दिलचस्प सिल्हूट लक्ष्यों, जैसे विमान और जहाजों की पहचान के लिए मार्क I परसेप्ट्रॉन के उपयोग का अध्ययन किया।

न्यूरोडायनामिक्स के सिद्धांत (1962)

रोसेनब्लैट ने पुस्तक प्रिंसिपल्स ऑफ न्यूरोडायनामिक्स (1962) में परसेप्ट्रॉन के कई प्रकारों के साथ अपने प्रयोगों का वर्णन किया, जो 1961 की एक रिपोर्ट का प्रकाशित संस्करण था। विविधताओं में शामिल थे:

• "क्रॉस-कपलिंग": एक ही परत के भीतर इकाइयों के बीच कनेक्शन, संभवतः बंद लूप के साथ।
• "बैक-कपलिंग": बाद की परत की इकाइयों से पिछली परत की इकाइयों तक कनेक्शन।
• चार-परत वाले परसेप्ट्रॉन जहां अंतिम दो परतों में समायोज्य वेट थे, इस प्रकार एक उचित बहुपरत परसेप्ट्रॉन।
• अनुक्रमिक डेटा प्रोसेसिंग की अनुमति देने के लिए परसेप्ट्रॉन इकाइयों में समय-विलंब शामिल करना।
• छवियों के बजाय ऑडियो का विश्लेषण करना।

मशीन को 1967 में नौसेना अनुसंधान कार्यालय द्वारा प्रशासित एक सरकारी हस्तांतरण के तहत कॉर्नेल से स्मिथसोनियन भेजा गया था।

परसेप्ट्रॉन (1969) और सीमाएँ

हालांकि परसेप्ट्रॉन शुरू में आशाजनक लग रहा था, यह जल्दी से साबित हो गया कि एकल-परत परसेप्ट्रॉन को कई वर्गों के पैटर्न पहचानने के लिए प्रशिक्षित नहीं किया जा सकता था। इसने तंत्रिका नेटवर्क अनुसंधान के क्षेत्र को कई वर्षों तक स्थिर कर दिया, जब तक कि यह मान्यता नहीं मिली कि दो या अधिक परतों वाले एक फीडफॉरवर्ड तंत्रिका नेटवर्क (एक बहुपरत परसेप्ट्रॉन) में एकल-परत परसेप्ट्रॉन की तुलना में अधिक प्रसंस्करण शक्ति थी। एकल-परत परसेप्ट्रॉन केवल रैखिक रूप से वियोज्य पैटर्न सीखने में सक्षम हैं। एक चरण सक्रियण फ़ंक्शन के साथ एक वर्गीकरण कार्य के लिए, एक एकल नोड एक एकल विभाजन रेखा उत्पन्न करता है; अधिक नोड अधिक रेखाएँ बना सकते हैं, लेकिन उन रेखाओं को अधिक जटिल वर्गीकरण बनाने के लिए संयोजित किया जाना चाहिए। परसेप्ट्रॉन की एक दूसरी परत, या यहां तक कि रैखिक नोड, कई अन्यथा गैर-वियोज्य समस्याओं को हल करने के लिए पर्याप्त है।

1969 में, मार्विन मिंस्की और सीमोर पेपर्ट की प्रभावशाली पुस्तक परसेप्ट्रॉन ने दिखाया कि इन वर्गों के नेटवर्क के लिए XOR फ़ंक्शन सीखना असंभव था। यह परिणाम, जिसे अक्सर सभी तंत्रिका नेटवर्कों पर लागू होने के रूप में गलत समझा जाता है, ने 1970 के दशक के दौरान तंत्रिका नेटवर्क अनुसंधान में गिरावट में योगदान दिया, एक अवधि जिसे कभी-कभी "AI सर्दी" कहा जाता है। परसेप्ट्रॉन की विरासत, हालांकि, बनी रही, और इसकी अवधारणाएँ आधुनिक तंत्रिका नेटवर्क वास्तुकला को रेखांकित करती हैं, जिसमें बड़े भाषा मॉडल और जनरेटिव AI प्रणालियों में उपयोग किए जाने वाले ट्रांसफॉर्मर शामिल हैं, जो OpenAI, Google DeepMind, और Anthropic जैसे संगठनों द्वारा विकसित किए गए हैं।

विरासत और प्रभाव

परसेप्ट्रॉन पेपर और मार्क I मशीन ने मशीन लर्निंग में मौलिक विचार स्थापित किए, जिसमें समायोज्य वेट, पुनरावृत्त अधिगम और स्तरित वास्तुकला का उपयोग शामिल है। रोसेनब्लैट के काम ने Adam ऑप्टिमाइज़र, बैकप्रोपेगेशन (हालांकि यहां विस्तार से नहीं), और अवशिष्ट नेटवर्क जैसे बाद के विकास को प्रभावित किया। परसेप्ट्रॉन की सीमाओं ने बहुपरत नेटवर्क की आवश्यकता पर प्रकाश डाला, जो अंततः गहन अधिगम क्रांति की ओर ले गया। आज, परसेप्ट्रॉन परिचयात्मक AI पाठ्यक्रमों में एक विहित उदाहरण बना हुआ है, और इसके सिद्धांत AWS Trainium और Google Cloud TPU जैसे आधुनिक हार्डवेयर त्वरक में, साथ ही MIT CSAIL और Stanford AI Lab जैसे संस्थानों में अनुसंधान में अंतर्निहित हैं।

1958 का पेपर व्यापक रूप से कृत्रिम बुद्धिमत्ता के इतिहास में एक मील का पत्थर माना जाता है, जो न्यूरॉन्स के सैद्धांतिक मॉडल से व्यावहारिक अधिगम एल्गोरिदम में संक्रमण को चिह्नित करता है। इसका प्रभाव समकालीन AI अनुसंधान में बना हुआ है, गहन अधिगम से लेकर सुदृढीकरण अधिगम और उससे आगे तक।