कनेक्शनिज्म मानव मानसिक प्रक्रियाओं और अनुभूति के अध्ययन के लिए एक दृष्टिकोण है जो गणितीय मॉडल का उपयोग करता है जिन्हें कनेक्शनिस्ट नेटवर्क या कृत्रिम तंत्रिका नेटवर्क के रूप में जाना जाता है। केंद्रीय सिद्धांत यह मानता है कि मानसिक घटनाओं को सरल और अक्सर समान इकाइयों के परस्पर जुड़े नेटवर्क द्वारा वर्णित किया जा सकता है, जहां कनेक्शन और इकाइयों का रूप मॉडल से मॉडल में भिन्न हो सकता है। उदाहरण के लिए, नेटवर्क में इकाइयाँ न्यूरॉन्स का प्रतिनिधित्व कर सकती हैं और कनेक्शन सिनैप्स का प्रतिनिधित्व कर सकते हैं, जैसा कि मानव मस्तिष्क में होता है। इस दृष्टिकोण को प्रतीकात्मक गणना पर आधारित शास्त्रीय मन के सिद्धांतों के विकल्प के रूप में देखा गया है, जिसे अक्सर गुड ओल्ड-फैशन्ड एआई (GOFAI) कहा जाता है, हालांकि दोनों दृष्टिकोण किस हद तक संगत हैं, यह उनकी शुरुआत से ही बहस का विषय रहा है।
कनेक्शनिज्म ने अपनी शुरुआत के बाद से विकास की कई अलग-अलग लहरों का अनुभव किया है। पहली लहर 1943 में वॉरेन स्टर्जिस मैककुलोच और वाल्टर पिट्स के काम के साथ उभरी, जिन्होंने एक औपचारिक और गणितीय दृष्टिकोण के माध्यम से तंत्रिका सर्किटरी को समझने पर ध्यान केंद्रित किया। दूसरी लहर 1980 के दशक के अंत में छिपी परतों और सिग्मॉइड सक्रियण कार्यों की शुरुआत के साथ फली-फूली। वर्तमान तीसरी लहर Deep learning में प्रगति द्वारा चिह्नित की गई है, जिसने बड़े भाषा मॉडल के निर्माण को संभव बनाया है। हाल के दशकों में डीप-लर्निंग नेटवर्क की सफलता ने इस दृष्टिकोण की लोकप्रियता को काफी बढ़ा दिया है, लेकिन ऐसे नेटवर्क की जटिलता और पैमाने ने व्याख्या क्षमता की बढ़ती समस्याएँ ला दी हैं।
मूल सिद्धांत
केंद्रीय कनेक्शनिस्ट सिद्धांत यह है कि मानसिक घटनाओं को सरल और अक्सर समान इकाइयों के परस्पर जुड़े नेटवर्क द्वारा वर्णित किया जा सकता है। कनेक्शन और इकाइयों का रूप मॉडल से मॉडल में भिन्न हो सकता है। उदाहरण के लिए, नेटवर्क में इकाइयाँ न्यूरॉन्स का प्रतिनिधित्व कर सकती हैं और कनेक्शन सिनैप्स का प्रतिनिधित्व कर सकते हैं, जैसा कि मानव मस्तिष्क में होता है। इस सिद्धांत को GOFAI और प्रतीकात्मक गणना पर आधारित मन के शास्त्रीय सिद्धांतों के विकल्प के रूप में देखा गया है, लेकिन दोनों दृष्टिकोण किस हद तक संगत हैं, यह उनकी शुरुआत से ही बहस का विषय रहा है।
तंत्रिका नेटवर्क दो मूल सिद्धांतों का पालन करते हैं। किसी भी मानसिक स्थिति को नेटवर्क में तंत्रिका इकाइयों पर संख्यात्मक सक्रियण मूल्यों के एन-आयामी वेक्टर के रूप में वर्णित किया जा सकता है। स्मृति और सीखना तंत्रिका इकाइयों के बीच कनेक्शन के भार को संशोधित करके बनाई जाती है, जिसे आम तौर पर एन×एम मैट्रिक्स के रूप में दर्शाया जाता है। भार को कुछ सीखने के नियम या एल्गोरिदम के अनुसार समायोजित किया जाता है, जैसे हेब्बियन लर्निंग।
कनेक्शनिस्ट मॉडल के बीच अधिकांश विविधता तीन स्रोतों से आती है। इकाइयों की व्याख्या भिन्न हो सकती है, जिसमें इकाइयों को न्यूरॉन्स या न्यूरॉन्स के समूह के रूप में व्याख्या किया जाता है। सक्रियण की परिभाषा भिन्न हो सकती है; उदाहरण के लिए, बोल्ट्ज़मैन मशीन में, सक्रियण को एक्शन पोटेंशियल स्पाइक उत्पन्न करने की संभावना के रूप में व्याख्या किया जाता है और यह एक इकाई में इनपुट के योग पर लॉजिस्टिक फ़ंक्शन के माध्यम से निर्धारित होता है। सीखने का एल्गोरिदम भी भिन्न होता है, समय के साथ कनेक्शन भार में किसी भी गणितीय रूप से परिभाषित परिवर्तन को सीखने का एल्गोरिदम कहा जाता है।
सक्रियण और सीखना
किसी भी नेटवर्क की आंतरिक स्थिति समय के साथ बदलती है क्योंकि न्यूरॉन्स फीडफॉरवर्ड नेटवर्क के मामले में न्यूरॉन्स की अगली परत को, या आवर्तक नेटवर्क के मामले में पिछली परत को संकेत भेजते हैं। गैर-रेखीय सक्रियण कार्यों की खोज ने कनेक्शनिज्म की दूसरी लहर को सक्षम किया। आधुनिक नेटवर्क आमतौर पर सिग्मॉइड, ReLU, या उनके प्रकार जैसे कार्यों का उपयोग करते हैं, जो नेटवर्क को जटिल गैर-रेखीय संबंधों को मॉडल करने की अनुमति देते हैं।
कनेक्शनिस्ट नेटवर्क में सीखना आम तौर पर एक सीखने के नियम के अनुसार कनेक्शन भार को समायोजित करना शामिल है। इनमें से सबसे प्रभावशाली बैकप्रोपैगेशन रहा है, जो भार के संबंध में त्रुटि के ग्रेडिएंट की गणना करता है और उसके अनुसार उन्हें अद्यतन करता है। Adam (Optimizer) और अन्य Stochastic Gradient Descent Variants जैसी अनुकूलन तकनीकें गहरे नेटवर्क को प्रशिक्षित करने में मानक बन गई हैं। Dropout, Batch Normalization, और Layer Normalization जैसी अन्य तकनीकें प्रशिक्षण को स्थिर और नियमित करने में मदद करती हैं।
जैविक यथार्थवाद
सामान्य तौर पर कनेक्शनिस्ट कार्य को जैविक रूप से यथार्थवादी होने की आवश्यकता नहीं है। एक क्षेत्र जहां कनेक्शनिस्ट मॉडल जैविक रूप से असंभव माने जाते हैं, वह त्रुटि-प्रसार नेटवर्क के संबंध में है जो सीखने का समर्थन करने के लिए आवश्यक हैं। हालांकि, त्रुटि प्रसार N400 और P600 जैसे घटना-संबंधित क्षमता में खोपड़ी पर देखी गई जैविक रूप से उत्पन्न विद्युत गतिविधि के कुछ हिस्से की व्याख्या कर सकता है, जो कनेक्शनिस्ट सीखने की प्रक्रियाओं की प्रमुख धारणाओं में से एक के लिए कुछ जैविक समर्थन प्रदान करता है।
कई आवर्तक कनेक्शनिस्ट मॉडल गतिशील प्रणाली सिद्धांत को भी शामिल करते हैं। कई शोधकर्ता, जैसे कनेक्शनिस्ट पॉल स्मोलेंस्की, ने तर्क दिया है कि कनेक्शनिस्ट मॉडल पूरी तरह से निरंतर, उच्च-आयामी, गैर-रेखीय, गतिशील प्रणाली दृष्टिकोण की ओर विकसित होंगे। तंत्रिका नेटवर्क अनुसंधान का क्षेत्र तंत्रिका विज्ञान से प्रेरणा लेना जारी रखता है जबकि इंजीनियरिंग लक्ष्यों का भी पीछा करता है।
अग्रदूत
कनेक्शनिस्ट सिद्धांतों के अग्रदूतों को मनोविज्ञान में प्रारंभिक कार्य, जैसे विलियम जेम्स के कार्य, में खोजा जा सकता है। मानव मस्तिष्क के बारे में ज्ञान पर आधारित मनोवैज्ञानिक सिद्धांत 19वीं सदी के अंत में फैशनेबल थे। 1869 की शुरुआत में, न्यूरोलॉजिस्ट जॉन ह्यूगलिंग्स जैक्सन ने बहु-स्तरीय, वितरित प्रणालियों के लिए तर्क दिया। इस नेतृत्व का पालन करते हुए, हर्बर्ट स्पेंसर के प्रिंसिपल्स ऑफ साइकोलॉजी, तीसरा संस्करण (1872), और सिगमंड फ्रायड के प्रोजेक्ट फॉर ए साइंटिफिक साइकोलॉजी (1895 में रचित) ने कनेक्शनिस्ट या प्रोटो-कनेक्शनिस्ट सिद्धांतों का प्रस्ताव रखा। ये आम तौर पर सट्टा सिद्धांत थे। 20वीं सदी की शुरुआत तक, एडवर्ड थार्नडाइक मानव सीखने के बारे में लिख रहे थे जिसमें एक कनेक्शनिस्ट प्रकार के नेटवर्क का प्रस्ताव था।
हॉपफील्ड नेटवर्क के अग्रदूत विल्हेम लेन्ज़ (1920) और अर्न्स्ट इसिंग (1925) के कारण इसिंग मॉडल में थे, हालांकि उनके द्वारा कल्पना किए गए इसिंग मॉडल में समय शामिल नहीं था। इसिंग मॉडल के मोंटे कार्लो सिमुलेशन के लिए 1950 के दशक में कंप्यूटर के आगमन की आवश्यकता थी।
पहली लहर
पहली लहर 1943 में वॉरेन स्टर्जिस मैककुलोच और वाल्टर पिट्स के साथ शुरू हुई, जिन्होंने एक औपचारिक और गणितीय दृष्टिकोण के माध्यम से तंत्रिका सर्किटरी को समझने पर ध्यान केंद्रित किया। उनका क्लासिक पेपर "ए लॉजिकल कैलकुलस ऑफ आइडियाज इमैनेंट इन नर्वस एक्टिविटी" (1943) ने दिखाया कि कैसे तंत्रिका प्रणालियाँ प्रथम-क्रम तर्क को लागू कर सकती हैं। वे 1930 के दशक में निकोलस राशेव्स्की के काम से प्रभावित थे।
फ्रैंक रोसेनब्लैट ने कॉर्नेल एरोनॉटिकल लेबोरेटरी में काम करते हुए साइकोलॉजिकल रिव्यू में 1958 का पेपर "द पर्सेप्ट्रॉन: ए प्रोबेबिलिस्टिक मॉडल फॉर इंफॉर्मेशन स्टोरेज एंड ऑर्गेनाइजेशन इन द ब्रेन" प्रकाशित किया। पर्सेप्ट्रॉन एक सरल एकल-परत नेटवर्क था जो रैखिक रूप से अलग करने योग्य पैटर्न को वर्गीकृत कर सकता था। पहली लहर 1969 की पुस्तक पर्सेप्ट्रॉन के साथ समाप्त हुई, जो मूल पर्सेप्ट्रॉन विचार की सीमाओं के बारे में थी, जिसे मार्विन मिंस्की और सीमोर पेपर्ट ने लिखा था, जिसने अमेरिका में प्रमुख वित्त पोषण एजेंसियों को कनेक्शनिस्ट अनुसंधान में निवेश से हतोत्साहित करने में योगदान दिया। कुछ उल्लेखनीय विचलनों के साथ, अधिकांश कनेक्शनिस्ट अनुसंधान 1980 के दशक के मध्य तक निष्क्रियता की अवधि में प्रवेश कर गया। कनेक्शनिस्ट मॉडल शब्द को जेरोम फेल्डमैन और डाना बैलार्ड द्वारा जर्नल कॉग्निटिव साइंस में 1982 के एक पेपर में फिर से पेश किया गया था।
दूसरी लहर
दूसरी लहर 1980 के दशक के अंत में फली-फूली, जेम्स एल. मैकक्लेलैंड, डेविड ई. रुमेलहार्ट और सहयोगियों द्वारा 1987 की पुस्तक पैरेलल डिस्ट्रीब्यूटेड प्रोसेसिंग के बाद, जिसने सरल पर्सेप्ट्रॉन विचार में सुधार पेश किए। इनमें इनपुट और आउटपुट इकाइयों के साथ मध्यवर्ती प्रोसेसर शामिल थे जिन्हें अब छिपी परतों के रूप में जाना जाता है, और पुराने ऑल-ऑर-नथिंग फ़ंक्शन के बजाय सिग्मॉइड सक्रियण फ़ंक्शन का उपयोग शामिल था। उनका काम जॉन हॉपफील्ड के काम पर आधारित था, जो सिग्मॉइड सक्रियण कार्यों की गणितीय विशेषताओं की जांच करने वाले एक प्रमुख व्यक्ति थे।
1980 के दशक के अंत से 1990 के दशक के मध्य तक, कनेक्शनिज्म ने लगभग क्रांतिकारी स्वर ले लिया जब श्नाइडर, टेरेंस होर्गन और टिएनसन जैसे शोधकर्ताओं ने सवाल उठाया कि क्या कनेक्शनिज्म मनोविज्ञान और तथाकथित गुड ओल्ड-फैशन्ड एआई में एक मौलिक बदलाव का प्रतिनिधित्व करता है। दूसरी लहर के कनेक्शनिस्ट दृष्टिकोण के कुछ फायदों में कार्यों की एक विस्तृत श्रृंखला के लिए प्रयोज्यता, जैविक न्यूरॉन्स के लिए संरचनात्मक सन्निकटन, जन्मजात संरचना के लिए कम आवश्यकताएं, और सुंदर गिरावट की क्षमता शामिल थी। इसके नुकसानों में कृत्रिम तंत्रिका नेटवर्क सूचना को कैसे संसाधित करते हैं या मानसिक प्रतिनिधित्व की संरचना के लिए जिम्मेदार हैं, इसे समझने में कठिनाई, और उच्च स्तर पर घटनाओं की व्याख्या करने में परिणामी कठिनाई शामिल थी।
तीसरी लहर और गहन शिक्षा
वर्तमान तीसरी लहर गहन शिक्षा में प्रगति द्वारा चिह्नित की गई है, जिसने बड़े भाषा मॉडल के निर्माण को संभव बनाया है। पिछले दशक में डीप-लर्निंग नेटवर्क की सफलता ने इस दृष्टिकोण की लोकप्रियता को काफी बढ़ा दिया है, लेकिन ऐसे नेटवर्क की जटिलता और पैमाने ने उनके साथ व्याख्या क्षमता की बढ़ती समस्याएँ ला दी हैं। Transformer (architecture) जैसी आधुनिक वास्तुकलाओं ने Generative AI में प्रगति को बढ़ावा दिया है, जिसमें OpenAI, Anthropic, और Google DeepMind सहित संगठनों में विकसित मॉडल शामिल हैं। ये सिस्टम कनेक्शनिस्ट सिद्धांतों पर निर्माण करते हैं लेकिन प्रारंभिक नेटवर्क से कहीं अधिक पैमाने पर काम करते हैं, जिसमें NVIDIA और AMD जैसी कंपनियों के विशेष हार्डवेयर का उपयोग करके विशाल डेटासेट पर प्रशिक्षित अरबों पैरामीटर होते हैं।