2006 में, टोरंटो विश्वविद्यालय में जेफ्री हिंटन के नेतृत्व वाले एक शोध समूह ने डीप बिलीफ नेटवर्क पेश किए, जो गहरे जनरेटिव मॉडल का एक वर्ग है, जिसे लालची परत-दर-परत दृष्टिकोण का उपयोग करके कुशलतापूर्वक प्रशिक्षित किया जा सकता था। यह सफलता मशीन लर्निंग में एक महत्वपूर्ण मोड़ साबित हुई, जिसने दर्शाया कि बहु-परत तंत्रिका नेटवर्क व्यापक हस्त-निर्मित इंजीनियरिंग के बिना डेटा से उपयोगी फीचर प्रतिनिधित्व सीख सकते हैं। "डीप लर्निंग" शब्द का उपयोग पहले भी किया गया था, लेकिन 2006 के कार्य ने गहरी वास्तुकला को प्रशिक्षित करने की पहली व्यावहारिक विधि प्रदान की, जिससे तंत्रिका नेटवर्क में रुचि का पुनरुत्थान हुआ, जो अंततः आधुनिक एआई उछाल की ओर ले गया।
डीप बिलीफ नेटवर्क अव्यक्त चर की कई परतों से बने होते हैं, जहां प्रत्येक परत इनपुट डेटा के तेजी से अमूर्त प्रतिनिधित्व को पकड़ती है। प्रशिक्षण प्रक्रिया में एक अनुपयोगी पूर्व-प्रशिक्षण चरण शामिल होता है, जहां प्रत्येक परत को प्रतिबंधित बोल्ट्ज़मैन मशीन के रूप में प्रशिक्षित किया जाता है, इसके बाद पूरे नेटवर्क का सूक्ष्म-समायोजन किया जाता है। इस दृष्टिकोण ने लुप्त होती ग्रेडिएंट समस्या को दूर किया, जो पहले के गहरे नेटवर्क को परेशान करती थी, जिससे कच्चे डेटा से फीचर के पदानुक्रम सीखना संभव हुआ। डीप बिलीफ नेटवर्क की सफलता ने डीप लर्निंग में बाद के विकासों की नींव रखी, जिसमें कन्वोल्यूशनल तंत्रिका नेटवर्क, आवर्तक तंत्रिका नेटवर्क और अंततः ट्रांसफॉर्मर शामिल हैं।
सैद्धांतिक आधार
2006 की सफलता सार्वभौमिक सन्निकटन प्रमेय पर आधारित थी, जो बताती है कि एक एकल छिपी परत वाला फीडफॉरवर्ड तंत्रिका नेटवर्क किसी भी सतत फ़ंक्शन का अनुमान लगा सकता है, जैसा कि 1989 में जॉर्ज साइबेंको द्वारा सिद्ध किया गया और 1991 में कर्ट हॉर्निक द्वारा सामान्यीकृत किया गया। हालांकि, कई परतों वाले गहरे नेटवर्क कुछ कार्यों का प्रतिनिधित्व करने में अधिक कुशल माने जाते थे, और लालची परत-दर-परत प्रशिक्षण विधि ने ऐसे नेटवर्क को प्रशिक्षित करने का एक व्यावहारिक तरीका प्रदान किया। तंत्रिका नेटवर्क की संभाव्य व्याख्या, जो सक्रियण कार्यों को संचयी वितरण कार्यों के रूप में मानती है, ने भी डीप बिलीफ नेटवर्क के विकास में भूमिका निभाई, क्योंकि वे जनरेटिव मॉडल हैं जो इनपुट डेटा के संयुक्त वितरण को सीखते हैं।
मशीन लर्निंग पर प्रभाव
डीप बिलीफ नेटवर्क की शुरुआत ने दर्शाया कि डीप लर्निंग वर्गीकरण और प्रतिनिधित्व सीखने जैसे कार्यों में उथले मॉडल की तुलना में बेहतर प्रदर्शन प्राप्त कर सकता है। इससे मशीन लर्निंग समुदाय में हस्त-निर्मित फीचर इंजीनियरिंग से दूर अंत-से-अंत सीखने की ओर बदलाव आया। अनुपयोगी रूप से गहरे नेटवर्क को प्रशिक्षित करने की क्षमता विशेष रूप से महत्वपूर्ण थी, क्योंकि लेबल रहित डेटा लेबल वाले डेटा की तुलना में अधिक प्रचुर है। इस कार्य ने अन्य गहरी वास्तुकलाओं के विकास को भी प्रभावित किया, जिसमें डीप बोल्ट्ज़मैन मशीन और स्टैक्ड ऑटोएनकोडर शामिल हैं, और कंप्यूटर विज़न, भाषण पहचान और प्राकृतिक भाषा प्रसंस्करण में डीप लर्निंग क्रांति का मार्ग प्रशस्त किया।
विरासत और विकास
2006 की सफलता के बाद, डीप लर्निंग तेजी से विकसित हुई, जिसमें प्रमुख मील के पत्थर शामिल हैं, जैसे 2015 में अवशिष्ट नेटवर्क का विकास, जिसने बहुत गहरे नेटवर्क के प्रशिक्षण की अनुमति दी, और 2017 में ट्रांसफॉर्मर वास्तुकला की शुरुआत, जो आधुनिक बड़े भाषा मॉडल का आधार बन गई। लालची परत-दर-परत प्रशिक्षण और अनुपयोगी पूर्व-प्रशिक्षण के सिद्धांतों ने बाद की तकनीकों जैसे बैच सामान्यीकरण और ड्रॉपआउट को प्रभावित किया, जिसने गहरे नेटवर्क प्रशिक्षण को और स्थिर और त्वरित किया। आज, डीप लर्निंग कृत्रिम बुद्धिमत्ता की आधारशिला है, जिसके अनुप्रयोग चिकित्सा छवि विश्लेषण से लेकर स्वायत्त ड्राइविंग तक हैं, और इसका प्रभाव लगातार बढ़ रहा है।
व्यापक संदर्भ
डीप लर्निंग मशीन लर्निंग के व्यापक क्षेत्र का हिस्सा है, जो स्वयं कृत्रिम बुद्धिमत्ता का एक उपक्षेत्र है। 2006 की सफलता एक अलग घटना नहीं थी, बल्कि तंत्रिका नेटवर्क में दशकों के शोध पर आधारित थी, जिसमें 1943 में वॉरेन मैककुलोच और वाल्टर पिट्स का प्रारंभिक कार्य, 1958 में फ्रैंक रोसेनब्लाट का पर्सेप्ट्रॉन, और 1980 के दशक में लोकप्रिय बैकप्रोपेगेशन एल्गोरिदम शामिल हैं। "डीप लर्निंग" शब्द 1986 में रीना डेचटर द्वारा मशीन लर्निंग समुदाय में पेश किया गया था, और 2000 में इगोर आइज़ेनबर्ग और सहयोगियों द्वारा कृत्रिम तंत्रिका नेटवर्क में। हालांकि, हिंटन और उनकी टीम का 2006 का कार्य व्यापक रूप से गहरी वास्तुकला की व्यावहारिक व्यवहार्यता प्रदर्शित करने का श्रेय दिया जाता है, और इसने बाद के तेजी से विकास के लिए मंच तैयार किया।