Sepp Hochreiter एक जर्मन कंप्यूटर वैज्ञानिक हैं, जिन्हें गहन शिक्षण में दो दशकों के अंतराल पर किए गए दो प्रभावशाली योगदानों के लिए जाना जाता है: 1990 के दशक की शुरुआत में लुप्त होते ग्रेडिएंट समस्या की पहचान करना, और हाल ही में, xLSTM का प्रस्ताव करना, जो ट्रांसफॉर्मर वास्तुकला के प्रतियोगी के रूप में उभरा, जिसने उनके पहले के काम को प्रमुख अनुक्रम मॉडल के रूप में विस्थापित कर दिया।
लुप्त होते ग्रेडिएंट और LSTM
1991 के अपने डिप्लोमा थीसिस में, जो जुर्गन श्मिधुबर के पर्यवेक्षण में म्यूनिख के तकनीकी विश्वविद्यालय में पूरा हुआ, होखराइटर ने गणितीय रूप से दिखाया कि आवर्ती तंत्रिका नेटवर्क प्रशिक्षण में बैकप्रोपेगेशन के समय-क्रम के साथ लंबे अनुक्रमों पर विफल होने की प्रवृत्ति क्यों होती है: त्रुटि ग्रेडिएंट या तो शून्य की ओर सिकुड़ जाते हैं या कई समय चरणों के माध्यम से पीछे की ओर प्रसारित होने पर अनियंत्रित रूप से बढ़ जाते हैं, जिससे शुरुआती तंत्रिका नेटवर्क वास्तुकलाओं के लिए कुछ चरणों से अधिक फैले निर्भरताओं को सीखना बहुत कठिन हो जाता है। यह निदान, जो उस समय जर्मन-भाषा के AI हलकों के बाहर काफी हद तक अनदेखा रहा, ने सीधे तौर पर लंबी अल्पकालिक स्मृति (LSTM) के डिजाइन को प्रेरित किया, जिसे होखराइटर और श्मिधुबर ने 1997 में प्रकाशित किया। LSTM ने गेटेड मेमोरी सेल पेश किए जो लंबे अंतरालों पर जानकारी संरक्षित कर सकते थे, और 2000 और 2010 के दशकों में मशीन अनुवाद, भाषण पहचान और पाठ निर्माण जैसे कार्यों के लिए डिफ़ॉल्ट वास्तुकला बन गया, इससे पहले कि 2017 के ध्यान ही सब कुछ है पेपर ने ट्रांसफॉर्मर पेश किए।
बाद का करियर
होखराइटर लिंज़ के जोहान्स केपलर विश्वविद्यालय में प्रोफेसर हैं, जहाँ वे मशीन लर्निंग संस्थान का नेतृत्व करते हैं और यूरोपीय प्रयोगशाला फॉर लर्निंग एंड इंटेलिजेंट सिस्टम्स (ELLIS) की एक इकाई का प्रमुख हैं। उनकी प्रयोगशाला ने मशीन लर्निंग के दवा खोज और रसायन विज्ञान अनुप्रयोगों पर भी काम किया है, जिसमें गहरे नेटवर्क का उपयोग करके आणविक गुणों की भविष्यवाणी और उम्मीदवार यौगिकों की जांच की जाती है, इससे बहुत पहले कि ऐसे अनुप्रयोग अपने आप में व्यापक रूप से वित्तपोषित उपक्षेत्र बन जाते। 2024 में उनके समूह ने xLSTM पेश किया, जो मूल वास्तुकला का एक अद्यतन संस्करण है जिसमें घातीय गेटिंग और संशोधित मेमोरी संरचनाएँ हैं, जिसे कुछ लंबे-अनुक्रम कार्यों के लिए ट्रांसफॉर्मर के अधिक कम्प्यूटेशनल रूप से कुशल विकल्प के रूप में स्थापित किया गया है, जो राज्य-स्थान मॉडल परिवार जैसे दृष्टिकोणों के साथ ट्रांसफॉर्मर विकल्पों में रुचि की एक व्यापक लहर का हिस्सा है। होखराइटर ने इस शोध को व्यावसायिक बनाने के लिए कंपनी NXAI की सह-स्थापना की, यह तर्क देते हुए कि यूरोप को प्रमुख अमेरिकी प्रयोगशालाओं से ट्रांसफॉर्मर-आधारित बड़े भाषा मॉडल डिजाइनों पर पूरी तरह निर्भर रहने के बजाय घरेलू फाउंडेशन मॉडल वास्तुकलाओं में निवेश करना चाहिए, और xLSTM को इस बात के प्रमाण के रूप में प्रस्तुत करते हैं कि पुरानी, अच्छी तरह से समझी गई वास्तुकलाओं में अभी भी सार्थक सुधार की गुंजाइश है।