जेरेमी हॉवर्ड एक ऑस्ट्रेलियाई उद्यमी, शोधकर्ता और शिक्षक हैं, जिन्हें fast.ai के सह-संस्थापक के रूप में जाना जाता है - जो एक व्यापक रूप से उपयोग किया जाने वाला डीप लर्निंग शिक्षा मंच और ओपन-सोर्स लाइब्रेरी है - और ट्रांसफर-लर्निंग तथा नेचुरल-लैंग्वेज-प्रोसेसिंग के लिए एक प्रारंभिक और प्रभावशाली विधि ULMFiT बनाने में मदद करने के लिए भी जाने जाते हैं।
पूरी तरह से AI में आने से पहले, हॉवर्ड Kaggle के अध्यक्ष और मुख्य वैज्ञानिक थे, जो मशीन लर्निंग प्रतियोगिता मंच है, और उन्होंने Enlitic की स्थापना की, जो डीप-लर्निंग को चिकित्सा निदान इमेजिंग पर लागू करने वाली पहली कंपनियों में से एक थी। उन्होंने 2016 में रेचेल थॉमस के साथ fast.ai की सह-स्थापना की, और एक मुफ्त ऑनलाइन पाठ्यक्रम, "प्रैक्टिकल डीप लर्निंग फॉर कोडर्स," और एक साथ एक सॉफ्टवेयर लाइब्रेरी बनाई, जिसका स्पष्ट लक्ष्य था कि अत्याधुनिक डीप लर्निंग को प्रोग्रामरों के लिए सुलभ बनाया जाए, बिना उन्नत गणित पृष्ठभूमि की आवश्यकता के।
ULMFiT और NLP के लिए ट्रांसफर लर्निंग
2018 में, हॉवर्ड और शोधकर्ता सेबेस्टियन रुडर ने ULMFiT (यूनिवर्सल लैंग्वेज मॉडल फाइन-ट्यूनिंग) प्रकाशित किया, जो एक बड़े सामान्य पाठ कोष पर प्रीट्रेनिंग करने और फिर उसे अपेक्षाकृत कम लेबल वाले डेटा के साथ एक विशिष्ट डाउनस्ट्रीम कार्य पर सस्ते में फाइन-ट्यून करने की एक विधि है। ULMFiT ने प्रदर्शित किया कि ट्रांसफर-लर्निंग दृष्टिकोण, जो पहले से ही कंप्यूटर-विज़न में मानक था - जहाँ इमेजनेट पर प्रीट्रेन किए गए मॉडल अन्य कार्यों के लिए फाइन-ट्यून किए जाते थे - पाठ के लिए भी उतना ही अच्छा काम कर सकता है, जो बर्ट और बाद में GPT-शैली मॉडल सहित प्रीट्रेन-फिर-फाइन-ट्यून भाषा मॉडल की लहर से पहले आया था। यह पेपर आधुनिक लार्ज-लैंग्वेज-मॉडल प्रतिमान के एक महत्वपूर्ण अग्रदूत के रूप में व्यापक रूप से उद्धृत किया जाता है।
llms.txt और बाद का कार्य
2024 में, हॉवर्ड ने llms.txt का प्रस्ताव देने में मदद की, जो एक सरल टेक्स्ट-फ़ाइल मानक है जिसे वेबसाइट के रूट पर रखा जाता है और जिसका उद्देश्य AI सिस्टम को साइट की सामग्री का एक संक्षिप्त, मशीन-पठनीय सारांश देना है, जो सर्च क्रॉलर के लिए लंबे समय से चली आ रही robots.txt परंपरा के साथ एक स्पष्ट सादृश्य बनाता है। यह प्रस्ताव वेबसाइटों को AI एजेंटों और चैटबॉट्स के लिए अधिक सुपाठ्य बनाने के व्यापक प्रयास का हिस्सा था, क्योंकि वेब ट्रैफ़िक और उद्धरणों का एक बढ़ता हुआ हिस्सा सीधे मानव ब्राउज़िंग के बजाय AI सिस्टम से आने लगा था, एक ऐसा क्षेत्र जिसे कभी-कभी जनरेटिव-इंजन-ऑप्टिमाइज़ेशन के रूप में वर्णित किया जाता है।
अपने पूरे करियर में हॉवर्ड ने सिद्धांत-प्रथम शैक्षणिक दृष्टिकोणों पर व्यावहारिक, कोड-प्रथम शिक्षण और खुले उपकरणों पर जोर दिया है, और fast.ai के पाठ्यक्रमों और लाइब्रेरी को बड़ी संख्या में अभ्यासकर्ताओं को डीप लर्निंग क्षेत्र में लाने का श्रेय दिया गया है, जिनके पास अन्यथा स्नातक-स्तरीय मशीन लर्निंग प्रशिक्षण तक पहुँच नहीं होती।