जीपीटी-1 पेपर, जिसका शीर्षक "इम्प्रूविंग लैंग्वेज अंडरस्टैंडिंग बाय जेनेरेटिव प्री-ट्रेनिंग" था, ओपनएआई के शोधकर्ताओं द्वारा 11 जून 2018 को प्रकाशित किया गया था। इसने पहला जेनेरेटिव प्री-ट्रेंड ट्रांसफॉर्मर पेश किया, एक मॉडल जिसने ट्रांसफॉर्मर आर्किटेक्चर को दो-चरणीय प्रशिक्षण दृष्टिकोण के साथ जोड़ा: पाठ के एक बड़े कोष पर अनसुपरवाइज्ड प्री-ट्रेनिंग, इसके बाद विशिष्ट कार्यों पर सुपरवाइज्ड फाइन-ट्यूनिंग। इस कार्य ने प्रदर्शित किया कि एक एकल मॉडल कई प्राकृतिक भाषा प्रसंस्करण बेंचमार्क पर मजबूत प्रदर्शन प्राप्त कर सकता है, जिसने कार्य-विशिष्ट आर्किटेक्चर और लेबल किए गए डेटा पर प्रचलित निर्भरता को चुनौती दी।
पृष्ठभूमि
2010 के दशक के दौरान, मशीन लर्निंग में प्रगति और बड़े पैमाने के डेटासेट की उपलब्धता ने एक एआई बूम को सक्षम किया। प्राकृतिक भाषा प्रसंस्करण (एनएलपी) में प्रमुख प्रतिमान में प्रत्येक विशिष्ट कार्य के लिए बड़ी मात्रा में मैन्युअल रूप से लेबल किए गए डेटा पर मॉडलों को प्रशिक्षित करना शामिल था, जो महंगा और समय लेने वाला था। 2017 में, गूगल के शोधकर्ताओं ने "अटेंशन इज़ ऑल यू नीड" पेपर में ट्रांसफॉर्मर आर्किटेक्चर पेश किया, जो अनुक्रमों को समानांतर में संसाधित करने के लिए एक स्व-ध्यान तंत्र पर निर्भर था, जिसने टोकन को क्रमिक रूप से संसाधित करने वाले आवर्तक तंत्रिका नेटवर्क (आरएनएन) की सीमाओं को दूर किया। यह आर्किटेक्चर डीप लर्निंग और एनएलपी में बाद के काम की नींव बन गया।
विकास
जीपीटी-1 मॉडल 117 मिलियन पैरामीटर वाला एक डिकोडर-ओनली ट्रांसफॉर्मर था, जिसे बुककोर्पस पर प्रशिक्षित किया गया था, जो विभिन्न शैलियों की 7,000 से अधिक अप्रकाशित पुस्तकों वाला एक डेटासेट है। प्री-ट्रेनिंग उद्देश्य मानक भाषा मॉडलिंग था: एक अनुक्रम में अगले टोकन की भविष्यवाणी करना। इस अनसुपरवाइज्ड चरण के बाद, मॉडल को सुपरवाइज्ड लर्निंग का उपयोग करके व्यक्तिगत कार्यों पर फाइन-ट्यून किया गया, जिसमें मॉडल को विभिन्न प्रारूपों के अनुकूल बनाने के लिए कार्य-विशिष्ट इनपुट परिवर्तन शामिल थे। पेपर ने दिखाया कि इस दृष्टिकोण ने अध्ययन किए गए बारह में से नौ कार्यों पर अत्याधुनिक परिणाम प्राप्त किए, जिनमें सामान्य ज्ञान तर्क, प्रश्न उत्तर, और पाठ्य निहितार्थ शामिल हैं, जो अक्सर लेबल किए गए डेटा पर शून्य से प्रशिक्षित मॉडलों से बेहतर प्रदर्शन करते हैं।
प्रभाव
जीपीटी-1 की सफलता ने प्री-ट्रेनिंग और फाइन-ट्यूनिंग के जेनेरेटिव एआई प्रतिमान को स्थापित किया, जो बाद के मॉडलों के लिए खाका बन गया। इसने सीधे फरवरी 2019 में जीपीटी-2 के विकास को जन्म दिया, जिसने मॉडल को 1.5 बिलियन पैरामीटर तक बढ़ाया और सुसंगत पाठ उत्पन्न करने की क्षमता प्रदर्शित की। इसके बाद मई 2020 में जीपीटी-3 आया, जिसमें 175 बिलियन पैरामीटर थे, जिसने फ्यू-शॉट लर्निंग पेश की, जिससे मॉडल को प्रॉम्प्ट में केवल कुछ उदाहरणों के साथ कार्य करने की अनुमति मिली। यह वंशावली इंस्ट्रक्टजीपीटी के साथ जारी रही, जिसने मानव प्रतिक्रिया से सुदृढीकरण सीखने (आरएलएचएफ) का उपयोग करके आउटपुट को उपयोगकर्ता के इरादों के साथ संरेखित किया, और अंततः चैटजीपीटी, जो नवंबर 2022 में लॉन्च हुआ, जिसने इन मॉडलों को व्यापक जनता तक पहुंचाया।
विरासत
जीपीटी-1 पेपर को बड़े भाषा मॉडल के क्षेत्र में एक foundational योगदान के रूप में व्यापक रूप से मान्यता प्राप्त है। इसने प्रदर्शित किया कि विविध पाठ पर जेनेरेटिव प्री-ट्रेनिंग सामान्य भाषाई ज्ञान को कैप्चर कर सकती है और प्रभावी ढंग से डाउनस्ट्रीम कार्यों में स्थानांतरित की जा सकती है। इस दृष्टिकोण ने न केवल ओपनएआई के बाद के मॉडलों को प्रभावित किया, बल्कि गूगल के जेमिनी और मेटा के लामा जैसे प्रतिस्पर्धी सिस्टमों के विकास, साथ ही डीपसीक जैसे ओपन-सोर्स प्रयासों को भी प्रभावित किया। पेपर ने जेनेरेटिव कार्यों के लिए ट्रांसफॉर्मर की क्षमता पर भी प्रकाश डाला, जिसने पाठ, छवियों, और ऑडियो को संसाधित और उत्पन्न करने वाले मल्टीमॉडल मॉडलों के लिए मार्ग प्रशस्त किया, और दुर्लभ ध्यान तंत्र जैसे दक्षता सुधारों के लिए, जो लंबे अनुक्रमों के लिए कम्प्यूटेशनल लागत को कम करते हैं।