फ्यू-शॉट लर्निंग किसी नए कार्य को सही ढंग से करने की क्षमता है, जब उस कार्य के केवल कुछ उदाहरण दिखाए जाते हैं, अक्सर एक से लेकर कुछ दर्जन तक। बड़े भाषा मॉडल के संदर्भ में, यह शब्द आमतौर पर एक विशिष्ट प्रथा को संदर्भित करता है: वास्तविक प्रश्न से ठीक पहले, प्रॉम्प्ट के अंदर सीधे कई इनपुट-आउटपुट उदाहरण रखना, ताकि मॉडल पैटर्न का अनुमान लगा सके और उसे अपने अंतर्निहित वज़न में कोई बदलाव किए बिना लागू कर सके। यह फ्यू-शॉट लर्निंग को पारंपरिक पर्यवेक्षित दृष्टिकोणों से अलग करता है, जिसमें एक नया कार्य सीखने के लिए एक लेबल किया हुआ डेटासेट इकट्ठा करना और फाइन-ट्यूनिंग जैसी अनुकूलन प्रक्रिया चलाना शामिल है।
यह अवधारणा GPT-3 पेपर, "लैंग्वेज मॉडल्स आर फ्यू-शॉट लर्नर्स" द्वारा लोकप्रिय हुई, जिसे 2020 में टॉम ब्राउन और ओपनएआई के सह-लेखकों ने प्रकाशित किया। पेपर ने दिखाया कि एक पर्याप्त बड़ा ऑटोरेग्रेसिव मॉडल, जो केवल बड़ी मात्रा में पाठ पर अगले-टोकन भविष्यवाणी पर प्रशिक्षित होता है, अनुवाद, प्रश्न-उत्तर, और अंकगणित को उचित रूप से कर सकता है, जब उसे अपने संदर्भ में कुछ प्रदर्शन दिए जाते हैं, बिना किसी ग्रेडिएंट अपडेट के। यह परिणाम सबसे स्पष्ट शुरुआती प्रदर्शनों में से एक था कि अकेले पैमाना, एक सामान्य-उद्देश्य प्रीट्रेनिंग उद्देश्य के साथ मिलकर, कार्य-विशिष्ट प्रशिक्षण डेटा की जगह ले सकता है।
तंत्र
फ्यू-शॉट प्रॉम्प्टिंग इसलिए काम करती है क्योंकि एक प्रीट्रेन्ड मॉडल के पैरामीटर पहले से ही व्यापक सांख्यिकीय ज्ञान को एनकोड करते हैं कि कई प्रकार के कार्य कैसे संरचित होते हैं; प्रॉम्प्ट में उदाहरण मॉडल को नए तथ्य नहीं सिखाते हैं, बल्कि यह निर्दिष्ट करते हैं कि कई कार्यों में से कौन सा कार्य, प्रारूप, और शैली लागू करनी है, जिन्हें मॉडल पहले से उत्पन्न करने में सक्षम है। यह क्षमता आमतौर पर इन-कॉन्टेक्स्ट लर्निंग के व्यापक शीर्षक के तहत अध्ययन की जाती है, जो वह घटना है जिसके द्वारा ट्रांसफॉर्मर-आधारित मॉडल अपने कॉन्टेक्स्ट विंडो की सामग्री के आधार पर अपने व्यवहार को अनुकूलित करते हैं। आवश्यक उदाहरणों की संख्या, उनका क्रम, लक्ष्य प्रश्न से उनकी समानता, और प्रदर्शनों को कैसे स्वरूपित किया जाता है, ये सभी सटीकता को प्रभावित करते दिखाए गए हैं, कभी-कभी काफी हद तक, जिसने प्रॉम्प्ट डिज़ाइन को अपने आप में एक अनुभवजन्य शिल्प बना दिया है, जो प्रॉम्प्ट इंजीनियरिंग से निकटता से संबंधित है।
ज़ीरो-शॉट और फाइन-ट्यूनिंग से संबंध
फ्यू-शॉट लर्निंग दो अन्य शासनों के बीच स्थित है: ज़ीरो-शॉट लर्निंग, जहां मॉडल को केवल एक निर्देश दिया जाता है और कोई उदाहरण नहीं, और फाइन-ट्यूनिंग, जहां मॉडल के वज़न को एक लेबल किए गए डेटासेट पर अपडेट किया जाता है। जैसे-जैसे मॉडल बड़े हुए हैं और भारी इंस्ट्रक्शन-ट्यूनिंग के साथ प्रशिक्षित किए गए हैं, कई सामान्य कार्यों के लिए ज़ीरो-शॉट और फ्यू-शॉट प्रदर्शन के बीच का अंतर कम हो गया है, क्योंकि अच्छी तरह से संरेखित मॉडल अक्सर बिना प्रदर्शन के एक स्पष्ट निर्देश का सही ढंग से पालन कर सकते हैं। हालांकि, फ्यू-शॉट उदाहरण एक असामान्य आउटपुट प्रारूप, एक विशिष्ट वर्गीकरण योजना, या एक शैली निर्दिष्ट करने के लिए उपयोगी बने रहते हैं, जिसे शब्दों में वर्णित करना कठिन है लेकिन दिखाना आसान है। फाइन-ट्यूनिंग की तुलना में, फ्यू-शॉट प्रॉम्प्टिंग का लाभ यह है कि इसमें कोई प्रशिक्षण बुनियादी ढांचे की आवश्यकता नहीं होती है और यह तुरंत प्रभावी होता है, लेकिन यह हर कॉल पर कॉन्टेक्स्ट विंडो स्थान की खपत करता है और इसके लाभ आमतौर पर उस तरह से स्थायी या संचयी नहीं होते हैं जैसे कि फाइन-ट्यून किए गए मॉडल के होते हैं।
स्वागत और विरासत
GPT-3 के फ्यू-शॉट परिणाम ने इस बात को फिर से परिभाषित किया कि क्षेत्र सामान्यीकरण के बारे में कैसे सोचता है: प्रत्येक कार्य के लिए संकीर्ण मॉडल बनाने के बजाय, एक बड़ा, सामान्य मॉडल बनाना और उसे केवल प्रॉम्प्टिंग के माध्यम से अनुमान के समय विशेषज्ञ बनाना संभव हो गया। इस बदलाव ने एपीआई-पहले व्यवसाय मॉडल को रेखांकित किया जिसे ओपनएआई और बाद में प्रतियोगियों ने अपनाया, और इसने सीधे चैटजीपीटी जैसे सामान्य-उद्देश्य चैट सहायकों की ओर व्यापक कदम का पूर्वाभास दिया। बाद के काम ने सवाल उठाया कि स्पष्ट "सीखने" में से कितना वास्तविक नए-कार्य अधिग्रहण को दर्शाता है बनाम उस कार्य की पुनर्प्राप्ति जिसे मॉडल ने प्रीट्रेनिंग के दौरान पहले से कुछ समान देखा था, यह बहस जारी है जो शोधकर्ताओं को उभरती क्षमताओं और फ्यू-शॉट बेंचमार्क से जुड़े क्षमता दावों की व्याख्या करने के तरीके को आकार देती है।