ज़ीरो-शॉट लर्निंग किसी मॉडल की किसी कार्य को सही ढंग से करने की क्षमता है, जब उसने उस विशिष्ट कार्य के कोई लेबल किए गए उदाहरण नहीं देखे हों, न तो प्रशिक्षण के दौरान और न ही उसके प्रॉम्प्ट में। बड़े भाषा मॉडलों के संदर्भ में, ज़ीरो-शॉट उपयोग का आम तौर पर अर्थ है मॉडल को केवल एक निर्देश देना, जैसे "इस वाक्य का फ्रेंच में अनुवाद करें" या "इस समीक्षा को सकारात्मक या नकारात्मक के रूप में वर्गीकृत करें," और बिना किसी प्रदर्शन के सही प्रतिक्रिया की अपेक्षा करना। यह शब्द बड़े भाषा मॉडलों से पहले का है और मूल रूप से कंप्यूटर विज़न और शास्त्रीय मशीन लर्निंग में उन वर्गीकरणकर्ताओं का वर्णन करने के लिए उपयोग किया जाता था जो अपने प्रशिक्षण डेटा में कभी मौजूद नहीं रही श्रेणियों को पहचान सकते थे, आम तौर पर एक नए लेबल को ज्ञात लेबलों से सहायक जानकारी जैसे पाठ विवरण या विशेषताओं के माध्यम से जोड़कर।
भाषा मॉडलों में
भाषा मॉडलों में आधुनिक ज़ीरो-शॉट प्रदर्शन दो विकासों पर निर्भर करता है। पहला, व्यापक पाठ कोषों पर बड़े पैमाने पर Pretraining मॉडल को कार्य प्रारूपों, वाक्यांशों और शैलियों की एक विशाल श्रृंखला से अवगत कराता है, ताकि एक नया निर्देश अक्सर किसी ऐसी चीज़ से मिलता-जुलता हो जो मॉडल ने प्रशिक्षण के दौरान बिना किसी समर्पित उदाहरण के करना सीख लिया हो। दूसरा, निर्देश-ट्यूनिंग और संरेखण तकनीकें जैसे RLHF मॉडलों को स्पष्ट रूप से प्राकृतिक-भाषा निर्देशों का पालन करने के लिए प्रशिक्षित करती हैं, न कि केवल शैलीगत रूप से प्रशंसनीय तरीके से पाठ जारी रखने के लिए, जिसने संवादी सहायकों जैसे ChatGPT को सीधे सादे-भाषा अनुरोध से उपयोग योग्य बनाया। इस दूसरे चरण से पहले, आधार GPT-3-शैली के मॉडल अक्सर ज़ीरो-शॉट कार्य के लिए प्रेरित किए जा सकते थे, लेकिन बिना किसी उदाहरण के किसी मनमाने निर्देश का विश्वसनीय और सहायक रूप से पालन करना काफी बेहतर हुआ जब निर्देश-ट्यूनिंग उद्योग भर में मानक अभ्यास बन गई।
ज़ीरो-शॉट बनाम फ्यू-शॉट
ज़ीरो-शॉट लर्निंग पर आम तौर पर Few-shot learning और In-context learning के साथ चर्चा की जाती है, जो एक स्पेक्ट्रम पर एक बिंदु के रूप में है जो प्रॉम्प्ट में दिखाई देने वाले कार्य प्रदर्शनों की संख्या से परिभाषित होता है: ज़ीरो-शॉट के लिए शून्य, फ्यू-शॉट के लिए कुछ। GPT-3 पेपर ने बताया कि फ्यू-शॉट प्रॉम्प्टिंग आम तौर पर उसी आधार मॉडल पर ज़ीरो-शॉट प्रॉम्प्टिंग से बेहतर प्रदर्शन करती है, विशेष रूप से असामान्य आउटपुट प्रारूप वाले कार्यों के लिए, लेकिन सामान्य कार्यों पर अच्छी तरह से संरेखित चैट मॉडल के लिए यह अंतर कम हो गया है, क्योंकि वे मॉडल विशेष रूप से सादे निर्देशों की व्याख्या करने और उन पर कार्य करने के लिए प्रशिक्षित होते हैं। ज़ीरो-शॉट प्रॉम्प्टिंग अधिकांश उपभोक्ता चैटबॉट उपयोग के लिए डिफ़ॉल्ट इंटरैक्शन मोड बनी हुई है, क्योंकि हर अनुरोध से पहले उपयोगकर्ता से उदाहरण मांगना एक अनुचित इंटरफ़ेस बोझ होगा।
चेन-ऑफ-थॉट और ज़ीरो-शॉट तर्क
एक उल्लेखनीय विस्तार ज़ीरो-शॉट Chain-of-thought प्रॉम्प्टिंग है, जिसमें ज़ीरो-शॉट निर्देश में "चलो कदम दर कदम सोचें" जैसा सरल वाक्यांश जोड़ने से अंकगणितीय और तार्किक तर्क कार्यों पर सटीकता में मापनीय सुधार होता है, बिना कोई हल किए उदाहरण दिए। 2022 में शोधकर्ताओं द्वारा रिपोर्ट किया गया यह निष्कर्ष दिखाता है कि पहले के काम में फ्यू-शॉट प्रदर्शनों के माध्यम से उत्पन्न तर्क क्षमता अक्सर ज़ीरो-शॉट भी ट्रिगर की जा सकती है, केवल मॉडल को मध्यवर्ती चरणों को बाहरी करने के लिए प्रेरित करके, और यह सीधे बाद के समर्पित Reasoning model प्रणालियों के पीछे डिज़ाइन दर्शन में शामिल हुआ।
सीमाएँ
ज़ीरो-शॉट प्रदर्शन असमान है: यह उन कार्यों पर सबसे मजबूत होता है जो प्राकृतिक भाषा में सामान्य हैं (सारांशीकरण, अनुवाद, भावना वर्गीकरण) और उन कार्यों पर कमजोर होता है जिनमें सटीक, अपरिचित आउटपुट प्रारूप या डोमेन-विशिष्ट परंपराओं की आवश्यकता होती है जिनसे मॉडल का बहुत कम संपर्क रहा हो। अस्पष्ट निर्देशों की व्याख्या भी इच्छित अर्थ से भिन्न रूप से की जा सकती है, बिना उदाहरणों के जो मॉडल की समझ को स्थिर करें, यही एक कारण है कि Prompt engineering अभ्यास अक्सर उन कार्यों के लिए कम से कम कुछ प्रदर्शन, एक सिस्टम संदेश, या स्पष्ट स्वरूपण नियम जोड़ने की सलाह देता है जहाँ विश्वसनीयता मायने रखती है। ज़ीरो-शॉट क्षमता का उपयोग अकादमिक बेंचमार्क में मूल्यांकन लेंस के रूप में भी अक्सर किया जाता है, क्योंकि यह फ्यू-शॉट स्कोर की तुलना में प्रीट्रेनिंग से मॉडल के सामान्यीकरण को अधिक सीधे मापता है, जो उन उदाहरणों से बढ़ सकते हैं जो परीक्षण वितरण से बिल्कुल मेल खाते हैं।