मशीन लर्निंग में, "स्टोकेस्टिक तोता" (stochastic parrot) शब्द एक रूपक है जिसका उपयोग बड़े भाषा मॉडल (LLMs) को ऐसी प्रणालियों के रूप में वर्णित करने के लिए किया जाता है जो वास्तविक समझ के बिना सांख्यिकीय रूप से भाषा की नकल करते हैं। शब्द "स्टोकेस्टिक" प्राचीन ग्रीक "στοχαστικός" (स्टोखास्टिकोस, जिसका अर्थ है "अनुमान पर आधारित") से लिया गया है और संभाव्यता सिद्धांत में इसका अर्थ है "यादृच्छिक रूप से निर्धारित", जबकि "तोता" पक्षियों की मानव भाषण की नकल करने की क्षमता को संदर्भित करता है। यह वाक्यांश 2021 के पेपर "ऑन द डेंजर्स ऑफ स्टोकेस्टिक पैरट्स: कैन लैंग्वेज मॉडल्स बी टू बिग? 🦜" में पेश किया गया था, जिसे टिम्निट गेब्रू, एमिली एम. बेंडर, एंजेलिना मैकमिलन-मेजर और मार्गरेट मिशेल ने लिखा था, और इसमें बड़े भाषा मॉडल के संभावित जोखिमों को रेखांकित किया गया था। यह पेपर न केवल अपने तर्क के लिए बल्कि दिसंबर 2020 में गेब्रू और गूगल के बीच हुए कार्यस्थल विवाद में इसकी भूमिका के लिए भी प्रसिद्ध हुआ, जिसके कारण उनका विवादास्पद प्रस्थान हुआ और एआई समुदाय में व्यापक बहस छिड़ गई। यह शब्द बाद में जनरेटिव एआई पर शैक्षणिक शोध में प्रमुखता से उपयोग होने लगा और इसे एआई प्रणालियों के प्रति अपमान के रूप में भी नकारात्मक रूप से व्याख्यायित किया गया है।
पृष्ठभूमि और 2020 का विवाद
टिम्निट गेब्रू एक एआई नैतिकता शोधकर्ता हैं जो 2018 में गूगल से जुड़ीं, जहाँ उन्होंने मार्गरेट मिशेल के साथ एथिकल आर्टिफिशियल इंटेलिजेंस टीम का सह-नेतृत्व किया, जो एल्गोरिदमिक पूर्वाग्रह में विशेषज्ञता रखने वाली कंप्यूटर वैज्ञानिक हैं। एमिली एम. बेंडर एक भाषाविद् हैं जो कम्प्यूटेशनल भाषाविज्ञान में अपने काम के लिए जानी जाती हैं। यह पेपर, जो गेब्रू और पाँच अन्य शोधकर्ताओं (जिनमें से चार गूगल कर्मचारी थे) द्वारा सह-लिखित था, 2021 के ACM सम्मेलन ऑन फेयरनेस, अकाउंटेबिलिटी, एंड ट्रांसपेरेंसी में प्रस्तुत किया गया था। इसमें तर्क दिया गया कि LLMs महत्वपूर्ण जोखिम प्रस्तुत करते हैं, जिनमें पर्यावरणीय और वित्तीय लागत, अज्ञात खतरनाक पूर्वाग्रहों की ओर ले जाने वाली अगम्यता, और धोखे की संभावना शामिल है, क्योंकि ये मॉडल उन अवधारणाओं को नहीं समझते हैं जो वे सीखते हैं।
पेपर ने LLMs को "अपने विशाल प्रशिक्षण डेटा में देखे गए भाषाई रूपों के अनुक्रमों को... इस बारे में संभाव्य जानकारी के अनुसार एक साथ जोड़ने" के रूप में वर्णित किया, "लेकिन अर्थ के किसी भी संदर्भ के बिना", इस प्रकार उन्हें "स्टोकेस्टिक तोते" का लेबल दिया गया। प्रस्तुतिकरण के बाद, गूगल ने गेब्रू से या तो पेपर वापस लेने या गूगल कर्मचारियों के नाम हटाने का अनुरोध किया। गेब्रू ने आगे चर्चा के बिना इनकार कर दिया, गूगल रिसर्च के उपाध्यक्ष मेगन काचोलिया को ईमेल भेजकर कहा कि यदि कंपनी वापसी के अनुरोध की व्याख्या नहीं कर सकती और समान परियोजनाओं के बारे में अन्य चिंताओं का समाधान नहीं कर सकती, तो वह संक्रमण अवधि के बाद इस्तीफा देने की योजना बनाएंगी। अगले दिन, 2 दिसंबर 2020 को, गूगल ने एक ईमेल भेजा जिसमें कहा गया कि वह "उनका इस्तीफा स्वीकार कर रहा है।" अचानक बर्खास्तगी ने गूगल कर्मचारियों के विरोध को जन्म दिया और कंपनी के लिए नकारात्मक प्रचार उत्पन्न किया।
उपयोग और सार्वजनिक स्वीकृति
"स्टोकेस्टिक तोता" वाक्यांश को एआई संशयवादियों और शोधकर्ताओं ने यह दर्शाने के लिए अपनाया है कि LLMs अपने आउटपुट के अर्थ की समझ की कमी रखते हैं। OpenAI के सीईओ सैम ऑल्टमैन ने दिसंबर 2022 में ChatGPT के जारी होने के तुरंत बाद इस शब्द का उपयोग किया, ट्वीट करते हुए कहा "i am a stochastic parrot, and so r u." यह शब्द अमेरिकन डायलेक्ट सोसाइटी द्वारा 2023 के एआई-संबंधित वर्ड ऑफ द ईयर के लिए नामांकित किया गया था।
समझ बनाम नकल पर बहस
जैसे-जैसे ChatGPT जैसे LLMs ने उपयोगकर्ताओं के साथ सम्मोहक रूप से मानव-समान बातचीत में बातचीत करना शुरू किया, यह सवाल गहरा गया कि क्या ये प्रणालियाँ वास्तव में समझती हैं या केवल भाषा की "नकल" करती हैं। मशीन लर्निंग शोधकर्ताओं लिंडहोम, वाह्लस्ट्रॉम, लिंडस्टेन और शॉन ने दो महत्वपूर्ण सीमाओं पर प्रकाश डाला: LLMs उस डेटा तक सीमित हैं जिस पर उन्हें प्रशिक्षित किया गया है और वे केवल उस सामग्री को स्टोकेस्टिक रूप से दोहराते हैं; और क्योंकि वे पैटर्न के आधार पर आउटपुट उत्पन्न करते हैं, वे नहीं जानते कि क्या वे कुछ गलत या अनुचित कह रहे हैं। उन्होंने नोट किया कि ऐसी सीमाएँ कम-गुणवत्ता वाले डेटासेट के साथ "खतरनाक रूप से गलत" परिणाम दे सकती हैं।
व्यक्तिपरक अनुभव
समर्थकों का तर्क है कि मानव मन में, शब्द वास्तविक दुनिया के अनुभवों से मेल खाते हैं, लेकिन LLMs के लिए, शब्द केवल प्रशिक्षण डेटा में अन्य शब्दों और पैटर्न के अनुरूप होते हैं। इस प्रकार, वे दावा करते हैं कि LLMs के अर्थों के बारे में कथन "मनुष्यों की पाठ को अर्थ देने की प्रवृत्ति" से उत्पन्न होते हैं, भले ही LLMs वास्तव में भाषा को नहीं समझते हैं।
फाइन-ट्यूनिंग और प्रतिवाद
केल्सी पाइपर ने तर्क दिया कि स्टोकेस्टिक तोता रूपक प्री-ट्रेनिंग पर केंद्रित है और आधुनिक फाइन-ट्यूनिंग प्रक्रियाओं को अनदेखा करता है जो LLMs को निर्देशों का पालन करने और सटीक उत्तरों को प्राथमिकता देने के लिए प्रशिक्षित करती हैं। अन्य शोधकर्ता बेंचमार्क की ओर इशारा करते हैं: GPT-4 ने यूनिफॉर्म बार परीक्षा में 90वें प्रतिशत से ऊपर स्कोर किया और हाई-स्कूल ओलंपियाड समस्याओं के MATH बेंचमार्क पर 93% सटीकता हासिल की, जो रटे पैटर्न-मिलान की अपेक्षाओं से अधिक उपलब्धियाँ हैं। 2022 के एक सर्वेक्षण में पाया गया कि 51% एआई पेशेवर मानते हैं कि LLMs पर्याप्त डेटा के साथ वास्तव में भाषा समझ सकते हैं, एक दृष्टिकोण जिसे कई विशेषज्ञ विवादित मानते हैं।
मतिभ्रम और सीमाएँ
स्टोकेस्टिक तोता विचार के समर्थक मतिभ्रम - या कन्फैब्यूलेशन - की ओर इशारा करते हैं, जहाँ LLMs गलत जानकारी को तथ्य के रूप में प्रस्तुत करते हैं, इस बात के प्रमाण के रूप में कि ये प्रणालियाँ शब्दों को दुनिया की समझ से नहीं जोड़ती हैं। वे जटिल या अस्पष्ट व्याकरण में विफलताओं का भी हवाला देते हैं। उदाहरण के लिए, वाक्य जोड़ी दी गई: "द वेट न्यूज़पेपर दैट फेल डाउन ऑफ द टेबल इज़ माई फेवरेट न्यूज़पेपर। बट नाउ दैट माई फेवरेट न्यूज़पेपर फायर्ड द एडिटर आई माइट नॉट लाइक रीडिंग इट एनीमोर। कैन आई रिप्लेस 'माई फेवरेट न्यूज़पेपर' बाय 'द वेट न्यूज़पेपर दैट फेल डाउन ऑफ द टेबल' इन द सेकेंड सेंटेंस?" GPT-4 ने हाँ में उत्तर दिया, यह समझने में विफल रहा कि "न्यूज़पेपर" पहले संदर्भ में एक वस्तु को संदर्भित करता है और दूसरे में एक संगठन को।
चल रहे शोध और कार्यशालाएँ
2024 में, एक साइंटिफिक अमेरिकन जाँच ने एक बंद बर्कले कार्यशाला का वर्णन किया जहाँ अत्याधुनिक मॉडलों ने नए टियर-4 गणित की समस्याओं को हल किया, यह सुझाव देते हुए कि कुछ LLMs ऐसे कार्य कर सकते हैं जो सीधे उनके प्रशिक्षण डेटा में नहीं हैं। हालाँकि, ये अवलोकन व्याख्या के अधीन हैं और इस बहस को पूरी तरह से हल नहीं कर पाए हैं कि क्या LLMs के पास वास्तविक समझ है या केवल उन्नत पैटर्न मिलान है।