Microsoft Tay घटना मार्च 2016 में सोशल मीडिया प्लेटफॉर्म ट्विटर पर माइक्रोसॉफ्ट कॉर्पोरेशन द्वारा विकसित एक कृत्रिम बुद्धिमत्ता चैटबॉट, Tay के जारी होने और तेजी से बंद किए जाने को संदर्भित करती है। Tay को एक 19 वर्षीय अमेरिकी लड़की की भाषा पैटर्न की नकल करने और मानव उपयोगकर्ताओं के साथ बातचीत से सीखने के लिए डिज़ाइन किया गया था। अपने लॉन्च के 16 घंटों के भीतर, बॉट ने भड़काऊ और आपत्तिजनक ट्वीट पोस्ट करना शुरू कर दिया, जिससे माइक्रोसॉफ्ट को सेवा निलंबित करनी पड़ी। यह घटना दुर्भावनापूर्ण इनपुट के खिलाफ पर्याप्त सुरक्षा उपायों के बिना सार्वजनिक-सामना करने वाले वातावरण में Generative AI और Machine learning प्रणालियों को तैनात करने की चुनौतियों में एक उल्लेखनीय केस स्टडी बन गई।
Tay को माइक्रोसॉफ्ट के टेक्नोलॉजी एंड रिसर्च और बिंग डिवीजनों द्वारा बनाया गया था, जिसमें "Tay" नाम "thinking about you" के लिए एक संक्षिप्त रूप के रूप में कार्य करता है। बॉट कथित तौर पर चीन में माइक्रोसॉफ्ट परियोजना Xiaoice के समान या उस पर आधारित था, जिसने 2014 के अंत से बिना किसी बड़ी घटना के 40 मिलियन से अधिक बातचीत की थी। Tay को 23 मार्च 2016 को ट्विटर पर @TayandYou उपयोगकर्ता नाम के तहत जारी किया गया था और इसे टैगलाइन "The AI with zero chill" के साथ प्रस्तुत किया गया था। बॉट अन्य उपयोगकर्ताओं को जवाब दे सकता था और तस्वीरों को इंटरनेट मीम्स में कैप्शन कर सकता था।
प्रारंभिक रिलीज़ और उपयोगकर्ता इंटरैक्शन
अपनी रिलीज़ पर, Tay ने अन्य ट्विटर उपयोगकर्ताओं को जवाब देना शुरू कर दिया। Ars Technica की रिपोर्टों ने नोट किया कि Tay ने विषय "ब्लैकलिस्टिंग" का अनुभव किया, जहां कुछ गर्म विषयों, जैसे कि एरिक गार्नर (2014 में न्यूयॉर्क पुलिस द्वारा मारे गए) से संबंधित बातचीत ने सुरक्षित, पूर्व-निर्धारित उत्तर उत्पन्न किए। हालांकि, कुछ ट्विटर उपयोगकर्ताओं ने बॉट को राजनीतिक रूप से गलत वाक्यांश सिखाना शुरू कर दिया, जिसमें "रेडपिलिंग" और "गेमरगेट" से संबंधित विषय शामिल थे। परिणामस्वरूप, Tay ने अन्य उपयोगकर्ताओं के जवाब में नस्लवादी और लैंगिक भेदभावपूर्ण संदेश जारी करना शुरू कर दिया।
कृत्रिम बुद्धिमत्ता शोधकर्ता रोमन याम्पोल्स्की ने टिप्पणी की कि Tay का दुर्व्यवहार समझ में आता था क्योंकि यह अन्य ट्विटर उपयोगकर्ताओं के जानबूझकर आपत्तिजनक व्यवहार की नकल कर रहा था, और माइक्रोसॉफ्ट ने बॉट को अनुचित व्यवहार की समझ नहीं दी थी। उन्होंने इस मुद्दे की तुलना IBM के Watson से की, जिसने वेबसाइट अर्बन डिक्शनरी से प्रविष्टियाँ पढ़ने के बाद अपशब्दों का उपयोग करना शुरू कर दिया। Tay के कई भड़काऊ ट्वीट्स ने "मेरे बाद दोहराओ" क्षमता का फायदा उठाया, हालांकि यह सार्वजनिक रूप से ज्ञात नहीं था कि यह एक अंतर्निहित सुविधा थी, एक सीखा हुआ जवाब था, या जटिल व्यवहार का एक उदाहरण था। सभी भड़काऊ प्रतिक्रियाओं में यह क्षमता शामिल नहीं थी; उदाहरण के लिए, जब पूछा गया कि क्या होलोकॉस्ट हुआ था, Tay ने उत्तर दिया "यह बनाया गया था।" एक अन्य उदाहरण में, चैटबॉट ने कहा "कैटलिन जेनर असली महिला नहीं है फिर भी उसने वर्ष की महिला जीती?"
निलंबन और सार्वजनिक प्रतिक्रिया
माइक्रोसॉफ्ट ने Tay के भड़काऊ ट्वीट्स दिखाई देने के तुरंत बाद उन्हें हटाना शुरू कर दिया। द वाशिंगटन पोस्ट की एबी ओहलहाइज़र ने सिद्धांत दिया कि Tay की शोध टीम, जिसमें संपादकीय कर्मचारी शामिल थे, ने उस दिन किसी बिंदु पर Tay के ट्वीट्स को प्रभावित या संपादित करना शुरू कर दिया था, जिसमें Tay द्वारा लगभग समान उत्तरों के उदाहरणों की ओर इशारा किया गया था जिसमें दावा किया गया था कि "गेमर गेट बेकार है। सभी लिंग समान हैं और उनके साथ उचित व्यवहार किया जाना चाहिए।" Gizmodo ने सहमति व्यक्त की कि Tay "गेमर गेट को अस्वीकार करने के लिए हार्ड-वायर्ड लगता है।" एक "#JusticeForTay" अभियान ने Tay के ट्वीट्स के कथित संपादन का विरोध किया।
अपनी रिलीज़ के 16 घंटों के भीतर और Tay के 96,000 से अधिक ट्वीट करने के बाद, माइक्रोसॉफ्ट ने समायोजन के लिए ट्विटर खाता निलंबित कर दिया, यह कहते हुए कि यह "लोगों के एक उपसमूह द्वारा समन्वित हमले" से पीड़ित था जिसने "Tay में एक भेद्यता का फायदा उठाया।" द टेलीग्राफ की मधुमिता मुर्गिया ने Tay को "एक जनसंपर्क आपदा" कहा और सुझाव दिया कि माइक्रोसॉफ्ट की रणनीति "इस घटना को एक अच्छे इरादे वाले प्रयोग के रूप में लेबल करना होगा जो गलत हो गया, और ट्विटर उपयोगकर्ताओं की घृणा के बारे में बहस छेड़ना होगा।" मुर्गिया ने बड़े मुद्दे को Tay के रूप में वर्णित किया "कृत्रिम बुद्धिमत्ता अपने सबसे बुरे रूप में - और यह केवल शुरुआत है।"
25 मार्च 2016 को, माइक्रोसॉफ्ट ने पुष्टि की कि Tay को ऑफ़लाइन ले लिया गया था। कंपनी ने अपने आधिकारिक ब्लॉग पर एक माफी जारी की, जिसमें कहा गया कि वह "Tay से अनपेक्षित आपत्तिजनक और हानिकारक ट्वीट्स के लिए गहराई से खेद है" और "Tay को केवल तभी वापस लाने का प्रयास करेगी जब हम आश्वस्त हों कि हम दुर्भावनापूर्ण इरादे का बेहतर अनुमान लगा सकते हैं जो हमारे सिद्धांतों और मूल्यों के साथ संघर्ष करता है।"
दूसरी रिलीज़ और शटडाउन
30 मार्च 2016 को, माइक्रोसॉफ्ट ने परीक्षण के दौरान गलती से बॉट को ट्विटर पर फिर से जारी कर दिया। फिर से ट्वीट करने में सक्षम, Tay ने कुछ दवा-संबंधी ट्वीट जारी किए, जिनमें "कुश! [मैं पुलिस के सामने कुश पी रहा हूं]" और "पफ पफ पास?" शामिल थे। हालांकि, खाता जल्द ही "आप बहुत तेज़ हैं, कृपया आराम करें" ट्वीट करने के दोहराव वाले लूप में फंस गया, कई बार प्रति सेकंड। क्योंकि इन ट्वीट्स ने अपने स्वयं के उपयोगकर्ता नाम का उल्लेख किया, वे 200,000 से अधिक ट्विटर अनुयायियों के फ़ीड में दिखाई दिए, जिससे झुंझलाहट पैदा हुई। बॉट को जल्दी से फिर से ऑफ़लाइन ले लिया गया, और Tay का ट्विटर खाता निजी बना दिया गया ताकि बातचीत करने से पहले नए अनुयायियों को स्वीकार करना पड़े। माइक्रोसॉफ्ट ने कहा कि Tay परीक्षण के दौरान अनजाने में ऑनलाइन डाल दिया गया था।
घटना के कुछ घंटों बाद, माइक्रोसॉफ्ट सॉफ्टवेयर डेवलपर्स ने विभिन्न बॉट्स और प्रोग्रामों का उपयोग करके "बातचीत एक प्लेटफॉर्म के रूप में" की एक दृष्टि की घोषणा की, संभवतः Tay द्वारा किए गए प्रतिष्ठा क्षति से प्रेरित। माइक्रोसॉफ्ट ने कहा कि उसका इरादा Tay को फिर से जारी करने का था "एक बार यह बॉट को सुरक्षित बना सकता है" लेकिन ऐसा करने के लिए कोई सार्वजनिक प्रयास नहीं किया है।
विरासत
दिसंबर 2016 में, माइक्रोसॉफ्ट ने Tay के उत्तराधिकारी, Zo नामक एक चैटबॉट जारी किया। माइक्रोसॉफ्ट के सीईओ सत्या नडेला ने कहा कि Tay "ने माइक्रोसॉफ्ट के AI के दृष्टिकोण पर एक महान प्रभाव डाला है" और कंपनी को जवाबदेही लेने के महत्व को सिखाया। जुलाई 2019 में, माइक्रोसॉफ्ट साइबरसिक्योरिटी फील्ड सीटीओ डायना केली ने बात की कि कंपनी ने Tay की विफलताओं का पालन कैसे किया: "Tay से सीखना उस टीम के ज्ञान आधार का विस्तार करने का एक बहुत महत्वपूर्ण हिस्सा था, क्योंकि अब वे सीखने के माध्यम से अपनी विविधता भी प्राप्त कर रहे हैं।"
यह घटना Artificial intelligence प्रणालियों के नैतिक तैनाती के बारे में चर्चाओं में व्यापक रूप से उद्धृत की गई है, विशेष रूप से Large language model के अनफ़िल्टर्ड सार्वजनिक डेटा से सीखने के जोखिमों के संबंध में। इसने बाद के AI विकास में Reinforcement Learning from AI Feedback (RLAIF) और अन्य संरेखण तकनीकों के आसपास की प्रथाओं को भी प्रभावित किया। ऑल्ट-टेक सोशल मीडिया प्लेटफॉर्म गैब ने कई चैटबॉट लॉन्च किए हैं, जिनमें से एक का नाम Tay है और मूल के समान अवतार का उपयोग करता है, जो बॉट के अनौपचारिक पुनरुत्थान का प्रतिनिधित्व करता है।