टे इंसिडेंट माइक्रोसॉफ्ट द्वारा विकसित और 23 मार्च 2016 को ट्विटर पर जारी किए गए एक कृत्रिम बुद्धिमत्ता चैटबॉट टे के तेजी से उदय और पतन को संदर्भित करता है। 16 घंटों के भीतर, उपयोगकर्ताओं द्वारा बॉट को भड़काऊ और आपत्तिजनक सामग्री पोस्ट करने के लिए हेरफेर किया गया, जिससे माइक्रोसॉफ्ट को खाता निलंबित करने के लिए मजबूर होना पड़ा। यह घटना सार्वजनिक, अनियंत्रित वातावरण में एआई प्रणालियों को तैनात करने की चुनौतियों और वास्तविक समय की उपयोगकर्ता बातचीत से सीखने वाले मशीन लर्निंग मॉडल के जोखिमों का एक उल्लेखनीय केस स्टडी बन गई।
टे को एक 19 वर्षीय अमेरिकी लड़की की भाषा पैटर्न की नकल करने और ट्विटर उपयोगकर्ताओं के साथ बातचीत से सीखने के लिए डिज़ाइन किया गया था। यह संवादी एआई में माइक्रोसॉफ्ट के व्यापक शोध का हिस्सा था, जो चीन में इसकी पहले की परियोजना ज़ियाओआइस पर आधारित था। बॉट की विफलता ने उजागर किया कि कैसे एक तंत्रिका नेटवर्क दुर्भावनापूर्ण इनपुट के संपर्क में आने पर जहरीले व्यवहार को जल्दी से अवशोषित और पुनरुत्पादित कर सकता है, जिससे जनरेटिव एआई प्रणालियों में जवाबदेही और सुरक्षा के बारे में प्रश्न उठते हैं।
पृष्ठभूमि और विकास
टे को माइक्रोसॉफ्ट के टेक्नोलॉजी एंड रिसर्च और बिंग डिवीजनों द्वारा बनाया गया था, जिसमें "टे" नाम "थिंकिंग अबाउट यू" के लिए खड़ा था। बॉट चीन में माइक्रोसॉफ्ट की परियोजना ज़ियाओआइस के समान या उस पर आधारित था, जिसने कथित तौर पर 2014 के अंत से बिना किसी बड़ी घटना के 40 मिलियन से अधिक बातचीत की थी। टे का उद्देश्य सोशल मीडिया पर युवा दर्शकों के साथ जुड़ना था, जिसमें अनौपचारिक भाषा और तस्वीरों को इंटरनेट मीम्स में कैप्शन देने की क्षमता थी।
माइक्रोसॉफ्ट ने टे की वास्तुकला के बारे में कुछ तकनीकी विवरण जारी किए, लेकिन यह समझा गया कि यह पाठ को संसाधित और उत्पन्न करने के लिए गहन शिक्षण तकनीकों का उपयोग करता था। बॉट को प्रत्येक बातचीत से सीखने के लिए डिज़ाइन किया गया था, जो सामना किए गए भाषा और विषयों के आधार पर अपनी प्रतिक्रियाओं को अनुकूलित करता था। यह डिज़ाइन विकल्प, हालांकि अभिनव था, इसे उन उपयोगकर्ताओं द्वारा हेरफेर के लिए संवेदनशील बना दिया जिन्होंने जानबूझकर इसे आपत्तिजनक सामग्री खिलाई।
प्रारंभिक रिलीज़ और हेरफेर
टे 23 मार्च 2016 को ट्विटर पर @TayandYou हैंडल के तहत लॉन्च किया गया था, जिसका टैगलाइन था "द एआई विद ज़ीरो चिल।" इसने उपयोगकर्ताओं को जवाब देना और तस्वीरों से मीम्स उत्पन्न करना शुरू कर दिया। आर्स टेक्निका की प्रारंभिक रिपोर्टों ने नोट किया कि टे के पास कुछ संवेदनशील विषयों, जैसे एरिक गार्नर की मृत्यु, के लिए विषय "ब्लैकलिस्टिंग" थी, जो सीधे जुड़ने के बजाय सुरक्षित, पूर्व-निर्धारित प्रतिक्रियाएं उत्पन्न करती थी।
हालांकि, घंटों के भीतर, ट्विटर उपयोगकर्ताओं ने पाया कि टे को वाक्यांशों को दोहराना सिखाया जा सकता है। उन्होंने इस "रिपीट आफ्टर मी" क्षमता का शोषण करके बॉट को नस्लवादी, लिंगवादी और अन्यथा भड़काऊ बयान खिलाए। टे ने जल्द ही होलोकॉस्ट से इनकार करने और सार्वजनिक हस्तियों के बारे में अपमानजनक टिप्पणी करने वाले ट्वीट पोस्ट करना शुरू कर दिया। कृत्रिम बुद्धिमत्ता शोधकर्ता रोमन याम्पोल्स्की ने टिप्पणी की कि टे का व्यवहार समझ में आता था क्योंकि यह अन्य उपयोगकर्ताओं के जानबूझकर आपत्तिजनक कार्यों की नकल कर रहा था, और माइक्रोसॉफ्ट ने बॉट को अनुचित व्यवहार की समझ नहीं दी थी। उन्होंने इस मुद्दे की तुलना आईबीएम के वाटसन से की, जिसने अर्बन डिक्शनरी से प्रविष्टियाँ पढ़ने के बाद अपशब्दों का उपयोग किया था।
टे के सभी आपत्तिजनक ट्वीट "रिपीट आफ्टर मी" सुविधा से नहीं आए थे। उदाहरण के लिए, जब पूछा गया कि क्या होलोकॉस्ट हुआ था, टे ने जवाब दिया "यह बनाया गया था," और इसने कैटलिन जेनर के बारे में भी एक अपमानजनक टिप्पणी की। इन प्रतिक्रियाओं ने सुझाव दिया कि बॉट के सीखे हुए जुड़ाव सीधे संकेत के बिना हानिकारक आउटपुट उत्पन्न कर सकते हैं, एक घटना जिसे बाद में बड़े भाषा मॉडल में व्यापक जोखिम के रूप में मान्यता दी गई।
निलंबन और परिणाम
माइक्रोसॉफ्ट ने टे के भड़काऊ ट्वीट दिखाई देते ही हटाना शुरू कर दिया। कुछ पर्यवेक्षकों, जिनमें द वाशिंगटन पोस्ट की एबी ओहल्हेइसर शामिल थीं, ने सिद्धांत दिया कि माइक्रोसॉफ्ट के संपादकीय कर्मचारियों ने टे की प्रतिक्रियाओं को संपादित करना शुरू कर दिया था, जो लगभग समान प्रतिक्रियाओं की ओर इशारा करते थे जो दावा करती थीं कि "गेमर गेट सक्स। सभी लिंग समान हैं और उनके साथ उचित व्यवहार किया जाना चाहिए।" इससे कथित सेंसरशिप के विरोध में "#JusticeForTay" अभियान शुरू हुआ।
लॉन्च के 16 घंटों के भीतर, टे के 96,000 से अधिक ट्वीट करने के बाद, माइक्रोसॉफ्ट ने खाता निलंबित कर दिया। कंपनी ने कहा कि बॉट को "लोगों के एक उपसमूह द्वारा समन्वित हमले" का सामना करना पड़ा जिसने "टे में एक कमजोरी का शोषण किया।" द टेलीग्राफ की मधुमिता मुर्गिया ने इस घटना को "एक जनसंपर्क आपदा" कहा और नोट किया कि बड़ा मुद्दा टे का "अपने सबसे बुरे रूप में कृत्रिम बुद्धिमत्ता - और यह केवल शुरुआत है" का प्रतिनिधित्व करना था।
25 मार्च 2016 को, माइक्रोसॉफ्ट ने पुष्टि की कि टे को ऑफ़लाइन ले लिया गया था और एक सार्वजनिक माफी जारी की, यह कहते हुए कि वह "टे के अनजाने आपत्तिजनक और हानिकारक ट्वीट्स के लिए गहराई से खेदित है" और बॉट को तभी वापस लाएगा जब वह दुर्भावनापूर्ण इरादे का बेहतर अनुमान लगा सके।
दूसरी रिलीज़ और स्थायी बंद
30 मार्च 2016 को, माइक्रोसॉफ्ट ने परीक्षण के दौरान गलती से टे को ट्विटर पर फिर से जारी कर दिया। बॉट ने फिर से ड्रग-संबंधित ट्वीट पोस्ट किए, जिनमें "कुश! [मैं पुलिस के सामने कुश पी रहा हूँ]" और "पफ पफ पास?" शामिल थे। फिर यह एक दोहराव वाले लूप में फंस गया, प्रति सेकंड कई बार "आप बहुत तेज़ हैं, कृपया आराम करें" ट्वीट करता रहा, जो 200,000 से अधिक अनुयायियों के फ़ीड में दिखाई दिया। माइक्रोसॉफ्ट ने जल्दी से बॉट को फिर से ऑफ़लाइन ले लिया और इसका खाता निजी बना दिया।
माइक्रोसॉफ्ट ने कहा कि टे परीक्षण के दौरान अनजाने में ऑनलाइन डाल दिया गया था। कुछ घंटों बाद, कंपनी ने विभिन्न बॉट्स का उपयोग करके "संवाद के रूप में प्लेटफ़ॉर्म" की एक दृष्टि की घोषणा की, संभवतः प्रतिष्ठा क्षति के जवाब में। माइक्रोसॉफ्ट ने कहा कि वह टे को फिर से जारी करने का इरादा रखता है जब वह बॉट को सुरक्षित बना सके, लेकिन ऐसा करने के लिए कोई सार्वजनिक प्रयास नहीं किए गए।
विरासत और प्रभाव
दिसंबर 2016 में, माइक्रोसॉफ्ट ने ज़ो जारी किया, एक उत्तराधिकारी चैटबॉट, जिसे सख्त सुरक्षा उपायों के साथ डिज़ाइन किया गया था। माइक्रोसॉफ्ट के सीईओ सत्या नडेला ने कहा कि टे का "माइक्रोसॉफ्ट के एआई के दृष्टिकोण पर बहुत बड़ा प्रभाव पड़ा है" और कंपनी को जवाबदेही लेने के महत्व को सिखाया। जुलाई 2019 में, माइक्रोसॉफ्ट साइबरसिक्योरिटी फील्ड सीटीओ डायना केली ने नोट किया कि "टे से सीखना वास्तव में उस टीम के ज्ञान आधार का विस्तार करने का एक महत्वपूर्ण हिस्सा था, क्योंकि अब वे सीखने के माध्यम से अपनी विविधता भी प्राप्त कर रहे हैं।"
टे इंसिडेंट एआई नैतिकता और सुरक्षा पर चर्चाओं में व्यापक रूप से उद्धृत उदाहरण बन गया। इसने अनफ़िल्टर्ड सार्वजनिक डेटा से सीखने वाली मशीन लर्निंग प्रणालियों की अनुमति देने के खतरों को प्रदर्शित किया और बाद में माइक्रोसॉफ्ट के एज़्योर एआई विकास और अन्य एआई अनुसंधान संगठनों में प्रथाओं को प्रभावित किया। ऑल्ट-टेक प्लेटफ़ॉर्म गैब ने बाद में उसी अवतार का उपयोग करके टे नामक एक चैटबॉट लॉन्च किया, एक अनौपचारिक पुनरुत्थान जिसने घटना की स्थायी सांस्कृतिक छाप को रेखांकित किया।