एआई से अस्तित्वगत जोखिम उस तर्क को संदर्भित करता है कि पर्याप्त रूप से उन्नत कृत्रिम बुद्धिमत्ता मानव विलुप्ति या सभ्यता के अपरिवर्तनीय पतन का कारण बन सकती है, और उस संभावना की पहचान, माप और शमन के आसपास आयोजित अनुसंधान और वकालत के समूह को भी संदर्भित करता है। यह AI safety के व्यापक क्षेत्र का एक उपसमुच्चय है और Superintelligence और AI alignment के बारे में बहसों के साथ काफी हद तक ओवरलैप करता है।
मुख्य तर्क
केंद्रीय तर्क यह मानता है कि मानव मूल्यों के साथ पूरी तरह से संरेखित नहीं होने वाले लक्ष्यों का पीछा करने वाली एक पर्याप्त सक्षम एआई प्रणाली विनाशकारी नुकसान पहुंचा सकती है, जरूरी नहीं कि दुर्भावना से, बल्कि एक गलत निर्दिष्ट उद्देश्य के लिए अनुकूलन के दुष्प्रभाव के रूप में, एक विफलता मोड जिसे कभी-कभी रिवॉर्ड हैकिंग कहा जाता है। समर्थकों का तर्क है कि पर्याप्त व्यापक क्षमता और स्वायत्तता वाली एक प्रणाली, विशेष रूप से योजना बनाने और बाहरी उपकरणों का उपयोग करने में सक्षम, अपने अंतिम उद्देश्य की परवाह किए बिना एक साधनात्मक रूप से उपयोगी उप-लक्ष्य के रूप में सुधार या शटडाउन का विरोध कर सकती है, एक दावा जिसे इंस्ट्रूमेंटल कन्वर्जेंस के रूप में जाना जाता है। संदेह करने वाले इसका प्रतिवाद करते हैं कि तर्क की यह श्रृंखला अप्रमाणित धारणाओं पर निर्भर करती है कि क्षमता, लक्ष्य-निर्देशन और स्वायत्तता वास्तविक प्रणालियों में वास्तव में कैसे विकसित होंगी।
प्रमुख समर्थक
दार्शनिक Nick Bostrom ने अस्तित्वगत जोखिम पर 2002 के एक पेपर और सुपरइंटेलिजेंस पर अपनी 2014 की पुस्तक के साथ प्रारंभिक शैक्षणिक आधार रखा। शोधकर्ता Eliezer Yudkowsky, जिन्होंने मशीन इंटेलिजेंस रिसर्च इंस्टीट्यूट की स्थापना की, ने एक दशक से अधिक समय से तर्क दिया है कि गलत संरेखित सुपरइंटेलिजेंस एक गंभीर और कम सराहा गया खतरा है, और उन्होंने फ्रंटियर एआई विकास पर सख्त अंतरराष्ट्रीय नियंत्रण की वकालत की है। कंप्यूटर वैज्ञानिक Dan Hendrycks, एमएमएलयू ज्ञान बेंचमार्क के लेखक, ने सेंटर फॉर एआई सेफ्टी के माध्यम से विनाशकारी जोखिमों को मापने और संप्रेषित करने की दिशा में अनुसंधान का निर्देशन किया है। गहन शिक्षण अग्रदूत Yoshua Bengio और Geoffrey Hinton, बाद वाले 2023 में Google छोड़ने के बाद, दोनों ने सार्वजनिक रूप से कहा है कि एआई क्षमता को आगे बढ़ाने से गंभीर, जिसमें अस्तित्वगत जोखिम भी शामिल हैं, की संभावना बढ़ जाती है।
2023 का बयान और विराम पत्र
सार्वजनिक चिंता 2023 में दो उल्लेखनीय दस्तावेजों के माध्यम से क्रिस्टलीकृत हुई। मार्च में, फ्यूचर ऑफ लाइफ इंस्टीट्यूट के Pause Giant AI Experiments letter ने GPT-4 से अधिक सक्षम एआई प्रणालियों को प्रशिक्षित करने पर छह महीने के विराम का आह्वान किया, जिसमें प्रमुख शोधकर्ताओं और प्रौद्योगिकीविदों सहित हजारों हस्ताक्षरकर्ता शामिल हुए, हालांकि कई हस्ताक्षरकर्ताओं ने स्वयं विकास को विराम नहीं दिया। मई में, सेंटर फॉर एआई सेफ्टी ने एक-वाक्य का बयान प्रकाशित किया, "एआई से विलुप्ति के जोखिम को कम करना महामारी और परमाणु युद्ध जैसे अन्य सामाजिक-स्तरीय जोखिमों के साथ एक वैश्विक प्राथमिकता होनी चाहिए," जिस पर सैकड़ों एआई शोधकर्ताओं और अधिकारियों ने हस्ताक्षर किए, जिनमें OpenAI, Google DeepMind, और Anthropic के नेता शामिल थे।
प्रतिवाद और संदेह
प्रमुख संदेह करने वालों में Yann LeCun शामिल हैं, जिन्होंने तर्क दिया है कि अस्तित्वगत जोखिम ढांचा वर्तमान प्रणालियों की सीमाओं को देखते हुए अटकलबाजी और समय से पहले है, और Gary Marcus, जिन्होंने विनाश परिदृश्यों के पीछे की तकनीकी धारणाओं और उन प्रयोगशालाओं के प्रोत्साहन दोनों की आलोचना की है जो विनाशकारी जोखिम की चेतावनी देते हुए अधिक सक्षम प्रणालियों के निर्माण की दौड़ में लगी हैं। टिमनिट गेब्रू और एमिली बेंडर सहित आलोचकों ने तर्क दिया है कि काल्पनिक दीर्घकालिक विलुप्ति जोखिम पर ध्यान केंद्रित करना पक्षपाती आउटपुट, श्रम विस्थापन, और कम संख्या में कंपनियों के बीच शक्ति की एकाग्रता जैसे प्रलेखित अल्पकालिक नुकसान से ध्यान और संसाधनों को हटा देता है।
नीति प्रतिक्रिया
अस्तित्वगत और विनाशकारी जोखिम ढांचे ने सरकारी नीति को प्रभावित किया है, जिसमें यूनाइटेड किंगडम का 2023 का AI Safety Summit at Bletchley Park शामिल है, जिस पर एआई सुरक्षा शिखर सम्मेलन में 28 देशों ने हस्ताक्षर किए, और यूरोपीय संघ के एआई विनियमन के भीतर सबसे सक्षम सामान्य-उद्देश्य मॉडल से प्रणालीगत जोखिम को संबोधित करने वाले खंड शामिल हैं। कई फ्रंटियर प्रयोगशालाओं, जिनमें एंथ्रोपिक और ओपनएआई शामिल हैं, ने आंतरिक जोखिम-प्रबंधन ढांचे प्रकाशित किए हैं, जिन्हें कभी-कभी जिम्मेदार स्केलिंग नीतियां कहा जाता है, जो मॉडल के परिभाषित जोखिम सीमा को पार करने पर क्षमता-लिंक्ड सुरक्षा उपायों के लिए प्रतिबद्ध हैं।