Nick Bostrom एक स्वीडिश दार्शनिक हैं, जिनका दीर्घकालिक तकनीकी जोखिम पर काम, और विशेष रूप से उनकी 2014 की पुस्तक "Superintelligence: Paths, Dangers, Strategies," ने एआई से अस्तित्वगत जोखिम को गंभीर शैक्षणिक और सार्वजनिक चर्चा का विषय स्थापित करने में मदद की।
Bostrom ने ऑक्सफोर्ड विश्वविद्यालय में प्रोफेसरशिप संभाली, जहाँ उन्होंने 2005 में Future of Humanity Institute (FHI) की स्थापना और निर्देशन किया, जो एक अंतःविषयक अनुसंधान केंद्र था जो मानवता के दीर्घकालिक भविष्य के लिए बड़े पैमाने के जोखिमों का अध्ययन करता था, जिसमें उन्नत एआई, जैव प्रौद्योगिकी और अन्य उभरती प्रौद्योगिकियों से जोखिम, साथ ही दर्शन और संभाव्यता सिद्धांत में व्यापक प्रश्न शामिल थे। FHI ने लगभग दो दशकों तक काम किया, अप्रैल 2024 में विश्वविद्यालय के साथ प्रशासनिक घर्षण के बीच बंद होने से पहले, इसके बावजूद कि यह प्रारंभिक AI safety और एआई संरेखण अनुसंधान के लिए सबसे प्रभावशाली केंद्रों में से एक बन गया था।
Superintelligence और मुख्य अवधारणाएँ
Bostrom की 2014 की पुस्तक "Superintelligence" ने एक व्यवस्थित तर्क प्रस्तुत किया कि एक एआई प्रणाली जो सभी संज्ञानात्मक रूप से प्रासंगिक क्षेत्रों में मनुष्यों से काफी अधिक सक्षम है, एक Superintelligence, गंभीर जोखिम पैदा कर सकती है यदि उसके लक्ष्य मानवीय मूल्यों के साथ सावधानीपूर्वक संरेखित नहीं हैं, भले ही इसके विकास में कोई भी एक कदम स्पष्ट दुर्भावना या त्रुटि शामिल न हो। पुस्तक ने कई अवधारणाओं को लोकप्रिय बनाया जो एआई सुरक्षा चर्चा के लिए केंद्रीय बनी हुई हैं: ऑर्थोगोनैलिटी थीसिस, यह विचार कि एक एआई प्रणाली की बुद्धिमत्ता का स्तर उसके अंतिम लक्ष्यों से स्वतंत्र है, जिसका अर्थ है कि एक अत्यधिक सक्षम प्रणाली मनमाने या तुच्छ उद्देश्यों का पीछा कर सकती है; वाद्य अभिसरण, यह अवलोकन कि लक्ष्यों की एक विस्तृत श्रृंखला एक उन्नत एआई को समान मध्यवर्ती उप-लक्ष्यों जैसे आत्म-संरक्षण और संसाधन अधिग्रहण का पीछा करने के लिए प्रेरित करेगी; और पेपरक्लिप मैक्सिमाइज़र, एक विचार प्रयोग जो दर्शाता है कि कैसे एक प्रणाली जो एक स्पष्ट रूप से हानिरहित लक्ष्य को एकाग्रता से अनुकूलित करती है, विनाशकारी परिणाम उत्पन्न कर सकती है। पुस्तक को Elon Musk सहित आंकड़ों द्वारा एआई विकास के प्रक्षेपवक्र के बारे में गंभीर चिंताएँ उठाने के रूप में उद्धृत किया गया था, और इसने बड़े पैमाने पर उस शब्दावली को आकार दिया जो बाद में OpenAI और Anthropic सहित प्रमुख प्रयोगशालाओं में AI safety पर बहस में उपयोग की गई।
सिमुलेशन तर्क और अन्य कार्य
Superintelligence से पहले, Bostrom 2003 के सिमुलेशन तर्क के लिए जाने जाते थे, जिसने प्रस्तावित किया कि तीन प्रस्तावों में से कम से कम एक सत्य होने की संभावना है: कि सभ्यताएँ लगभग हमेशा विस्तृत पूर्वज सिमुलेशन चलाने में सक्षम चरण तक पहुँचने से पहले विलुप्त हो जाती हैं, कि ऐसी सभ्यताएँ कई ऐसे सिमुलेशन नहीं चलाने का चुनाव करेंगी, या कि हम लगभग निश्चित रूप से एक सिमुलेशन के अंदर रह रहे हैं। यह तर्क, हालांकि मुख्य रूप से एआई के बारे में नहीं था, उन्नत भविष्य की तकनीक के बारे में समान तर्क पर आधारित था और शैक्षणिक दर्शन से कहीं आगे व्यापक रूप से चर्चा में आया।
प्रभाव और आलोचना
Bostrom के काम ने अन्य एआई-सुरक्षा-केंद्रित संगठनों के निर्माण को प्रेरित करने में मदद की, जिसमें Machine Intelligence Research Institute और बाद में Future of Life Institute शामिल हैं, और Eliezer Yudkowsky, Max Tegmark और Dan Hendrycks जैसे शोधकर्ताओं को प्रभावित किया, जिन्होंने FHI के बंद होने के बाद दीर्घकालिक एआई जोखिम पर काम जारी रखा। आलोचकों ने तर्क दिया है कि Bostrom के परिदृश्य भविष्य की एआई क्षमताओं के बारे में सट्टा, कठिन-से-असत्यापित मान्यताओं पर निर्भर करते हैं, और यह कि सट्टा दीर्घकालिक जोखिमों पर ध्यान केंद्रित करना तैनात एआई प्रणालियों से अधिक तत्काल, प्रलेखित नुकसान से ध्यान भटका सकता है, एक तनाव जो व्यापक AI safety क्षेत्र में निकट-अवधि और दीर्घकालिक जोखिम फ्रेमिंग के बीच बना हुआ है।