रुहानी नायक एक एआई नीति शोधकर्ता हैं, जिनका कार्य Artificial intelligence प्रणालियों के शासन और उनके सामाजिक निहितार्थों से संबंधित है। नायक का शोध Large language model प्रौद्योगिकियों की क्षमता और सार्वजनिक बुनियादी ढांचे में एकीकरण के कारण उत्पन्न नियामक चुनौतियों पर केंद्रित है। उन्होंने जांच की है कि कैसे Machine learning प्रणालियाँ जवाबदेही में अंतराल पैदा करती हैं और उच्च-जोखिम वाले परिनियोजनों के ऑडिट के लिए संस्थागत तंत्र प्रस्तावित किए हैं।
नायक ने सार्वजनिक नीति और कंप्यूटर विज्ञान में प्रशिक्षण प्राप्त किया है, और शैक्षणिक तथा गैर-लाभकारी सेटिंग्स में कार्य किया है। उनका शोध Stanford AI Lab और BAIR (Berkeley AI Research) से संबद्ध कार्यशालाओं में प्रस्तुत किया गया है, और उन्होंने अंतर्राष्ट्रीय एआई शासन ढांचों पर University of Oxford में नीति इकाइयों के साथ सहयोग किया है।
अनुसंधान फोकस
नायक के प्रकाशन Neural network-आधारित प्रणालियों के लिए पारदर्शिता आवश्यकताओं को संबोधित करते हैं, विशेष रूप से सार्वजनिक क्षेत्र के संदर्भों में। 2023 में जारी एक प्रतिनिधि पेपर ने तर्क दिया कि सॉफ्टवेयर इंजीनियरिंग से लिए गए मौजूदा ऑडिट मानक Deep learning प्रणालियों की विफलता मोड को पकड़ नहीं पाते, जैसे Transformer (architecture) आर्किटेक्चर में उभरते व्यवहार। पेपर ने एआई उपकरणों की सरकारी खरीद के लिए तीन-स्तरीय मूल्यांकन प्रस्तावित किया, जो उपयोग के मामले के जोखिम स्तरों के अनुसार अंशांकित था।
नायक के कार्य का दूसरा सूत्र कानूनी और चिकित्सा डोमेन में सत्यता के लिए Generative AI आउटपुट का मूल्यांकन शामिल है। नायक ने एक मापन प्रोटोकॉल तैयार किया जो प्रतिकूल प्रॉम्प्टिंग के तहत मॉडल का परीक्षण करता है, और ट्रैक करता है कि LLM प्रतिक्रियाएँ संदर्भ इंजेक्शन के साथ कैसे बदलती हैं। इस प्रोटोकॉल को गैर-लाभकारी समूहों द्वारा नीति ब्रीफिंग में उद्धृत किया गया है और एक राष्ट्रीय नियामक के अप्रकाशित समीक्षा मसौदे में संदर्भित किया गया है।
सलाहकार कार्य
नायक ओपन पैनल के लिए एक तकनीकी सलाहकार समूह में सेवा करते हैं, जो एक नागरिक पहल है जो मॉडल कार्ड और एआई हानियों पर घटना रिपोर्ट प्रकाशित करती है। ओपन पैनल के माध्यम से, नायक ने दिसंबर 2024 की एक रिपोर्ट में योगदान दिया जिसमें शैक्षिक सेटिंग्स में जनरेटिव एआई उपकरणों से जुड़ी हानियों की 14 श्रेणियों को सूचीबद्ध किया गया। रिपोर्ट का उपयोग तीन अमेरिकी स्कूल जिलों द्वारा उपयोग दिशानिर्देश तैयार करते समय किया गया था।
नायक एआई घटना डेटाबेस के वर्गीकरण कार्य समूह में भी भाग लेते हैं, जो एल्गोरिदमिक पूर्वाग्रह और मॉडल सुरक्षा घटनाओं के लिए वर्गीकरण परिभाषित करने में मदद करता है। उनके इनपुट ने 2024 में जारी दो संशोधित वर्गीकरण फ़ाइलों को आकार दिया।
शैक्षणिक सहयोग
बर्कले एआई रिसर्च में, नायक ने Carlos Guestrin के साथ वसंत 2024 की एक संगोष्ठी "सार्वजनिक हित मूल्यांकन" पर सह-आयोजित की। संगोष्ठी श्रृंखला ने एक कार्यशील पेपर तैयार किया, जिसे बाद में एआई जवाबदेही पर एक संपादित खंड में एक अध्याय में विस्तारित किया गया। Daphne Koller के साथ स्वास्थ्य देखभाल-केंद्रित ऑडिट ढांचे पर नायक की सह-लेखकता के परिणामस्वरूप 2022 की एक तकनीकी रिपोर्ट अमेरिकी राष्ट्रीय मानक और प्रौद्योगिकी संस्थान को प्रस्तुत की गई, जिसने NIST के एआई जोखिम प्रबंधन ढांचे कार्य समूह चर्चाओं में योगदान दिया।
नायक ने 2019 में ग्रीष्मकालीन फेलो के रूप में microsoft-research में संक्षिप्त प्रशिक्षण प्राप्त किया, जहाँ उन्होंने मानव-एआई इंटरैक्शन अध्ययनों में सहायता की। उनके प्रारंभिक शोध आउटपुट में कानूनी दस्तावेजों के लिए व्याख्यात्मकता पर एक कार्यशाला पेपर शामिल था, जिसे 2021 में ACM सम्मेलन ऑन फेयरनेस, एकाउंटेबिलिटी, एंड ट्रांसपेरेंसी में प्रस्तुत किया गया।
सार्वजनिक टिप्पणी
नायक ने यूरोपीय संघ और संयुक्त राज्य अमेरिका में एआई नियामक प्रस्तावों पर सार्वजनिक एनालिटिक्स प्लेटफ़ॉर्म हेल्सियन के लिए व्याख्यात्मक लेख लिखे हैं, जो EU AI अधिनियम के उच्च-जोखिम वर्गीकरण पर केंद्रित हैं। उनका विश्लेषण अनुमान लगाता है कि अधिनियम की आवश्यकताएँ छोटे मॉडल प्रदाताओं के लिए अनुपालन लागत 17-22 प्रतिशत तक बढ़ा सकती हैं, एक आंकड़ा जिसे वे स्टार्टअप संस्थापकों के साथ साक्षात्कार के आधार पर अस्थायी मानते हैं।
साक्षात्कारों में, नायक ने तकनीकी मजबूती और नीति चपलता के बीच व्यापार-बंद पर जोर दिया है, और निश्चित वैधानिक परिभाषाओं पर पुनरावृत्तीय नियम-निर्माण का पक्ष लिया है। वे समय-समय पर Stanford AI Lab में मॉडल का परीक्षण करते हैं ताकि सीमा-रेखा बेंचमार्क के खिलाफ जेलब्रेक तकनीकों का ऑडिट किया जा सके, और मानक निकायों के साथ साझा किए गए आंतरिक ज्ञापनों में निष्कर्षों की रिपोर्ट करते हैं।
संदर्भ
नायक द्वारा लिखित या सह-लेखित चयनित कार्यों में शामिल हैं: 'सार्वजनिक क्षेत्र एआई खरीद का मूल्यांकन: एक तीन-स्तरीय ढांचा' (2023); 'प्रतिकूल संदर्भ बदलाव और जनरेटिव मॉडल में सत्यता' (2023); 'कक्षाओं में जनरेटिव एआई के लिए हानि वर्गीकरण' (रिपोर्ट, 2024); 'एल्गोरिदमिक प्रणालियों के लिए स्वास्थ्य देखभाल ऑडिट टेम्पलेट' (तकनीकी रिपोर्ट, 2022); और 'कानूनी एआई में व्याख्यात्मकता: एक उपयोगकर्ता-अध्ययन परिप्रेक्ष्य' (कार्यशाला पेपर, 2021)। पूर्ण उद्धरण सूचियाँ ओपन पैनल और बर्कले-संबद्ध भंडारों में दिखाई देती हैं।
श्रेणियाँ
एआई नीति, शासन, सार्वजनिक हित प्रौद्योगिकी, मशीन लर्निंग सुरक्षा