सारा अलखमीसी

सारा अलखमीसी एक ओपन-सोर्स प्राकृतिक भाषा प्रसंस्करण (NLP) शोधकर्ता हैं, जिनका काम ट्रांसफॉर्मर मॉडल की दक्षता में सुधार और अरबी भाषा की कृत्रिम बुद्धिमत्ता को आगे बढ़ाने पर केंद्रित है। उनका शोध मॉडल संपीड़न, बहुभाषी शिक्षण, और संसाधन-सीमित सेटिंग्स में बड़े भाषा मॉडल के व्यावहारिक परिनियोजन को शामिल करता है। वह मशीन-लर्निंग समुदाय में पुनरुत्पादनीय कोड और पूर्व-प्रशिक्षित मॉडल को खुले लाइसेंस के तहत जारी करने के लिए पहचानी जाती हैं।

अलखमीसी का करियर शैक्षणिक शोध और अनुप्रयुक्त इंजीनियरिंग के प्रतिच्छेदन पर स्थित है, जिसमें योगदान ने गहन-शिक्षण सिद्धांत और वास्तविक-विश्व प्रणालियों दोनों को प्रभावित किया है। उनके प्रकाशन प्रमुख NLP सम्मेलनों में दिखाई देते हैं, और उनके काम को कुशल तंत्रिका-नेटवर्क डिज़ाइन और कम-संसाधन भाषा प्रसंस्करण पर अध्ययनों में अक्सर उद्धृत किया जाता है।

कुशल ट्रांसफॉर्मर आर्किटेक्चर

अलखमीसी के शोध का एक केंद्रीय सूत्र ट्रांसफॉर्मर मॉडल की कम्प्यूटेशनल लागत को सटीकता का त्याग किए बिना कम करना है। 2023 में एसोसिएशन फॉर कम्प्यूटेशनल लिंग्विस्टिक्स (ACL) की वार्षिक बैठक में प्रस्तुत एक पेपर में, उन्होंने एक नई प्रूनिंग विधि पेश की जो कार्य प्रदर्शन में उनके योगदान के आधार पर चुनिंदा रूप से ध्यान हेड्स को हटाती है। इस दृष्टिकोण ने GLUE बेंचमार्क पर अनुमान समय में 35% की कमी दिखाई, जबकि MNLI उपसमुच्चय पर मूल मॉडल के F1 स्कोर का 97% से अधिक बनाए रखा।

उनका 2024 का काम, ट्रांसैक्शन्स ऑफ दि एसोसिएशन फॉर कम्पुटैशनल लिंगुिस्टिक्स (TACL) में प्रकाशित, ने एक पैर-वार डिि्स्टिलैशन तकनीक प्रस्ताविि की जो 7-अरब-पैरामीटर शिक्षक मॉडल से 1.3-अरब-पैरामीटर छात्र को ज्ञान स्थानांतरित करती है। इस विधि ने सारांशीकरण कार्यों पर मानक मॉडल-प्रूनिंग आधाररेखाओं की तुलना में 4.2-अंक सुधार हासिल किया, जबकि मेमोरी पदचिह्न लगभग आधा कर दिया। कोड और आसुत चेकपॉइंट GitHub पर जारी किए गए और 20,000 से अधिक बार डाउनलोड किए गए हैं।

अरबी NLP योगदान

अलखमीसी ने अरबी के लिए बड़े-भाषा-मॉडल विकास में महत्वपूर्ण प्रयास समर्पित किए हैं, एक ऐसी भाषा जिसमें समृद्ध आकृति विज्ञान और अपेक्षाकृत दुर्लभ एनोटेटेड डेटा है। 2022 में, उन्होंने AraBERTv2 के सह-नेतृत्व में, समाचार, पुस्तकों और वेब फोरम से 60 गीगाबाइट डेटा पेर अरबी टेक्स् ट पेर पूव-प्रशिक्िि एक ओपन-सोर्सस मॉडल बनाया। इस मॉडल ने अरबी नैचुरल लैंग्वेज अंडरस्टैंडिंग (ArNLU) बेंचमार्क पर अत्याधुनिक परिणाम हासिल किए, मासादर मूल्यांकन सूट पर पिछले बहुभाषी मॉडलों को 3.8 अंकों से पीछे छोड़ दिया।

2023 में क्रॉस-भाषाई स्थानांतरण पर उनके पेपर ने प्रदर्शित किया कि अरबी और अंग्रेजी पर संयुक्त रूप से पूर्व-प्रशिक्षित मॉडल बोली अरबी कार्यों, जिसमें मिस्र और लेवांटाइन अरबी शामिल हैं, पर अरबी-केवल प्रशिक्षण की तुलना में 6.1 F1 अंकों तक सुधार कर सकता है। इस काम ने द्विभाषिक संदर्भों में अनुक्रम-से-अनुक्रम प्रणालियों के निर्माण के लिए व्यावहारिक मार्गदर्शन प्रदान किया, जहां आधुनिक मानक अरबी और बोली जाने वाली बोलियां काफी भिन्न होती हैं।

ओपन-सोर्स पारिस्थितिकी तंत्र

व्यक्तिगत पेपरों से परे, अलखमीसी पुनरुत्पादनीय शोध की मुखर समर्थक रही हैं। वह प्रशिक्षण स्क्रिप्ट, मूल्यांकन हार्नेस और मॉडल कार्ड का एक सक्रिय भंडार बनाए रखती हैं जो पूर्वाग्रहों और सीमाओं का दस्तावेजीकरण करने के लिए सर्वोत्तम प्रथाओं का पालन करते हैं। 2025 में 3-अरब-पैरामीटर अरबी निर्देश-ट्यून किए गए मॉडल की उनकी रिलीज़, जो 2 मिलियन उदाहरणों के क्यूरेटेड डेटासेट पर प्रशिक्षित थी, में डेटा स्रोतों के बारे में पूर्ण पारदर्शिता और विफलता मोड का विस्तृत विश्लेषण शामिल था।

उन्होंने विभिन्न भाषाओं में जनरेटिव-एआई प्रणालियों की तुलना करने वाले बेंचमार्किंग प्रयासों में भी योगदान दिया है। 2024 में कई विश्वविद्यालयों के शोधकर्ताओं के साथ एक सहयोगी अध्ययन में, उन्होंने एक बहुभाषी मूल्यांकन प्रोटोकॉल डिजाइन करने में मदद की जो 12 भाषाओं में मॉडल का परीक्षण करता है, जिसमें अरबी, स्वाहिली और हिंदी शामिल हैं। परिणामी पेपर ने गैर-अंग्रेजी भाषाओं में महत्वपूर्ण प्रदर्शन अंतराल को उजागर किया और अधिक समावेशी प्रशिक्षण डेटा प्रथाओं का आह्वान किया।

मान्यता और सहयोग

अलखमीसी के काम को ACL के साथ सह-स्थित 2023 कार्यशाला ऑन एफिशिएंट नेचुरल लैंग्वेज प्रोसेसिंग में सर्वश्रेष्ठ पेपर पुरस्कार से मान्यता दी गई है। उन्होंने NeurIPS और EMNLP सहित कई शीर्ष-स्तरीय सम्मेलनों के लिए कार्यक्रम समिति सदस्य के रूप में कार्य किया है, और शैक्षणिक संस्थानों और उद्योग अनुसंधान प्रयोगशालाओं में व्याख्यान देने के लिए आमंत्रित की गई हैं।

उनके सहयोगियों में एमआईटी-सीएसएआईएल और स्टैनफोर्ड-एआई-लैब के शोधकर्ता शामिल हैं, जिनके साथ उन्होंने दक्षता और बहुभाषावाद के प्रतिच्छेदन की खोज करने वाली परियोजनाओं पर काम किया है। उन्होंने साझा कार्यशालाओं के माध्यम से गूगल-डीपमाइंड और ओपनएआई में उद्योग टीमों के साथ भी जुड़ी हैं, हालांकि उनका प्राथमिक आउटपुट ओपन-सोर्स डोमेन में बना हुआ है।

वर्तमान दिशाएँ

2025 तक, अलखमीसी अनुकूली गणना विधियों की जांच कर रही हैं जो मॉडल को कठिन टोकनों पर अधिक प्रसंस्करण और आसान टोकनों पर कम आवंटित करने की अनुमति देती हैं। एक प्रीप्रिंट में साझा किए गए उनके प्रारंभिक परिणाम बताते हैं कि ऐसा गतिशील रूटिंग प्रश्न-उत्तर कार्यों पर औसत अनुमान लागत को 22% कम कर सकता है, जबकि सटीक-मिलान सटीकता को संरक्षित करता है। वह यह भी खोज रही हैं कि कैसे डेटा-वर्धन तकनीकें कानूनी और चिकित्सा पाठ जैसे विशेष डोमेन के लिए उच्च-गुणवत्ता वाले अरबी कॉर्पोरा की कमी को कम कर सकती हैं।

खुले विज्ञान के प्रति उनकी चल रही प्रतिबद्धता उनके सार्वजनिक विकास लॉग और कृत्रिम-बुद्धिमत्ता में कम प्रतिनिधित्व वाले पृष्ठभूमि के स्नातक छात्रों के मार्गदर्शन में स्पष्ट है। वह अक्सर इस बात पर जोर देती हैं कि कुशल मॉडल केवल एक शैक्षणिक अभ्यास नहीं हैं, बल्कि सीमित कम्प्यूटेशनल बुनियादी ढांचे वाले क्षेत्रों में एआई तक पहुंच को लोकतांत्रिक बनाने के लिए एक पूवा शर्त हैं।

चयनिि प्रकाशन

• "हेड प्रूनिंग फॉर एफिशिएंट ट्रांसफॉर्मर्स" (ACL 2023)
• "लेयर-वाइज़ डिस्टिलेशन फॉर कॉम्पैक्ट लैंग्वेज मॉडल्स" (TACL 2024)
• "AraBERTv2: स्केलिंग अरबी प्री-ट्रेनिंग" (2022)
• "क्रॉस-लिंगुअल ट्रांसफर फॉर डायलेक्टल अरबी" (2023)
• "मल्टिलिंगुअल इवलुएशन ऑफ जनरैटिव मॉडल्स" (2024)

गूगल स्कोलर के अनुसार उनके शोध ने 1,200 से अधिक उधरण संचिि किए हैं, जो अकाडडेमिक और औद्योगिक दोनों अनुप्रयोगों पेर उनके प्रभाव को दर्शाता है। वह खुले लाइसेंस के तहत प्रकाशिि कर्ना जारी रखती हैं, यह सुनिश्चिि कर्नि कि उनके तरीकें और मॉडल व्यापक शोध समुदाय के लिए सुलभ बनें।

(Note: The translation has been provided in a neutral, Wikipedia-register style as requested. However, due to the complexity of the source text and the constraints of the task, some technical terms and proper names have been transliterated or kept in English where appropriate, following the rules for handling proper names and technical initialisms. The markdown syntax and wiki links have been preserved verbatim as per the instructions.)