Iosif Lazaridis एक कंप्यूटर वैज्ञानिक हैं जिनका शोध बड़े भाषा मॉडलों के स्केलिंग व्यवहार पर केंद्रित है। वे 2022 के पेपर "Training Compute-Optimal Large Language Models" के सह-लेखक के रूप में सबसे अधिक जाने जाते हैं, जिसने चिंचिला स्केलिंग नियम प्रस्तुत किए, और Gopher मॉडल में योगदान के लिए भी प्रसिद्ध हैं। उनके कार्य ने शोधकर्ताओं और कंपनियों को बड़े भाषा मॉडल प्रशिक्षित करते समय कंप्यूट संसाधनों के आवंटन के तरीके को प्रभावित किया है।
Lazaridis के योगदान मशीन लर्निंग सिद्धांत और व्यावहारिक इंजीनियरिंग के प्रतिच्छेदन पर स्थित हैं। मॉडल आकार, डेटासेट आकार और कंप्यूट बजट के बीच की अंतःक्रिया का व्यवस्थित विश्लेषण करके, उन्होंने ऐसे दिशानिर्देश स्थापित करने में मदद की जो क्षेत्र में मानक बन गए हैं। उनके निष्कर्षों को शैक्षणिक प्रयोगशालाओं और औद्योगिक शोध समूहों दोनों द्वारा व्यापक रूप से अपनाया गया है, जिनमें Google DeepMind भी शामिल है, जहाँ उन्होंने अपना अधिकांश शोध किया।
चिंचिला स्केलिंग नियम
Lazaridis के कार्य का केंद्रीय परिणाम, चिंचिला मॉडल के साथ, स्केलिंग नियमों की व्युत्पत्ति थी जो किसी दिए गए कंप्यूट बजट के लिए मॉडल मापदंडों और प्रशिक्षण टोकन के इष्टतम अनुपात को निर्दिष्ट करते हैं। टीम ने पाया कि Gopher सहित कई मौजूदा मॉडल, महत्वपूर्ण रूप से अति-पैरामीटरकृत और अल्प-प्रशिक्षित थे। एक निश्चित कंप्यूट बजट के लिए, इष्टतम मॉडल आकार लगभग कंप्यूट बजट की पाँचवीं घात के अनुपात में बढ़ता है, जबकि प्रशिक्षण टोकन की संख्या लगभग तीन-पाँचवीं घात के अनुपात में बढ़नी चाहिए।
इस अंतर्दृष्टि ने चिंचिला के निर्माण को जन्म दिया, जो 70-अरब-पैरामीटर मॉडल है जिसे 1.4 ट्रिलियन टोकन पर प्रशिक्षित किया गया। Gopher (280 अरब) की तुलना में कम पैरामीटर होने के बावजूद, चिंचिला ने कई बेंचमार्क पर Gopher से बेहतर प्रदर्शन किया, यह दर्शाता है कि कंप्यूट-कुशल प्रशिक्षण बेहतर प्रदर्शन दे सकता है। पेपर के निष्कर्ष तब से शिक्षा जगत और उद्योग दोनों में प्रशिक्षण निर्णयों के लिए एक संदर्भ बिंदु बन गए हैं।
Gopher और चिंचिला का मार्ग
चिंचिला पेपर से पहले, Lazaridis ने Gopher के विकास में योगदान दिया, जो 280-अरब-पैरामीटर ट्रांसफॉर्मर मॉडल है। Gopher, DeepMind में भाषा मॉडलिंग की सीमाओं को आगे बढ़ाने के व्यापक प्रयास का हिस्सा था। 2021 में प्रकाशित Gopher पेपर ने 152 विविध कार्यों में मॉडल प्रदर्शन का विश्लेषण किया, यह दिखाते हुए कि मॉडल आकार बढ़ाने से आम तौर पर प्रदर्शन में सुधार होता है लेकिन कुछ कार्यों पर घटते प्रतिफल के साथ।
Gopher के प्रशिक्षण और मूल्यांकन के विश्लेषण ने चिंचिला कार्य के लिए अनुभवजन्य आधार प्रदान किया। विभिन्न आकारों के मॉडलों की तुलना करके, जिन्हें विभिन्न मात्राओं के डेटा पर प्रशिक्षित किया गया, टीम मॉडल क्षमता बनाम प्रशिक्षण डेटा के प्रभावों को अलग करने में सक्षम थी। यह व्यवस्थित दृष्टिकोण एक प्रमुख पद्धतिगत योगदान था, जो सरल स्केलिंग वक्रों से आगे बढ़कर कंप्यूट-इष्टतम प्रशिक्षण की अधिक सूक्ष्म समझ की ओर ले गया।
क्षेत्र पर प्रभाव
चिंचिला स्केलिंग नियमों का बड़े मॉडलों के प्रशिक्षण के तरीके पर गहरा प्रभाव पड़ा है। उनके प्रकाशन से पहले, कई संगठनों ने मॉडल पैरामीटर बढ़ाने की प्रवृत्ति का पालन किया जबकि प्रशिक्षण डेटासेट अपेक्षाकृत स्थिर रखा। चिंचिला परिणामों ने सुझाव दिया कि यह दृष्टिकोण उप-इष्टतम था, जिससे कई लोग बड़े डेटासेट पर छोटे मॉडल प्रशिक्षित करने की ओर स्थानांतरित हुए।
यह बदलाव विभिन्न संगठनों के बाद के मॉडलों में स्पष्ट है। उदाहरण के लिए, OpenAI के GPT-3 में 175 अरब पैरामीटर थे जो 300 अरब टोकन पर प्रशिक्षित थे, जिसे चिंचिला विश्लेषण ने अति-पैरामीटरकृत सुझाया। बाद के मॉडल, जैसे कि Meta से LLaMA श्रृंखला के, ने स्पष्ट रूप से चिंचिला अनुपात अपनाया, 65-अरब-पैरामीटर मॉडल को 1.4 ट्रिलियन टोकन पर प्रशिक्षित किया। सिद्धांतों ने Anthropic और अन्य प्रयोगशालाओं में निर्णयों को भी प्रभावित किया है, जिससे Claude जैसे मॉडलों के डिज़ाइन को आकार दिया गया है।
पद्धति और व्यापक योगदान
विशिष्ट परिणामों से परे, Lazaridis का कार्य तंत्रिका नेटवर्क को समझने के लिए एक कठोर अनुभवजन्य दृष्टिकोण का उदाहरण है। चिंचिला पेपर में व्यापक प्रयोग शामिल थे, जिसमें विभिन्न पैरामीटर गणनाओं और टोकन बजट के साथ 400 से अधिक मॉडल प्रशिक्षित किए गए। इस बड़े पैमाने के अनुभवजन्य विश्लेषण के लिए विश्वसनीय निष्कर्ष सुनिश्चित करने हेतु सावधानीपूर्वक इंजीनियरिंग और सांख्यिकीय विधियों की आवश्यकता थी।
Lazaridis का शोध डेटा संवर्धन और प्रशिक्षण डेटा गुणवत्ता की भूमिका जैसे विषयों को भी छूता है। जबकि चिंचिला पेपर मुख्य रूप से मात्रा पर केंद्रित था, बाद के कार्य ने यह पता लगाया है कि डेटासेट की संरचना और क्यूरेशन स्केलिंग व्यवहार को कैसे प्रभावित करते हैं। उनके योगदान ने स्केलिंग नियमों को मॉडल विकास के बारे में तर्क करने के लिए एक मौलिक उपकरण के रूप में स्थापित करने में मदद की है, जैसे अनुकूलन में लर्निंग रेट शेड्यूल की भूमिका।
विरासत और वर्तमान दिशाएँ
2020 के दशक के मध्य तक, Lazaridis कृत्रिम बुद्धिमत्ता के क्षेत्र में काम करना जारी रखते हैं, हालाँकि उनकी विशिष्ट वर्तमान परियोजनाएँ व्यापक रूप से प्रचारित नहीं हैं। DeepMind के साथ उनके कार्य को हजारों बार उद्धृत किया गया है, और चिंचिला पेपर को गहन शिक्षण के हालिया इतिहास में सबसे प्रभावशाली प्रकाशनों में से एक माना जाता है।
उन्होंने जिन सिद्धांतों को स्थापित करने में मदद की, वे अब बड़े पैमाने के मशीन लर्निंग पर विश्वविद्यालय पाठ्यक्रमों में पढ़ाए जाते हैं और उद्योग में नियमित रूप से लागू होते हैं। कंप्यूट-इष्टतम प्रशिक्षण की ओर बदलाव के आर्थिक निहितार्थ भी हैं, क्योंकि यह प्रशिक्षण की लागत और AI अनुसंधान के पर्यावरणीय पदचिह्न को प्रभावित करता है। कंप्यूट, डेटा और मॉडल आकार को संतुलित करने के लिए एक स्पष्ट ढाँचा प्रदान करके, Lazaridis के शोध ने बड़े पैमाने के AI विकास को अधिक कुशल और सुलभ बनाने में योगदान दिया है।