LaMDA 2 एक बड़ा भाषा मॉडल है जिसे गूगल द्वारा संवाद अनुप्रयोगों के लिए विकसित किया गया है। मई 2022 में घोषित, यह मूल LaMDA मॉडल का उत्तराधिकारी है, जिसे 2021 में Google I/O में पेश किया गया था। LaMDA 2 को खुले-अंत, बहु-मोड़ वाली बातचीत में शामिल होने के लिए डिज़ाइन किया गया है जो अपने पूर्ववर्ती की तुलना में अधिक स्वाभाविक और सहायक हैं, जिसमें सुरक्षा, तथ्यात्मक आधार, और उपयोगकर्ता के इरादे के अनुसार प्रतिक्रियाओं को निर्देशित करने की क्षमता में सुधार पर ध्यान केंद्रित किया गया है।
यह मॉडल ट्रांसफॉर्मर आर्किटेक्चर पर बनाया गया है, जो एक तंत्रिका नेटवर्क डिज़ाइन है जो आधुनिक कृत्रिम बुद्धिमत्ता और मशीन लर्निंग में मौलिक बन गया है। यह मल्टी-हेड अटेंशन तंत्र के साथ एक अनुक्रम-से-अनुक्रम ढांचे का उपयोग करता है, जिससे यह संदर्भगत जागरूकता के साथ संवादात्मक पाठ को संसाधित और उत्पन्न कर सकता है। LaMDA 2 को सार्वजनिक संवाद डेटा और वेब पाठ के एक बड़े कोष पर प्रशिक्षित किया गया था, जिसमें संवादात्मक पैटर्न और विश्व ज्ञान सीखने के लिए गहन शिक्षण तकनीकों का उपयोग किया गया था।
आर्किटेक्चर और प्रशिक्षण
LaMDA 2 अपने पूर्ववर्ती के मूल आर्किचेक्चर को बरकरार रखता है, जो एक डिकोडर-केवल ट्रांसफॉर्मर मॉडल है। मूल LaMDA को 137 बिलियन मापदंडों तक प्रशिक्षित किया गया था, और LaMDA 2 समान पैमाने का अनुसरण करता है, हालांकि सटीक पैरामीटर गणना सार्वजनिक रूप से खुलासा नहीं की गई थी। प्रशिक्षण में एक दो-चरणीय प्रक्रिया शामिल थी: पहले, भाषा प्रतिनिधित्व सीखने के लिए संवादों और वेब दस्तावेजों के विविध डेटासेट पर पूर्व-प्रशिक्षण, और दूसरा, पर्यवेक्षित शिक्षण और मानव प्रतिक्रिया से सुदृढीकरण सीखना (RLHF) के संयोजन का उपयोग करके फाइन-ट्यूनिंग।
फाइन-ट्यूनिंग चरण मॉडल की सुरक्षा और गुणवत्ता में सुधार के लिए महत्वपूर्ण था। गूगल ने संवेदनशीलता, विशिष्टता, और रोचकता जैसे मेट्रिक्स पर मॉडल प्रतिक्रियाओं का मूल्यांकन करने के लिए मानव रेटरों को नियुक्त किया। RLHF ने मॉडल को इन गुणों के लिए अनुकूलित करने की अनुमति दी, जिससे निरर्थक या हानिकारक आउटपुट उत्पन्न करने की संभावना कम हो गई। इसके अतिरिक्त, LaMDA 2 ने "ग्राउंडिंग" नामक एक तकनीक को शामिल किया, जो मॉडल को बातचीत के दौरान तथ्यात्मक सटीकता में सुधार करने के लिए खोज परिणामों जैसे बाहरी सूचना स्रोतों से परामर्श करने में सक्षम बनाती है।
सुरक्षा और तथ्यात्मकता
LaMDA 2 का एक प्रमुख ध्यान मूल मॉडल की सीमाओं को संबोधित करना था, विशेष रूप से सुरक्षा और तथ्यात्मकता के संदर्भ में। मूल LaMDA की कभी-कभी पक्षपाती या तथ्यात्मक रूप से गलत बयान उत्पन्न करने के लिए आलोचना की गई थी। LaMDA 2 ने सुरक्षा मेट्रिक्स का एक नया सेट पेश किया, जिसमें "सुरक्षा" (हानिकारक या विषाक्त भाषा से बचना) और "तथ्यात्मकता" (यह सुनिश्चित करना कि कथन विश्वसनीय स्रोतों द्वारा समर्थित हैं) शामिल हैं।
इन लक्ष्यों को प्राप्त करने के लिए, गूगल ने प्रशिक्षण के दौरान एक क्लासिफायर-आधारित दृष्टिकोण लागू किया, जहां प्रतिक्रियाओं को सुरक्षा मानदंडों के आधार पर फ़िल्टर और रैंक किया गया था। मॉडल को यह पहचानने के लिए भी प्रशिक्षित किया गया था कि उसके पास जानकारी की कमी है और अनुमान लगाने के बजाय स्पष्ट प्रश्न पूछें। यह पहले के मॉडलों से एक विचलन था, जो अक्सर आत्मविश्वासपूर्ण लेकिन गलत उत्तर उत्पन्न करते थे। LaMDA 2 की ग्राउंडिंग क्षमता विशेष रूप से उल्लेखनीय थी, क्योंकि इसने मॉडल को वास्तविक समय में बाहरी जानकारी को पुनर्प्राप्त करने और उद्धृत करने की अनुमति दी, जैसे कि एक खोज इंजन किसी प्रतिक्रिया को सूचित कर सकता है।
नियंत्रणीयता और उपयोगकर्ता इरादा
LaMDA 2 में एक और प्रगति इसकी बेहतर नियंत्रणीयता थी। मॉडल को उपयोगकर्ता निर्देशों को अधिक प्रभावी ढंग से समझने और उनका पालन करने के लिए डिज़ाइन किया गया था, जिससे उपयोगकर्ता स्वर, शैली, या प्रतिक्रियाओं की सामग्री निर्दिष्ट कर सकें। उदाहरण के लिए, एक उपयोगकर्ता औपचारिक स्वर में प्रतिक्रिया मांग सकता है या किसी विषय का सारांश अनुरोध कर सकता है, और LaMDA 2 तदनुसार अपने आउटपुट को समायोजित करेगा।
यह "इरादा कंडीशनिंग" नामक तकनीक के माध्यम से प्राप्त किया गया था, जहां मॉडल को उन उदाहरणों पर फाइन-ट्यून किया जाता है जो उपयोगकर्ता निर्देशों को वांछित प्रतिक्रिया विशेषताओं के साथ जोड़ते हैं। इसने LaMDA 2 को अपने पूर्ववर्ती की तुलना में अधिक बहुमुखी बना दिया, जो अक्सर अपनी डिफ़ॉल्ट संवादात्मक शैली से विचलित होने में संघर्ष करता था। गूगल ने इंटरैक्टिव डेमो की एक श्रृंखला में इस क्षमता का प्रदर्शन किया, जिसमें दिखाया गया कि कैसे LaMDA 2 विभिन्न पात्रों के रूप में भूमिका निभा सकता है, चरण-दर-चरण निर्देश प्रदान कर सकता है, या रचनात्मक लेखन कार्यों में संलग्न हो सकता है।
अनुप्रयोग और प्रभाव
LaMDA 2 को मुख्य रूप से एक शोध प्रगति के रूप में प्रदर्शित किया गया था, जिसमें गूगल ने अपनी क्षमताओं को Google Assistant और गूगल क्लाउड की AI सेवाओं जैसे उत्पादों में एकीकृत किया। हालांकि, मॉडल को कुछ प्रतिस्पर्धियों के मॉडल, जैसे ओपनएआई या एंथ्रोपिक के मॉडल के समान सार्वजनिक API के रूप में जारी नहीं किया गया था। इसके बजाय, गूगल ने अपने आंतरिक उत्पादों को बेहतर बनाने और बाद के मॉडल, जैसे PaLM और Gemini के विकास को सूचित करने के लिए LaMDA 2 का उपयोग करने पर ध्यान केंद्रित किया।
मॉडल ने संवादात्मक AI की प्रकृति के बारे में सार्वजनिक चर्चा भी छेड़ दी, विशेष रूप से जब एक गूगल इंजीनियर ने दावा किया कि मूल LaMDA ने चेतना प्राप्त कर ली है। जबकि LaMDA 2 सीधे उस विवाद में शामिल नहीं था, इसने संवाद मॉडल की बढ़ती क्षमताओं और उनके आसपास के नैतिक विचारों को उजागर किया। स्टैनफोर्ड एआई लैब और एमआईटी सीएसएआईएल जैसे संस्थानों के शोधकर्ताओं ने जनरेटिव एआई में तेजी से प्रगति के उदाहरण के रूप में LaMDA 2 का उल्लेख किया है, साथ ही यह सुनिश्चित करने की चुनौतियों पर भी ध्यान दिया है कि ऐसे मॉडल जिम्मेदारी से उपयोग किए जाएं।
स्वागत और विरासत
LaMDA 2 को सुरक्षा और नियंत्रणीयता में सुधार के लिए AI शोधकर्ताओं से आम तौर पर सकारात्मक समीक्षा मिली, लेकिन कुछ आलोचकों ने नोट किया कि इसमें अभी भी सीमाएं थीं, जैसे कि सामयिक तथ्यात्मक त्रुटियां और वाचाल होने की प्रवृत्ति। मॉडल की ग्राउंडिंग तंत्र को एक कदम आगे के रूप में देखा गया था, लेकिन यह हमेशा विश्वसनीय नहीं था, और गूगल ने LaMDA 2 की तुलना अन्य बड़े भाषा मॉडल से करने वाले विस्तृत बेंचमार्क प्रकाशित नहीं किए।
इन सीमाओं के बावजूद, LaMDA 2 ने संवाद प्रणालियों में बाद के शोध को प्रभावित किया। RLHF और ग्राउंडिंग पर इसका ध्यान बाद के मॉडलों में मानक अभ्यास बन गया, जिसमें ओपनएआई और एंथ्रोपिक द्वारा विकसित मॉडल शामिल हैं। 2024 तक, LaMDA 2 को गूगल के AI रोडमैप में एक संक्रमणकालीन मॉडल माना जाता है, जो प्रारंभिक संवादात्मक मॉडल और अधिक उन्नत मल्टीमॉडल सिस्टम के बीच की खाई को पाटता है। इसके विकास ने कृत्रिम बुद्धिमत्ता में गूगल के व्यापक प्रयासों में योगदान दिया, जिसने कंपनी को अन्य प्रमुख खिलाड़ियों के साथ क्षेत्र में एक नेता के रूप में स्थापित किया।