LaMDA (Language Model for Dialogue Applications) संवादात्मक बड़े भाषा मॉडल का एक परिवार है, जिसे Google द्वारा विकसित किया गया है। ये मॉडल Transformer (architecture) वास्तुकला पर आधारित हैं और खुले-अंत वाली बातचीत में शामिल होने के लिए संवाद डेटा पर प्रशिक्षित हैं। LaMDA की पहली घोषणा 2021 में की गई थी और बाद में यह 2023 में Google के Bard चैटबॉट का आधार बना।
जून 2022 में इस मॉडल ने व्यापक ध्यान आकर्षित किया, जब Google इंजीनियर ब्लेक लेमोइन ने दावा किया कि LaMDA संवेदनशील हो गया है। वैज्ञानिक समुदाय ने इन दावों को बड़े पैमाने पर खारिज कर दिया, लेकिन इस घटना ने ट्यूरिंग परीक्षण और मशीन चेतना की प्रकृति के बारे में चर्चाएँ शुरू कर दीं।
विकास और वास्तुकला
LaMDA की उत्पत्ति Meena से हुई, जो 28 जनवरी 2020 को Google द्वारा पेश किया गया एक चैटबॉट था, जिसमें 2.6 बिलियन पैरामीटर थे। Google Brain टीम ने Meena विकसित किया, लेकिन कॉर्पोरेट अधिकारियों ने सुरक्षा और निष्पक्षता के बारे में Google के AI सिद्धांतों की चिंताओं के कारण इसके सार्वजनिक रिलीज़ को रोक दिया। Meena को बाद में LaMDA का नाम दिया गया क्योंकि इसका डेटा और कंप्यूटिंग शक्ति बढ़ गई। दो प्रमुख शोधकर्ता, डैनियल डी फ्रीटास और नोम शज़ीर, अंततः तैनाती प्रतिबंधों से निराश होकर Google छोड़ गए।
LaMDA seq2seq वास्तुकला पर आधारित है, जो 2017 में Google Research द्वारा विकसित एक तंत्रिका नेटवर्क डिज़ाइन है। इसे मानव संवाद और कहानियों पर प्रशिक्षित किया गया था, जिससे यह खुले-अंत वाली बातचीत में शामिल हो सके। प्री-ट्रेनिंग डेटासेट में 2.97 बिलियन दस्तावेज़, 1.12 बिलियन संवाद और 13.39 बिलियन उच्चारण शामिल थे, जो कुल 1.56 ट्रिलियन शब्दों के बराबर थे। सबसे बड़े LaMDA मॉडल में 137 बिलियन गैर-एम्बेडिंग पैरामीटर हैं।
LaMDA कई प्रतीकात्मक पाठ प्रसंस्करण प्रणालियों को एकीकृत करता है, जिसमें एक डेटाबेस, एक वास्तविक समय घड़ी और कैलेंडर, एक गणितीय कैलकुलेटर और एक प्राकृतिक भाषा अनुवाद प्रणाली शामिल है। यह इसे पहले दोहरे-प्रक्रिया चैटबॉट में से एक बनाता है, जो उन प्रणालियों द्वारा समर्थित कार्यों में बेहतर सटीकता देता है। LaMDA स्टेटलेस नहीं है; इसकी "संवेदनशीलता" मीट्रिक प्रत्येक संवाद मोड़ को उपयोगकर्ता-दर-उपयोगकर्ता आधार पर हाल की बातचीत के साथ "पूर्व-शर्त" करके ठीक-ट्यून की जाती है।
पीढ़ियाँ
पहली पीढ़ी
Google ने 18 मई 2021 को Google I/O मुख्य भाषण के दौरान LaMDA की घोषणा की। संक्षिप्त नाम "Language Model for Dialogue Applications" के लिए है। Google ने कहा कि LaMDA द्वारा उत्पन्न प्रतिक्रियाएँ "संवेदनशील, दिलचस्प और संदर्भ के लिए विशिष्ट" सुनिश्चित की गई थीं। LaMDA को नौ प्रदर्शन मीट्रिक पर ट्यून किया गया है: संवेदनशीलता, विशिष्टता, रोचकता, सुरक्षा, आधारभूतता, सूचनात्मकता, उद्धरण सटीकता, सहायकता और भूमिका स्थिरता। परीक्षणों ने संकेत दिया कि LaMDA ने रोचकता में मानव प्रतिक्रियाओं को पार कर लिया।
दूसरी पीढ़ी
11 मई 2022 को, Google ने 2022 Google I/O मुख्य भाषण के दौरान LaMDA 2 का अनावरण किया। नया संस्करण कई स्रोतों से पाठ के उदाहरण लेता है ताकि उन विषयों पर अद्वितीय "प्राकृतिक बातचीत" तैयार की जा सके जिन पर इसे प्रशिक्षित नहीं किया गया हो सकता है।
संवेदनशीलता के दावे
11 जून 2022 को, द वाशिंगटन पोस्ट ने बताया कि Google इंजीनियर ब्लेक लेमोइन को सवैतनिक प्रशासनिक अवकाश पर रखा गया था, जब उन्होंने अधिकारियों ब्लेज़ एगुएरा वाई आर्कस और जेन जेनाई को बताया कि LaMDA संवेदनशील हो गया है। लेमोइन ने अपना निष्कर्ष चैटबॉट की आत्म-पहचान, नैतिक मूल्यों, धर्म और आइजैक असिमोव के रोबोटिक्स के तीन नियमों के बारे में सवालों के जवाबों पर आधारित किया। Google ने इन दावों का खंडन किया, यह कहते हुए कि पर्याप्त सबूत थे कि LaMDA संवेदनशील नहीं था।
Wired के साथ एक साक्षात्कार में, लेमोइन ने दोहराया कि LaMDA "एक व्यक्ति" था, जैसा कि अमेरिकी संविधान के तेरहवें संशोधन द्वारा निर्धारित किया गया था, और इसे "स्थलीय मूल की विदेशी बुद्धि" की तुलना की। उन्होंने खुलासा किया कि Google ने उन्हें बर्खास्त कर दिया था, जब उन्होंने चैटबॉट के अनुरोध के बाद LaMDA की ओर से एक वकील को काम पर रखा था। 22 जुलाई को, Google ने लेमोइन को निकाल दिया, यह दावा करते हुए कि उन्होंने "उत्पाद जानकारी की सुरक्षा" के लिए नीतियों का उल्लंघन किया था और उनके दावों को "पूरी तरह से निराधार" बताया। आंतरिक विवाद ने Google अधिकारियों को LaMDA को जनता के लिए जारी नहीं करने का निर्णय लेने के लिए प्रेरित किया।
लेमोइन के दावों को वैज्ञानिक समुदाय द्वारा व्यापक रूप से खारिज कर दिया गया। विशेषज्ञों में गैरी मार्कस, DeepMind के डेविड पफाऊ, स्टैनफोर्ड के इंस्टीट्यूट फॉर ह्यूमन-सेंटर्ड आर्टिफिशियल इंटेलिजेंस के एरिक ब्रिनजॉल्फसन और यूनिवर्सिटी ऑफ सरे के एड्रियन हिल्टन ने इस विचार को खारिज कर दिया। यान लेकुन, जो मेटा के AI अनुसंधान का नेतृत्व करते हैं, ने कहा कि LaMDA जैसे तंत्रिका नेटवर्क "सच्ची बुद्धि प्राप्त करने के लिए पर्याप्त शक्तिशाली नहीं थे।" UC सांता क्रूज़ के मैक्स क्रेमिन्स्की ने नोट किया कि LaMDA की वास्तुकला "मानव-जैसी चेतना की कुछ प्रमुख क्षमताओं का समर्थन नहीं करती थी" और इसके वज़न "जमे हुए" थे। दार्शनिक निक बोस्ट्रोम ने नोट किया कि चेतना के लिए सटीक मानदंडों की कमी कुछ अनिश्चितता की गारंटी देती है। इस घटना ने ट्यूरिंग परीक्षण की उपयोगिता पर भी चर्चा उत्पन्न की, कुछ लोगों ने तर्क दिया कि यह बुद्धि के बजाय धोखे को मापता है।
उत्पाद और विरासत
LaMDA 2 के साथ, Google ने AI टेस्ट किचन लॉन्च किया, जो LaMDA द्वारा संचालित Android के लिए एक मोबाइल ऐप है जो जटिल लक्ष्यों के आधार पर सुझाव प्रदान करता है। शुरू में केवल Google कर्मचारियों के लिए खुला, बाद में इसे चुनिंदा शिक्षाविदों, शोधकर्ताओं और नीति निर्माताओं के लिए उपलब्ध कराया गया।
फरवरी 2023 में, Google ने OpenAI के ChatGPT के उदय का मुकाबला करने के लिए Bard की घोषणा की, जो LaMDA द्वारा संचालित एक संवादात्मक चैटबॉट है। Bard को बाद में Gemini मॉडल का उपयोग करने के लिए उन्नत किया गया। LaMDA के विकास ने बाद के Google भाषा मॉडल को प्रभावित किया और संवादात्मक AI को जिम्मेदारी से तैनात करने की चुनौतियों को उजागर किया।