PaLM 2 (Pathways Language Model 2) एक बड़ा भाषा मॉडल है जिसे Google AI द्वारा विकसित किया गया है, और इसकी घोषणा मई 2023 में वार्षिक Google I/O मुख्य भाषण में की गई थी। यह मूल PaLM मॉडल का एक अद्यतन संस्करण है, जिसमें 340 बिलियन पैरामीटर और 3.6 ट्रिलियन टोकन पर प्रशिक्षण की सूचना दी गई है। PaLM 2 को कार्यों की एक विस्तृत श्रृंखला में उत्कृष्ट प्रदर्शन करने के लिए डिज़ाइन किया गया है, जिसमें सामान्य ज्ञान तर्क, अंकगणितीय तर्क, कोड निर्माण और अनुवाद शामिल हैं, जिसमें बेहतर बहुभाषी कौशल पर विशेष जोर दिया गया है।
मूल PaLM मॉडल, जिसे अप्रैल 2022 में पेश किया गया था, 540 बिलियन पैरामीटर वाला एक सघन डिकोडर-केवल ट्रांसफॉर्मर-आधारित बड़ा भाषा मॉडल था। शोधकर्ताओं ने मॉडल पैमाने के प्रभावों का अध्ययन करने के लिए 8 और 62 बिलियन पैरामीटर वाले छोटे संस्करण भी प्रशिक्षित किए। PaLM 2 इस नींव पर निर्माण करता है, जो बेहतर प्रदर्शन और व्यापक भाषा कवरेज प्रदान करता है।
आर्किटेक्चर और प्रशिक्षण
PaLM 2 एक सघन डिकोडर-केवल ट्रांसफॉर्मर मॉडल है, जो अपने पूर्ववर्ती के समान है। इसे 780 बिलियन टोकन के उच्च-गुणवत्ता वाले कॉर्पस पर पूर्व-प्रशिक्षित किया गया है, जिसमें फ़िल्टर किए गए वेबपेज, पुस्तकें, विकिपीडिया लेख, समाचार लेख, GitHub पर ओपन-सोर्स रिपॉजिटरी से स्रोत कोड और सोशल मीडिया वार्तालाप शामिल हैं। डेटासेट Google के LaMDA मॉडल को प्रशिक्षित करने के लिए उपयोग किए गए डेटासेट पर आधारित है, जिसमें संवादात्मक क्षमताओं को बढ़ाने के लिए सोशल मीडिया वार्तालाप कॉर्पस का 50% हिस्सा बनाते हैं।
मूल PaLM 540B को दो TPU v4 पॉड्स पर प्रशिक्षित किया गया था, जिनमें से प्रत्येक में 768 होस्ट से जुड़े 3,072 TPU v4 चिप्स थे, जिसमें मॉडल और डेटा समानांतरता का संयोजन उपयोग किया गया था। यह कॉन्फ़िगरेशन, कुल 6,144 चिप्स, 57.8% का रिकॉर्ड हार्डवेयर FLOPs उपयोग प्राप्त करता है, जो उस पैमाने पर बड़े भाषा मॉडल के लिए उच्चतम प्रशिक्षण दक्षता को चिह्नित करता है।
क्षमताएं और विविधताएं
PaLM 2 कार्यों की एक विस्तृत श्रृंखला में सक्षम है, जिसमें सामान्य ज्ञान तर्क, अंकगणितीय तर्क, चुटकुलों की व्याख्या, कोड निर्माण और अनुवाद शामिल हैं। जब श्रृंखला-विचार प्रॉम्प्टिंग के साथ संयुक्त किया जाता है, तो यह बहु-चरणीय तर्क की आवश्यकता वाले डेटासेट, जैसे शब्द समस्याएं और तर्क-आधारित प्रश्न, पर काफी बेहतर प्रदर्शन प्राप्त करता है।
Google और DeepMind ने Med-PaLM विकसित किया, जो चिकित्सा डेटा पर फाइन-ट्यून किया गया PaLM 540B का एक संस्करण है, जो चिकित्सा प्रश्न-उत्तर बेंचमार्क पर पिछले मॉडलों से बेहतर प्रदर्शन करता है। Med-PaLM अमेरिकी चिकित्सा लाइसेंसिंग प्रश्नों पर उत्तीर्ण अंक प्राप्त करने वाला पहला मॉडल था, जो सटीक उत्तरों के अलावा तर्क और आत्म-मूल्यांकन प्रदान करता है।
Google ने PaLM-E बनाने के लिए विज़न ट्रांसफॉर्मर का उपयोग करके PaLM का विस्तार भी किया, जो पुनः प्रशिक्षण या फाइन-ट्यूनिंग की आवश्यकता के बिना रोबोटिक हेरफेर के लिए एक विज़न-भाषा मॉडल है। जून 2023 में, Google ने भाषण-से-भाषण अनुवाद के लिए AudioPaLM की घोषणा की, जो PaLM-2 आर्किटेक्चर और आरंभीकरण का उपयोग करता है।
रिलीज़ और पहुंच
मूल PaLM मार्च 2023 तक निजी रहा, जब Google ने PaLM और कई अन्य तकनीकों के लिए एक API लॉन्च किया। API शुरू में सीमित संख्या में डेवलपर्स के लिए उपलब्ध था, जो सार्वजनिक रिलीज़ से पहले एक प्रतीक्षा सूची में शामिल हुए थे। PaLM 2 की घोषणा मई 2023 में की गई थी और इसे विभिन्न Google उत्पादों और सेवाओं में एकीकृत किए जाने की उम्मीद है।
प्रभाव और विरासत
PaLM 2 बड़े भाषा मॉडल में एक महत्वपूर्ण प्रगति का प्रतिनिधित्व करता है, विशेष रूप से बहुभाषी समझ और तर्क में। इसका विकास कृत्रिम बुद्धिमत्ता और मशीन लर्निंग के क्षेत्र में चल रहे प्रयासों के साथ संरेखित है, जो जनरेटिव AI के व्यापक परिदृश्य में योगदान देता है। PaLM 2 को LaMDA का उत्तराधिकारी और Gemini का पूर्ववर्ती माना जाता है, जो इस डोमेन में Google के निरंतर नवाचार को दर्शाता है।