पालम

PaLM (Pathways Language Model) एक बड़ा भाषा मॉडल है जिसे Google AI द्वारा विकसित किया गया था, जिसकी पहली घोषणा अप्रैल 2022 में हुई थी। यह 540 बिलियन पैरामीटर वाला एक सघन डिकोडर-केवल ट्रांसफॉर्मर-आधारित मॉडल है, जो इसे अपने रिलीज़ के समय के सबसे बड़े भाषा मॉडलों में से एक बनाता है। मॉडल को Google के Pathways सिस्टम का उपयोग करके प्रशिक्षित किया गया था, जो कई TPU पॉड्स में कुशल प्रशिक्षण को सक्षम बनाता है। शोधकर्ताओं ने मॉडल स्केल के प्रदर्शन पर प्रभावों का अध्ययन करने के लिए 8 और 62 बिलियन पैरामीटर वाले छोटे संस्करण भी प्रशिक्षित किए।

PaLM ने कार्यों की एक विस्तृत श्रृंखला में मजबूत क्षमताओं का प्रदर्शन किया, जिसमें सामान्य ज्ञान तर्क, अंकगणितीय तर्क, चुटकुलों की व्याख्या, कोड जनरेशन और अनुवाद शामिल हैं। जब चेन-ऑफ-थॉट प्रॉम्प्टिंग के साथ जोड़ा गया, तो PaLM ने बहु-चरणीय तर्क की आवश्यकता वाले डेटासेट, जैसे शब्द समस्याएं और तर्क-आधारित प्रश्न, पर काफी बेहतर प्रदर्शन हासिल किया। मॉडल मार्च 2023 तक निजी रहा, जब Google ने PaLM के लिए एक API लॉन्च किया, जो शुरू में सार्वजनिक रिलीज़ से पहले एक प्रतीक्षा सूची के माध्यम से सीमित संख्या में डेवलपर्स के लिए उपलब्ध था।

आर्किटेक्चर और प्रशिक्षण

PaLM Transformer (architecture) आर्किटेक्चर पर आधारित है, विशेष रूप से एक डिकोडर-केवल डिज़ाइन। 540B संस्करण को 780 बिलियन टोकन के कॉर्पस पर पूर्व-प्रशिक्षित किया गया था, जिसमें फ़िल्टर किए गए वेबपेज, पुस्तकें, विकिपीडिया लेख, समाचार लेख, GitHub रिपॉजिटरी से सोर्स कोड और सोशल मीडिया वार्तालाप शामिल थे। डेटासेट Google के LaMDA मॉडल को प्रशिक्षित करने के लिए उपयोग किए गए डेटासेट से लिया गया था, जिसमें सोशल मीडिया वार्तालाप कॉर्पस का 50% हिस्सा बनाते थे ताकि संवादी क्षमताओं को बढ़ाया जा सके।

540B मॉडल को प्रशिक्षित करने के लिए दो TPU v4 पॉड्स की आवश्यकता थी, प्रत्येक में 768 होस्ट से जुड़े 3,072 TPU v4 चिप्स थे, जो मॉडल और डेटा समानांतरता के संयोजन का उपयोग करके जुड़े थे। यह कॉन्फ़िगरेशन, कुल 6,144 चिप्स, उस समय का सबसे बड़ा TPU सेटअप था और 57.8% की हार्डवेयर FLOPs उपयोगिता हासिल की, जो उस पैमाने पर प्रशिक्षण दक्षता के लिए एक रिकॉर्ड था। प्रशिक्षण प्रक्रिया ने Pathways सिस्टम का लाभ उठाया, जिसने कई पॉड्स में कुशल स्केलिंग की अनुमति दी।

वेरिएंट और अनुप्रयोग

Google और DeepMind ने Med-PaLM विकसित किया, जो चिकित्सा डेटा पर फाइन-ट्यून किया गया PaLM 540B का एक संस्करण है। Med-PaLM ने चिकित्सा प्रश्न-उत्तर बेंचमार्क पर पिछले मॉडलों से बेहतर प्रदर्शन किया और अमेरिकी चिकित्सा लाइसेंसिंग प्रश्नों पर पासिंग स्कोर प्राप्त करने वाला पहला मॉडल था। यह अपने उत्तरों के लिए तर्क प्रदान करता है और अपने स्वयं के प्रतिक्रियाओं का मूल्यांकन कर सकता है।

Google ने PaLM को एक विज़न ट्रांसफॉर्मर के साथ विस्तारित करके PaLM-E भी बनाया, जो रोबोटिक हेरफेर के लिए एक विज़न-भाषा मॉडल है, जिसे नए कार्यों के लिए पुनः प्रशिक्षण या फाइन-ट्यूनिंग की आवश्यकता नहीं होती है। जून 2023 में, Google ने भाषण-से-भाषण अनुवाद के लिए AudioPaLM की घोषणा की, जो PaLM-2 आर्किटेक्चर और इनिशियलाइज़ेशन का उपयोग करता है।

उत्तराधिकारी: PaLM 2

मई 2023 में, Google ने वार्षिक Google I/O मुख्य भाषण में PaLM 2 की घोषणा की। PaLM 2 को 3.6 ट्रिलियन टोकन पर प्रशिक्षित 340 बिलियन पैरामीटर मॉडल होने की सूचना है। यह PaLM के उत्तराधिकारी के रूप में कार्य करता है और विभिन्न Google उत्पादों और सेवाओं को शक्ति प्रदान करता है। PaLM 2 ने बहुभाषी क्षमताओं, तर्क और कोडिंग जैसे क्षेत्रों में अपने पूर्ववर्ती में सुधार किया, और इसे PaLM API और अन्य Google Cloud सेवाओं के माध्यम से उपलब्ध कराया गया।

प्रभाव और विरासत

PaLM ने बड़े भाषा मॉडल के विकास में एक महत्वपूर्ण कदम का प्रतिनिधित्व किया, जो वितरित प्रणालियों का उपयोग करके अभूतपूर्व पैमाने पर मॉडल प्रशिक्षण की व्यवहार्यता का प्रदर्शन करता है। इसकी सफलता ने बाद के मॉडलों को प्रभावित किया, जिसमें Gemini भी शामिल है, जिसने Google के प्रमुख भाषा मॉडल के रूप में PaLM की जगह ली। चेन-ऑफ-थॉट प्रॉम्प्टिंग और PaLM-E जैसे मल्टीमॉडल एक्सटेंशन में PaLM के योगदान ने तर्क और एम्बेडेड AI में अनुसंधान को भी आगे बढ़ाया।

यह भी देखें

• LaMDA - PaLM का पूर्ववर्ती
• Gemini - PaLM का उत्तराधिकारी
• Chinchilla - एक संबंधित भाषा मॉडल