GPT-3.5 OpenAI द्वारा विकसित एक Large language model है, जिसे 2022 में GPT-3 के परिष्कृत उत्तराधिकारी के रूप में जारी किया गया था। यह एक डिकोडर-ओनली Transformer (architecture) वास्तुकला है, जो अपने पूर्ववर्ती के समान गहन-अधिगम सिद्धांतों पर आधारित है, लेकिन निर्देश-पालन, तथ्यात्मक सटीकता और संवादात्मक सुसंगति में सुधार के साथ। GPT-3.5 ने ChatGPT के पहले सार्वजनिक संस्करण के लिए इंजन के रूप में कार्य किया, जो नवंबर 2022 में लॉन्च हुआ, और अपने युग की सबसे व्यापक रूप से उपयोग की जाने वाली Generative AI प्रणालियों में से एक बन गया।
यह मॉडल OpenAI की GPT श्रृंखला का हिस्सा था, जो 2018 में GPT-1 से शुरू हुई और 2019 में GPT-2 और 2020 में GPT-3 के साथ जारी रही। GPT-3.5 ने GPT-3 और बाद के GPT-4 के बीच एक मध्यवर्ती कदम का प्रतिनिधित्व किया, जिसमें उपयोगकर्ता के इरादे के साथ आउटपुट को बेहतर ढंग से संरेखित करने के लिए OpenAI के InstructGPT अनुसंधान से तकनीकों को शामिल किया गया। GPT-3 के विपरीत, जिसे अक्सर सावधानीपूर्वक प्रॉम्प्ट इंजीनियरिंग की आवश्यकता होती थी, GPT-3.5 को सीधे निर्देशों का अधिक स्वाभाविक रूप से जवाब देने के लिए डिज़ाइन किया गया था, जिससे यह चैटबॉट जैसे इंटरैक्टिव अनुप्रयोगों के लिए उपयुक्त बन गया।
विकास और रिलीज़
OpenAI ने 2022 की शुरुआत में मॉडल संस्करणों की एक श्रृंखला के माध्यम से GPT-3.5 पेश किया, जिसमें मार्च 2022 में पहली सार्वजनिक API उपलब्धता शामिल थी। "GPT-3.5" नाम का उपयोग मॉडलों के एक परिवार को दर्शाने के लिए किया गया था जिसमें code-davinci-002 और text-davinci-003 शामिल थे, प्रत्येक विभिन्न कार्यों के लिए अनुकूलित था। सबसे उल्लेखनीय रिलीज़ ChatGPT इंटरफ़ेस था, जो 30 नवंबर, 2022 को लॉन्च हुआ, जिसमें संवाद के लिए फाइन-ट्यून किया गया GPT-3.5 मॉडल उपयोग किया गया। यह लॉन्च Artificial intelligence की सार्वजनिक जागरूकता में एक महत्वपूर्ण मोड़ था, क्योंकि ChatGPT दो महीने के भीतर 100 मिलियन से अधिक उपयोगकर्ताओं तक पहुंच गया।
GPT-3.5 का विकास GPT-3 के समान प्रशिक्षण बुनियादी ढांचे पर आधारित था, जिसमें 175 बिलियन पैरामीटर थे और 16-बिट परिशुद्धता पर 350GB भंडारण की आवश्यकता थी। जबकि GPT-3.5 की सटीक पैरामीटर संख्या सार्वजनिक रूप से खुलासा नहीं की गई थी, यह व्यापक रूप से समझा गया था कि यह पैमाने में समान थी, जिसमें कच्चे आकार के बजाय प्रशिक्षण डेटा क्यूरेशन, फाइन-ट्यूनिंग और संरेखण पर केंद्रित सुधार थे। OpenAI ने मॉडल के व्यवहार को बेहतर बनाने के लिए पर्यवेक्षित फाइन-ट्यूनिंग और Reinforcement Learning from AI Feedback (RLAIF) (मानव प्रतिक्रिया से सुदृढीकरण अधिगम) के संयोजन का उपयोग किया, एक तकनीक जो उनके InstructGPT पेपर में विस्तृत थी, जो 2022 की शुरुआत में प्रकाशित हुई थी।
क्षमताएं और प्रदर्शन
GPT-3.5 ने पाठ निर्माण, सारांशीकरण, अनुवाद, प्रश्न उत्तर और कोड लेखन में मजबूत क्षमताओं का प्रदर्शन किया। यह कुछ संस्करणों में 4,096 टोकन तक का संदर्भ विंडो संभाल सकता था, जो GPT-3 के 2,048 टोकन से दोगुना था, जिससे यह लंबे इनपुट को संसाधित कर सकता था। मॉडल ने फ्यू-शॉट लर्निंग में उत्कृष्ट प्रदर्शन किया, जहां यह प्रॉम्प्ट में केवल कुछ उदाहरणों के साथ नए कार्य कर सकता था, और GPT-3 की तुलना में जीरो-शॉट निर्देश-पालन में उल्लेखनीय सुधार दिखाया।
बेंचमार्क में, GPT-3.5 ने कई प्राकृतिक भाषा समझ और निर्माण कार्यों में GPT-3 से बेहतर प्रदर्शन किया, जिसमें SuperGLUE सुइट और विभिन्न कोडिंग चुनौतियां शामिल थीं। यह सुसंगत मल्टी-टर्न संवाद उत्पन्न करने में भी सक्षम था, एक विशेषता जिसने इसे चैटबॉट अनुप्रयोगों के लिए अद्वितीय रूप से उपयुक्त बनाया। हालांकि, इसमें अभी भी सीमाएं थीं, जिनमें सामयिक तथ्यात्मक त्रुटियां, प्रॉम्प्ट वाक्यांश के प्रति संवेदनशीलता, और प्रशंसनीय लेकिन गलत जानकारी उत्पन्न करने की प्रवृत्ति शामिल थी, ऐसे मुद्दे जिन्हें OpenAI ने स्वीकार किया और बाद के संस्करणों में कम करने के लिए काम किया।
अनुप्रयोग और प्रभाव
GPT-3.5 पर आधारित ChatGPT की रिलीज़ का प्रौद्योगिकी उद्योग और Machine learning के आसपास सार्वजनिक प्रवचन पर गहरा प्रभाव पड़ा। इसने Generative AI स्टार्टअप्स में निवेश की लहर को बढ़ावा दिया और Google DeepMind, Anthropic, और अन्य जैसी प्रमुख कंपनियों को अपने स्वयं के बड़े भाषा मॉडल प्रयासों में तेजी लाने के लिए प्रेरित किया। GPT-3.5 को उत्पादों की एक विस्तृत श्रृंखला में एकीकृत किया गया था, जिसमें Microsoft (AI) की Azure OpenAI सेवा शामिल थी, जो क्लाउड बुनियादी ढांचे के माध्यम से उद्यम ग्राहकों को मॉडल प्रदान करती थी।
चैटबॉट्स से परे, GPT-3.5 का उपयोग सामग्री निर्माण, कोड सहायता, शैक्षिक उपकरण और ग्राहक सहायता स्वचालन के लिए किया गया था। मानव-जैसा पाठ उत्पन्न करने की इसकी क्षमता ने अवसरों और चिंताओं दोनों को बढ़ाया, जिससे गलत सूचना, नौकरी विस्थापन और एआई के नैतिक उपयोग के बारे में चर्चाएं हुईं। OpenAI ने इनमें से कुछ जोखिमों को संबोधित करने के लिए सामग्री मॉडरेशन उपकरण और उपयोग नीतियां लागू कीं, लेकिन मॉडल की व्यापक उपलब्धता ने एआई विकास में विनियमन और पारदर्शिता के लिए भी आह्वान किया।
तकनीकी वास्तुकला
GPT-3.5 ने GPT-3 की मुख्य वास्तुकला को बरकरार रखा, जो एक Transformer (architecture)-आधारित Neural network है जिसमें बहु-परत डिकोडर स्टैक है। यह इनपुट में विभिन्न शब्दों की प्रासंगिकता को तौलने के लिए Multi-Head Attention तंत्र का उपयोग करता है, जिससे यह पाठ में लंबी दूरी की निर्भरताओं को पकड़ सकता है। मॉडल को इंटरनेट पाठ के विविध कोष पर पूर्व-प्रशिक्षित किया गया था, जिसमें फ़िल्टर किया गया कॉमन क्रॉल डेटा, किताबें और विकिपीडिया शामिल थे, अगले-टोकन भविष्यवाणी उद्देश्य का उपयोग करके। निर्देश-पालन के लिए फाइन-ट्यूनिंग में मानव-लिखित प्रदर्शनों और तुलनाओं पर अतिरिक्त प्रशिक्षण शामिल था, एक प्रक्रिया जिसने मॉडल के आउटपुट को उपयोगकर्ता की अपेक्षाओं के साथ संरेखित किया।
GPT-3.5 में एक उल्लेखनीय तकनीकी सुधार अधिक परिष्कृत प्रशिक्षण डेटा फ़िल्टरिंग और डीडुप्लीकेशन का उपयोग था, जिसने निम्न-गुणवत्ता या दोहराव वाले पाठ की उपस्थिति को कम किया। इसने GPT-3 की तुलना में अधिक सुसंगत और कम पक्षपाती आउटपुट में योगदान दिया। मॉडल को Learning Rate Scheduling और Gradient Clipping तकनीकों में प्रगति से भी लाभ हुआ, हालांकि विशिष्ट प्रशिक्षण विवरण OpenAI द्वारा पूरी तरह से खुलासा नहीं किया गया था।
विरासत और उत्तराधिकारी
GPT-3.5 ने अनुसंधान-उन्मुख GPT-3 और अधिक उन्नत GPT-4 के बीच एक पुल के रूप में कार्य किया, जिसे OpenAI ने मार्च 2023 में जारी किया। जबकि GPT-4 ने तर्क और सटीकता में महत्वपूर्ण सुधार की पेशकश की, GPT-3.5 अपनी कम कम्प्यूटेशनल लागत और तेज़ प्रतिक्रिया समय के कारण कई अनुप्रयोगों के लिए उपयोग में रहा। OpenAI ने GPT-3.5 मॉडल को अपडेट करना जारी रखा, जिसमें gpt-3.5-turbo जैसे संस्करण डेवलपर्स के लिए प्रदर्शन और दक्षता के बीच संतुलन चाहने वालों के लिए एक लोकप्रिय विकल्प बन गए।
GPT-3.5 की सफलता ने व्यापक एआई पारिस्थितिकी तंत्र को भी प्रभावित किया, जिससे मॉडल संरेखण, सुरक्षा और व्याख्यात्मकता में अनुसंधान को प्रोत्साहन मिला। इसने कार्य-विशिष्ट प्रशिक्षण के बिना विभिन्न प्रकार के कार्यों को करने के लिए बड़े भाषा मॉडल की क्षमता को उजागर किया, एक अवधारणा जो पहले के मॉडलों में खोजी गई थी लेकिन पैमाने पर व्यावहारिक बनाई गई थी। 2024 तक, GPT-3.5 अभी भी OpenAI के API के माध्यम से उपलब्ध था, हालांकि यह धीरे-धीरे कई उपयोग मामलों में नए मॉडलों द्वारा प्रतिस्थापित किया जा रहा था।