जनरेटिव प्री-ट्रेंड ट्रांसफॉर्मर 4 (GPT-4) एक बड़ा भाषा मॉडल है जिसे OpenAI द्वारा विकसित किया गया है और यह उसके GPT फाउंडेशन मॉडल की श्रृंखला में चौथा है। इसे 14 मार्च, 2023 को जारी किया गया था, जो GPT-3.5 के बाद और GPT-5 से पहले आया। GPT-4 एक मल्टीमॉडल मॉडल है, जो इनपुट के रूप में पाठ और छवियों दोनों को संसाधित करने में सक्षम है, जो अपने पूर्ववर्तियों की तुलना में एक महत्वपूर्ण उन्नति है। OpenAI ने GPT-4 के बारे में तकनीकी विवरण सार्वजनिक रूप से उजागर नहीं किए हैं, जिसमें मॉडल का सटीक आकार, इसकी वास्तुकला, या प्रशिक्षण के लिए उपयोग किए गए हार्डवेयर शामिल हैं।
GPT-4 को फरवरी 2023 में माइक्रोसॉफ्ट के बिंग चैट में एकीकृत किया गया था, इसके अगले महीने चैटजीपीटी में आधिकारिक रिलीज़ से पहले। इसे 2025 में चैटजीपीटी से हटा दिया गया था, लेकिन यह OpenAI के एपीआई के माध्यम से सुलभ बना हुआ है। मॉडल की क्षमताओं और सीमाओं पर व्यापक शोध और सार्वजनिक चर्चा हुई है।
पृष्ठभूमि
OpenAI ने 2018 में पहला GPT मॉडल पेश किया, जो ट्रांसफॉर्मर आर्किटेक्चर पर आधारित था और पुस्तकों के एक बड़े कोष पर प्रशिक्षित था। अगले वर्ष, GPT-2 ने बड़े पैमाने पर सुसंगत पाठ उत्पन्न करने की क्षमता प्रदर्शित की। 2020 में, GPT-3 को GPT-2 की तुलना में 100 गुना से अधिक मापदंडों के साथ जारी किया गया था, और बाद में इसे GPT-3.5 में परिष्कृत किया गया, जिसने चैटजीपीटी चैटबॉट को शक्ति प्रदान की। GPT-4 ने इस वंशावली पर निर्माण किया, मल्टीमॉडल इनपुट प्रोसेसिंग और विभिन्न बेंचमार्क में बेहतर प्रदर्शन जोड़ा।
क्षमताएँ
GPT-4 के डिफ़ॉल्ट संस्करण में 8K संदर्भ विंडो थी, जिसमें 32K टोकन तक का समर्थन करने वाला एक विशेष एपीआई संस्करण था। पहले के मॉडलों के विपरीत, GPT-4 इनपुट के रूप में छवियों को स्वीकार कर सकता था, जिससे उपयोगकर्ता विश्लेषण के लिए तस्वीरें अपलोड कर सकते थे या दृश्य सामग्री के बारे में प्रश्न पूछ सकते थे। मॉडल को बाहरी इंटरफेस के साथ बातचीत करने के लिए भी प्रेरित किया जा सकता था, जैसे कि विशिष्ट टैग में प्रश्नों को संलग्न करके वेब खोज करना, जिससे एपीआई कॉल, छवि निर्माण और वेबपेज सारांश जैसे कार्य सक्षम हो सकें।
नेचर में 2023 के एक लेख ने कोडिंग सहायता में GPT-4 की उपयोगिता पर प्रकाश डाला, इसकी त्रुटियों की प्रवृत्ति के बावजूद। प्रोग्रामरों ने इसे बग की पहचान करने और अनुकूलन सुझाने में सहायक पाया; एक बायोफिजिसिस्ट ने MATLAB से पायथन में एक प्रोग्राम को पोर्ट करने का समय दिनों से घटाकर लगभग एक घंटे करने की सूचना दी। सुरक्षा परीक्षणों में, GPT-4 ने 5% समय में SQL इंजेक्शन हमलों के लिए कमजोर कोड का उत्पादन किया, जबकि 2021 में GitHub Copilot के लिए 40% की तुलना में।
नवंबर 2023 में, OpenAI ने GPT-4 Turbo और GPT-4 Turbo with Vision की घोषणा की, जिसमें 128K संदर्भ विंडो और कम मूल्य निर्धारण शामिल था।
मानकीकृत परीक्षणों पर योग्यता
मानकीकृत परीक्षणों में GPT-4 के प्रदर्शन पर अध्ययनों ने मिश्रित परिणाम उत्पन्न किए हैं। टोरेंस टेस्ट ऑफ क्रिएटिव थिंकिंग में, GPT-4 ने मौलिकता और प्रवाह के लिए शीर्ष 1% में स्कोर किया, जिसमें लचीलेपन के स्कोर 93वें से 99वें प्रतिशत तक थे।
चिकित्सा अनुप्रयोग
माइक्रोसॉफ्ट के शोधकर्ताओं ने चिकित्सा समस्याओं पर GPT-4 का परीक्षण किया और पाया कि यह यूएसएमएलई पर पासिंग स्कोर से 20 अंकों से अधिक अधिक था, जो GPT-3.5 और मेड-पालम जैसे चिकित्सा ज्ञान पर ठीक-ट्यून किए गए मॉडल से बेहतर प्रदर्शन करता है। हालांकि, रिपोर्ट ने चिकित्सा अनुप्रयोगों के लिए बड़े भाषा मॉडल का उपयोग करने में महत्वपूर्ण जोखिमों की चेतावनी दी, संभावित अशुद्धियों और मतिभ्रम का हवाला देते हुए। अप्रैल 2023 में, माइक्रोसॉफ्ट और एपिक सिस्टम्स ने रोगी पूछताछ और मेडिकल रिकॉर्ड विश्लेषण के लिए GPT-4-संचालित सिस्टम प्रदान करने की योजना की घोषणा की।
GPT-4o
13 मई, 2024 को, OpenAI ने GPT-4o ("o" "ओमनी" के लिए) पेश किया, जो एक उत्तराधिकारी है जो वास्तविक समय में पाठ, ऑडियो और छवि मोडैलिटी को संसाधित और उत्पन्न करता है। GPT-4o ने मानव संवाद के तुलनीय तेज़ प्रतिक्रिया समय, गैर-अंग्रेज़ी भाषाओं पर बेहतर प्रदर्शन की पेशकश की, और GPT-4 के विपरीत, यह मुफ्त-स्तरीय उपयोगकर्ताओं के लिए उपलब्ध था।
सीमाएँ
GPT-4, अपने पूर्ववर्तियों की तरह, मतिभ्रम करने के लिए जाना जाता है, ऐसे आउटपुट उत्पन्न करता है जिनमें इसके प्रशिक्षण डेटा में नहीं होने वाली जानकारी शामिल होती है या उपयोगकर्ता के संकेतों का खंडन करती है। इसमें निर्णय लेने में पारदर्शिता की भी कमी है; इसके तर्क के स्पष्टीकरण पोस्ट-हॉक बनते हैं और सटीक के रूप में सत्यापित नहीं किए जा सकते हैं। कई मामलों में, ये स्पष्टीकरण पिछले बयानों का सीधे खंडन करते हैं।
2023 में, शोधकर्ताओं ने GPT-4 का परीक्षण कॉन्सेप्टआर्क पर किया, जो अमूर्त तर्क के लिए एक बेंचमार्क है, और पाया कि यह सभी श्रेणियों में 33% से नीचे स्कोर करता है, जबकि विशेष मॉडल अधिकांश पर 60% और मनुष्य कम से कम 91% स्कोर करते हैं। सैम बोमन, जो शोध में शामिल नहीं थे, ने कहा कि परिणाम अमूर्त तर्क की कमी का संकेत नहीं दे सकते हैं, क्योंकि परीक्षण दृश्य है जबकि GPT-4 एक भाषा मॉडल है।
पूर्वाग्रह
GPT-4 को दो चरणों में प्रशिक्षित किया गया था: पहले, अगले टोकन की भविष्यवाणी करने के लिए बड़े इंटरनेट पाठ डेटासेट पर; दूसरा, मानव प्रतिक्रिया से सुदृढीकरण सीखने का उपयोग करके व्यवहार को ठीक करने और हानिकारक संकेतों को अस्वीकार करने के लिए। माइक्रोसॉफ्ट शोधकर्ताओं ने सुझाव दिया कि GPT-4 संज्ञानात्मक पूर्वाग्रहों जैसे कि पुष्टिकरण पूर्वाग्रह, एंकरिंग, और आधार-दर उपेक्षा प्रदर्शित कर सकता है।
प्रशिक्षण
OpenAI ने GPT-4 के प्रशिक्षण के तकनीकी विवरण जारी नहीं किए। तकनीकी रिपोर्ट ने प्रतिस्पर्धी और सुरक्षा निहितार्थों का हवाला देते हुए मॉडल आकार, वास्तुकला, या हार्डवेयर निर्दिष्ट करने से परहेज किया। इसने मानव और एआई प्रतिक्रिया के साथ पर्यवेक्षित सीखने और सुदृढीकरण सीखने के संयोजन का वर्णन किया, लेकिन डेटासेट निर्माण, कंप्यूटिंग शक्ति और हाइपरपैरामीटर पर विवरण छोड़ दिया। सैम ऑल्टमैन ने कहा कि प्रशिक्षण की लागत $100 मिलियन से अधिक थी।