GPT-4 एक बड़ा भाषा मॉडल है जिसे OpenAI द्वारा विकसित किया गया है और यह इसके GPT फाउंडेशन मॉडल की श्रृंखला में चौथा है। 14 मार्च 2023 को जारी, यह GPT-3.5 का उत्तराधिकारी था और इसके बाद इसका उत्तराधिकारी GPT-5 आया। अपने पूर्ववर्तियों के विपरीत, GPT-4 एक मल्टीमॉडल मॉडल है जो पाठ और छवि दोनों इनपुट को संसाधित करने में सक्षम है। OpenAI ने मॉडल के बारे में तकनीकी विवरण, जिसमें इसका सटीक आकार शामिल है, का खुलासा नहीं किया है।
पृष्ठभूमि
OpenAI ने 2018 में पहला GPT मॉडल (GPT-1) पेश किया, जिसमें "Improving Language Understanding by Generative Pre-Training" शीर्षक से एक पेपर प्रकाशित किया गया, जो ट्रांसफॉर्मर आर्किेक्चर पर आधारित था और पुस्तकों के एक बड़े संग्रह पर प्रशिक्षित किया गया था। 2019 में, उन्होंने GPT-2 पेश किया, जो सुसंगत पाठ उत्पन्न करने में सक्षम एक बड़ा मॉडल था। 2020 में, उन्होंने GPT-3 जारी किया, जो GPT-2 की तुलना में 100 गुना से अधिक पैरामीटर वाला मॉडल था। GPT-3 को आगे GPT-3.5 में परिष्कृत किया गया, जिसका उपयोग ChatGPT चैटबॉट बनाने के लिए किया गया।
क्षमताएँ
GPT-4 14 मार्च 2023 को जारी किया गया था। डिफ़ॉल्ट संस्करण में 8K संदर्भ विंडो थी, जिसमें API में एक विशेष संस्करण 32K टोकन तक का समर्थन करता था। अपने पूर्ववर्तियों के विपरीत, GPT-4 एक मल्टीमॉडल मॉडल है: यह पाठ के साथ-साथ छवियों को भी इनपुट के रूप में ले सकता है। यह उपयोगकर्ताओं के साथ बोले गए शब्दों के माध्यम से बातचीत कर सकता है और छवियों का जवाब दे सकता है, जिससे यह फोटो अपलोड के आधार पर सुझाव या उत्तर प्रदान कर सकता है।
GPT-4 को बाहरी इंटरफेस के साथ बातचीत करने के लिए प्रॉम्प्ट किया जा सकता है। उदाहरण के लिए, मॉडल को एक वेब खोज करने के लिए <search></search> टैग के भीतर एक क्वेरी संलग्न करने के लिए कहा जा सकता है, जिसका परिणाम मॉडल के प्रॉम्प्ट में डाला जाएगा ताकि यह एक प्रतिक्रिया बना सके। यह मॉडल को अपनी सामान्य पाठ-भविष्यवाणी क्षमताओं से परे कार्य करने में सक्षम बनाता है, जैसे कि API का उपयोग करना, छवियाँ उत्पन्न करना, और वेबपेजों तक पहुँचना और उनका सारांश बनाना।
Nature में 2023 के एक लेख में कहा गया कि प्रोग्रामरों ने GPT-4 को कोडिंग कार्यों में सहायता के लिए उपयोगी पाया है (इसकी त्रुटि की प्रवृत्ति के बावजूद), जैसे कि मौजूदा कोड में त्रुटियाँ ढूंढना और प्रदर्शन में सुधार के लिए अनुकूलन सुझाना। लेख में एक बायोफिजिसिस्ट को उद्धृत किया गया जिसने पाया कि उसके एक प्रोग्राम को MATLAB से Python में पोर्ट करने में लगने वाला समय दिनों से घटकर "लगभग एक घंटा" हो गया। 89 सुरक्षा परिदृश्यों के एक परीक्षण में, GPT-4 ने 5% समय SQL इंजेक्शन हमलों के लिए कमजोर कोड उत्पन्न किया, जो 2021 के GitHub Copilot की तुलना में एक सुधार है, जिसने 40% समय कमजोरियाँ उत्पन्न कीं।
नवंबर 2023 में, OpenAI ने GPT-4 Turbo और GPT-4 Turbo with Vision मॉडल की घोषणा की, जिसमें 128K संदर्भ विंडो और काफी सस्ती कीमत थी।
मानकीकृत परीक्षणों पर योग्यता
अध्ययनों ने मानकीकृत परीक्षणों के माध्यम से चैटबॉट चलाने की विश्वसनीयता पर विवाद किया है। टोरेंस टेस्ट ऑफ क्रिएटिव थिंकिंग में, GPT-4 ने मौलिकता और प्रवाह के लिए शीर्ष 1% में स्कोर किया, जबकि इसके लचीलेपन के स्कोर 93वें से 99वें प्रतिशतक तक थे।
चिकित्सा अनुप्रयोग
Microsoft के शोधकर्ताओं ने चिकित्सा समस्याओं पर GPT-4 का परीक्षण किया और पाया कि "GPT-4, बिना किसी विशेष प्रॉम्प्ट तैयारी के, USMLE पर पासिंग स्कोर से 20 अंक से अधिक आगे निकल जाता है और पहले के सामान्य-उद्देश्य मॉडल (GPT-3.5) के साथ-साथ चिकित्सा ज्ञान पर विशेष रूप से फाइन-ट्यून किए गए मॉडल (Med-PaLM, Flan-PaLM 540B का एक प्रॉम्प्ट-ट्यून संस्करण) से बेहतर प्रदर्शन करता है।" परीक्षणों पर GPT-4 के मजबूत प्रदर्शन के बावजूद, रिपोर्ट ने चिकित्सा अनुप्रयोगों में बड़े भाषा मॉडल का उपयोग करने के "महत्वपूर्ण जोखिमों" की चेतावनी दी, क्योंकि वे गलत सिफारिशें प्रदान कर सकते हैं और बड़ी तथ्यात्मक त्रुटियाँ उत्पन्न कर सकते हैं।
अप्रैल 2023 में, Microsoft और Epic Systems ने घोषणा की कि वे स्वास्थ्य सेवा प्रदाताओं को रोगियों के प्रश्नों का उत्तर देने और चिकित्सा रिकॉर्ड का विश्लेषण करने में सहायता के लिए GPT-4-संचालित सिस्टम प्रदान करेंगे।
GPT-4o
13 मई 2024 को, OpenAI ने GPT-4o ("o" "omni" के लिए) पेश किया, जो GPT-4 का उत्तराधिकारी है और पाठ, ऑडियो और छवि मोडैलिटी में वास्तविक समय में आउटपुट संसाधित और उत्पन्न करके एक महत्वपूर्ण प्रगति को चिह्नित करता है। GPT-4o ने बातचीत में मानव प्रतिक्रिया के तुलनीय तेज़ प्रतिक्रिया समय, गैर-अंग्रेज़ी भाषाओं पर काफी बेहतर प्रदर्शन, और दृष्टि और ऑडियो की बेहतर समझ प्रदर्शित की। यह GPT-4 के विपरीत, मुफ्त-स्तरीय उपयोगकर्ताओं के लिए भी उपलब्ध था।
सीमाएँ
अपने पूर्ववर्तियों की तरह, GPT-4 मतिभ्रम करने के लिए जाना जाता है, जिसका अर्थ है कि इसके आउटपुट में प्रशिक्षण डेटा में नहीं होने वाली जानकारी या उपयोगकर्ता के प्रॉम्प्ट के विपरीत जानकारी शामिल हो सकती है।
GPT-4 में अपनी निर्णय लेने की प्रक्रियाओं में पारदर्शिता की भी कमी है। अनुरोध करने पर, मॉडल एक स्पष्टीकरण प्रदान कर सकता है कि यह अपने निर्णय कैसे और क्यों लेता है, लेकिन ये स्पष्टीकरण पूर्व-पश्चात बनाए जाते हैं; यह सत्यापित करना असंभव है कि क्या ये स्पष्टीकरण वास्तव में वास्तविक प्रक्रिया को दर्शाते हैं। कई मामलों में, अपने तर्क के बारे में पूछे जाने पर, GPT-4 ऐसे स्पष्टीकरण देता है जो सीधे उसके पिछले बयानों का खंडन करते हैं।
2023 में, शोधकर्ताओं ने ConceptARC नामक एक नए बेंचमार्क के खिलाफ GPT-4 का परीक्षण किया, जिसे अमूर्त तर्क को मापने के लिए डिज़ाइन किया गया था, और पाया कि यह सभी श्रेणियों में 33% से नीचे स्कोर करता है, जबकि समान कार्यों के लिए विशेषज्ञ मॉडल अधिकांश पर 60% स्कोर करते हैं, और मनुष्य सभी पर कम से कम 91% स्कोर करते हैं। सैम बोमन, जो शोध में शामिल नहीं थे, ने कहा कि परिणाम आवश्यक रूप से अमूर्त तर्क क्षमताओं की कमी का संकेत नहीं देते हैं क्योंकि परीक्षण दृश्य है, जबकि GPT-4 एक भाषा मॉडल है।
पूर्वाग्रह
GPT-4 को दो चरणों में प्रशिक्षित किया गया था। पहले, मॉडल को इंटरनेट से लिए गए पाठ के बड़े डेटासेट दिए गए और उन डेटासेट में अगले टोकन (मोटे तौर पर एक शब्द के अनुरूप) की भविष्यवाणी करने के लिए प्रशिक्षित किया गया। दूसरे, मानव समीक्षाओं का उपयोग सिस्टम को फाइन-ट्यून करने के लिए किया गया, जिसे मानव प्रतिक्रिया से सुदृढीकरण सीखना कहा जाता है, जो मॉडल को OpenAI की हानिकारक व्यवहार की परिभाषा के खिलाफ जाने वाले प्रॉम्प्ट को अस्वीकार करने के लिए प्रशिक्षित करता है, जैसे कि अवैध गतिविधियों को करने के तरीके पर प्रश्न, खुद को या दूसरों को नुकसान पहुँचाने की सलाह, या ग्राफिक, हिंसक, या यौन सामग्री के विवरण के अनुरोध।
Microsoft शोधकर्ताओं ने सुझाव दिया कि GPT-4 संज्ञानात्मक पूर्वाग्रह जैसे कि पुष्टिकरण पूर्वाग्रह, एंकरिंग, और आधार-दर उपेक्षा प्रदर्शित कर सकता है।
प्रशिक्षण
OpenAI ने GPT-4 के तकनीकी विवरण जारी नहीं किए; तकनीकी रिपोर्ट ने स्पष्ट रूप से प्रशिक्षण या अनुमान के दौरान उपयोग किए गए मॉडल आकार, आर्किटेक्चर, या हार्डवेयर को निर्दिष्ट करने से परहेज किया। जबकि रिपोर्ट ने वर्णन किया कि मॉडल को एक बड़े डेटासेट पर पर्यवेक्षित सीखने के संयोजन का उपयोग करके प्रशिक्षित किया गया था, फिर मानव और AI दोनों प्रतिक्रिया का उपयोग करके सुदृढीकरण सीखना, इसने प्रशिक्षण के विवरण प्रदान नहीं किए, जिसमें प्रशिक्षण डेटासेट के निर्माण की प्रक्रिया, आवश्यक कंप्यूटिंग शक्ति, या सीखने की दर, युग संख्या, या उपयोग किए गए ऑप्टिमाइज़र जैसे किसी भी हाइपरपैरामीटर शामिल हैं। रिपोर्ट ने दावा किया कि "प्रतिस्पर्धी परिदृश्य और बड़े पैमाने के मॉडल के सुरक्षा निहितार्थ" ऐसे कारक थे जिन्होंने इस निर्णय को प्रभावित किया।
सैम ऑल्टमैन ने कहा कि GPT-4 के प्रशिक्षण की लागत $100 मिलियन से अधिक थी।
स्वागत और प्रभाव
GPT-4 को Microsoft द्वारा Bing Chat में एकीकृत किया गया था, जो फरवरी 2023 में मॉडल के आधिकारिक रिलीज़ से पहले लॉन्च हुआ था। मॉडल जल्दी से कई अनुप्रयोगों और सेवाओं के लिए एक आधार बन गया, जो विभिन्न डोमेन में GPT मॉडल की क्षमता को प्रदर्शित करता है।
उपलब्धता
GPT-4 मार्च 2023 में ChatGPT में जारी किया गया था और 2025 में हटाए जाने तक उपलब्ध रहा। मॉडल को 23 अक्टूबर 2026 को OpenAI API से हटा दिया गया था।