एक बड़ा भाषा मॉडल (LLM) एक मशीन-लर्निंग मॉडल है (आमतौर पर एक तंत्रिका-नेटवर्क) जिसे प्राकृतिक-भाषा-प्रसंस्करण कार्यों, विशेष रूप से भाषा निर्माण के लिए विशाल मात्रा में पाठ पर प्रशिक्षित किया जाता है। LLM आमतौर पर कई संदर्भों में पाठ उत्पन्न, सारांशित, अनुवाद और विश्लेषण कर सकते हैं। वे कई आधुनिक चैटबॉट्स, जैसे चैटजीपीटी, क्लॉड, जेमिनी, ग्रॉक, क्यूवेन, और डीपसीक का आधार हैं। LLM आमतौर पर ट्रांसफॉर्मर वास्तुकला पर आधारित होते हैं। जनरेटिव प्री-ट्रेंड ट्रांसफॉर्मर (GPT) एक प्रकार के LLM हैं जो अगले शब्द की भविष्यवाणी करने के लिए पहले से प्रशिक्षित होते हैं, अक्सर निर्देशों का पालन करने और सहायक के रूप में व्यवहार करने के लिए फाइन-ट्यून किए जाते हैं। पक्षपाती या गलत प्रशिक्षण डेटा LLM के आउटपुट को कम विश्वसनीय बना सकता है। एक सॉफ्टवेयर हार्नेस LLM को स्मृति और वेब खोज जैसे उपकरणों तक पहुंच प्रदान कर सकता है। LLM के लिए बेंचमार्क मूल्यांकन मॉडल के तर्क, तथ्यात्मक सटीकता, संरेखण और सुरक्षा को मापने का प्रयास करते हैं।
इतिहास
2017 में ट्रांसफॉर्मर-आधारित मॉडल के उद्भव से पहले, कुछ भाषा मॉडल अपने समय की कम्प्यूटेशनल और डेटा बाधाओं के सापेक्ष बड़े माने जाते थे। 1990 के दशक की शुरुआत में, IBM के सांख्यिकीय मॉडल ने मशीन अनुवाद के लिए शब्द संरेखण तकनीकों का बीड़ा उठाया, जिससे कॉर्पस-आधारित भाषा मॉडलिंग की नींव पड़ी। 2001 में, एक स्मूथेड एन-ग्राम मॉडल, जैसे कि केनेसर-ने स्मूथिंग का उपयोग करने वाले, जिसे 300 मिलियन शब्दों पर प्रशिक्षित किया गया था, ने बेंचमार्क परीक्षणों पर अत्याधुनिक पर्प्लेक्सिटी हासिल की। 2000 के दशक के दौरान, व्यापक इंटरनेट पहुंच के उदय के साथ, शोधकर्ताओं ने सांख्यिकीय भाषा मॉडल को प्रशिक्षित करने के लिए वेब से विशाल पाठ डेटासेट ("वेब को कॉर्पस के रूप में") संकलित करना शुरू किया।
एन-ग्राम मॉडल से आगे बढ़ते हुए, शोधकर्ताओं ने 2000 में भाषा मॉडल के रूप में तंत्रिका नेटवर्क का उपयोग करना शुरू किया। 2012 के आसपास छवि वर्गीकरण में गहरे तंत्रिका नेटवर्क की सफलता के बाद, समान वास्तुकला को भाषा कार्यों के लिए अनुकूलित किया गया। यह बदलाव शब्द एम्बेडिंग (जैसे, 2013 में मिकोलोव द्वारा वर्ड2वेक) और एलएसटीएम का उपयोग करने वाले सीक2सीक मॉडल के विकास द्वारा चिह्नित किया गया था। 2016 में, Google ने अपनी अनुवाद सेवा को तंत्रिका मशीन अनुवाद (NMT) में स्थानांतरित कर दिया, सांख्यिकीय वाक्यांश-आधारित मॉडल को गहरे आवर्तक तंत्रिका नेटवर्क से बदल दिया। इन शुरुआती NMT प्रणालियों ने LSTM-आधारित एनकोडर-डिकोडर वास्तुकला का उपयोग किया, क्योंकि वे ट्रांसफॉर्मर के आविष्कार से पहले थे।
2017 के NeurIPS सम्मेलन में, Google शोधकर्ताओं ने अपने ऐतिहासिक पेपर "अटेंशन इज़ ऑल यू नीड" में ट्रांसफॉर्मर वास्तुकला पेश की। इस पेपर का लक्ष्य 2014 की सीक2सीक तकनीक में सुधार करना था, और यह मुख्य रूप से 2014 में बहदानाउ एट अल द्वारा विकसित अटेंशन तंत्र पर आधारित था। अगले वर्ष 2018 में, बर्ट पेश किया गया और जल्दी ही "सर्वव्यापी" बन गया। हालांकि मूल ट्रांसफॉर्मर में एनकोडर और डिकोडर दोनों ब्लॉक हैं, बर्ट एक एनकोडर-केवल मॉडल है। बर्ट का शैक्षणिक और अनुसंधान उपयोग 2023 में घटने लगा, डिकोडर-केवल मॉडल (जैसे GPT) की प्रॉम्प्टिंग के माध्यम से कार्यों को हल करने की क्षमताओं में तेजी से सुधार के बाद।
हालांकि डिकोडर-केवल GPT-1 2018 में पेश किया गया था, यह 2019 में GPT-2 था जिसने व्यापक ध्यान आकर्षित किया क्योंकि OpenAI ने दावा किया कि उसने शुरू में इसे दुर्भावनापूर्ण उपयोग के डर से सार्वजनिक रूप से जारी करने के लिए बहुत शक्तिशाली माना था। 2020 में GPT-3 ने एक कदम और आगे बढ़ाया और 2025 तक यह केवल API के माध्यम से उपलब्ध है, जिसमें मॉडल को स्थानीय रूप से चलाने के लिए डाउनलोड करने का कोई विकल्प नहीं है। लेकिन यह 2022 के अंत में उपभोक्ता-सामना करने वाला चैटबॉट चैटजीपीटी था जिसे 2023 तक व्यापक मीडिया कवरेज और जनता का ध्यान मिला। 2023 के GPT-4 को इसकी बढ़ी हुई सटीकता और इसकी मल्टीमॉडल क्षमताओं के लिए "पवित्र ग्रिल" के रूप में सराहा गया। OpenAI ने GPT-4 की उच्च-स्तरीय वास्तुकला और पैरामीटरों की संख्या का खुलासा नहीं किया। ChatGPT की रिलीज़ ने कंप्यूटर विज्ञान के कई शोध उपक्षेत्रों, जिनमें रोबोटिक्स, सॉफ्टवेयर इंजीनियरिंग और सामाजिक प्रभाव कार्य शामिल हैं, में LLM उपयोग में वृद्धि की। 2024 में, OpenAI ने तर्क मॉडल OpenAI o1 जारी किया, जो अंतिम उत्तर लौटाने से पहले विचार की लंबी श्रृंखला उत्पन्न करता है। OpenAI के GPT श्रृंखला के बराबर पैरामीटर गणना वाले कई LLM विकसित किए गए हैं।
2022 के बाद से, ओपन-सोर्स मॉडल (जिनके स्रोत कोड और वजन सार्वजनिक रूप से उपलब्ध कराए गए हैं) ने लोकप्रियता हासिल की है, विशेष रूप से शुरुआत में BLOOM और LLaMA के साथ, हालांकि दोनों के उपयोग के क्षेत्र पर प्रतिबंध हैं। Mistral AI के ओपन-वेट मॉडल Mistral 7B और Mixtral 8x7B में अधिक अनुमेय Apache लाइसेंस है। जनवरी 2025 में, DeepSeek ने DeepSeek R1 जारी किया, जो 671-बिलियन-पैरामीटर ओपन-वेट मॉडल है जो OpenAI o1 के बराबर प्रदर्शन करता है लेकिन उपयोगकर्ताओं के लिए प्रति टोकन बहुत कम कीमत पर।
2023 के बाद से, कई LLM को मल्टीमॉडल होने के लिए प्रशिक्षित किया गया है, जिसमें छवियों, ऑडियो या 3D मेश जैसे अन्य प्रकार के डेटा को संसाधित या उत्पन्न करने की क्षमता भी है। ओपन-वेट LLM 2023 के बाद से अधिक प्रभावशाली बन गए हैं। वेके एट अल (2025) के अनुसार, समुदाय-संचालित योगदान हगिंग फेस जैसे सहयोगी प्लेटफार्मों के माध्यम से ओपन-वेट मॉडल की दक्षता और प्रदर्शन में सुधार करते हैं।
वे कैसे काम करते हैं
LLM को प्री-ट्रेनिंग चरण में विशाल, काफी हद तक बिना क्यूरेटेड पाठ कॉर्पोरा पर एक स्व-पर्यवेक्षित उद्देश्य का उपयोग करके प्रशिक्षित किया जाता है, जो पिछले संदर्भ को देखते हुए अगले टोकन की भविष्यवाणी करना सीखता है। यह एक ऑटोरेग्रेसिव मॉडल उत्पन्न करता है जो एक बार में एक टोकन तरल पाठ उत्पन्न करने में सक्षम है। प्री-ट्रेंड "बेस" मॉडल आमतौर पर फाइन-ट्यूनिंग और मानव प्रतिक्रिया से सुदृढीकरण सीखने के माध्यम से निर्देशों का पालन करने और सुरक्षित रूप से बातचीत करने के लिए और अधिक अनुकूलित किए जाते हैं, जो ChatGPT और Claude जैसे मॉडलों के लिए केंद्रीय प्रक्रिया है। एक मॉडल एक इंटरैक्शन में संसाधित कर सकने वाले पाठ की मात्रा उसके संदर्भ-विंडो द्वारा सीमित है, जो शुरुआती मॉडलों में लगभग कुछ हज़ार टोकन से बढ़कर 2025-युग की कुछ प्रणालियों में दस लाख से अधिक हो गई है।
पैमाना और क्षमता
स्केलिंग-लॉ के रूप में ज्ञात अनुभवजन्य संबंध वर्णन करते हैं कि कैसे एक मॉडल का नुकसान पूर्वानुमानित रूप से सुधरता है जब इसकी पैरामीटर गणना, प्रशिक्षण डेटा और कंप्यूट एक साथ बढ़ते हैं। कुछ क्षमताएं, जैसे बहु-चरण अंकगणित या जटिल निर्देशों का पालन, कुछ पैमाने की सीमाओं के पार अपेक्षाकृत अचानक उभरती हुई दिखाई देती हैं, एक घटना जिसे उभरती-क्षमताएं कहा जाता है, हालांकि शोधकर्ता विवाद करते हैं कि यह मॉडल की वास्तविक संपत्ति है या क्षमताओं को मापने के तरीके का एक कलाकृति।
सीमाएं
LLM मतिभ्रम के शिकार होते हैं, जो तरल लेकिन तथ्यात्मक रूप से गलत बयान उत्पन्न करते हैं, जिसमें उपयोगकर्ता को कोई संकेत नहीं मिलता कि आउटपुट अविश्वसनीय है। क्योंकि वे सत्यापित ज्ञान के बजाय सीखे गए सांख्यिकीय पैटर्न के आधार पर पाठ उत्पन्न करते हैं, वे प्रशिक्षण डेटा में मौजूद पूर्वाग्रहों को भी पुन: उत्पन्न कर सकते हैं और जेलब्रेक जैसी प्रतिकूल प्रॉम्प्टिंग तकनीकों के प्रति संवेदनशील रहते हैं। शमन में पुनर्प्राप्त बाहरी दस्तावेजों में आउटपुट को आधारित करना शामिल है, एक तकनीक जिसे पुनर्प्राप्ति-संवर्धित पीढ़ी के रूप में जाना जाता है, और तेजी से, "तर्क मॉडल" जो उत्तर देने से पहले अपने स्वयं के काम की जांच करने के लिए अतिरिक्त परीक्षण-समय कंप्यूटेशन का उपयोग करते हैं।
हाल के विकास
2023 के बाद से, क्षेत्र ने ओपन-वेट मॉडल का तेजी से विस्तार देखा है, जिसमें Mistral 7B, Mixtral 8x7B, और DeepSeek R1 (जनवरी 2025) जैसी रिलीज़ कम लागत पर प्रतिस्पर्धी प्रदर्शन की पेशकश करती हैं। 2024 में OpenAI o1 जैसे तर्क मॉडल की शुरूआत ने उत्तर देने से पहले विचार की विस्तारित श्रृंखला उत्पन्न करने वाले मॉडल की ओर बदलाव को चिह्नित किया। मल्टीमॉडल क्षमताएं मानक बन गई हैं, और हगिंग फेस जैसे प्लेटफार्मों के माध्यम से समुदाय-संचालित योगदान ने ओपन-वेट मॉडल में सुधार को तेज कर दिया है।