BERT (Bidirectional Encoder Representations from Transformers) एक भाषा प्रतिनिधित्व मॉडल है जिसे अक्टूबर 2018 में Google द्वारा जारी किया गया था। यह भाषा समझ के लिए Transformer (architecture) आर्किटेक्चर के पहले व्यापक रूप से प्रभावशाली अनुप्रयोगों में से एक था, और इसका जारी होना अक्सर एक महत्वपूर्ण मोड़ के रूप में उद्धृत किया जाता है जिसने ट्रांसफॉर्मर-आधारित प्रीट्रेनिंग को प्राकृतिक भाषा प्रसंस्करण में प्रमुख प्रतिमान बना दिया।
आर्किटेक्चर और प्रशिक्षण
BERT ट्रांसफॉर्मर आर्किचेक्चर के केवल एनकोडर आधे हिस्से का उपयोग करता है, जो बाद में GPT श्रृंखला द्वारा उपयोग किए गए डिकोडर-आधारित, ऑटोरेग्रेसिव डिज़ाइन के विपरीत है। इसे दो स्व-पर्यवेक्षित उद्देश्यों का उपयोग करके प्रशिक्षित किया जाता है: मास्क्ड भाषा मॉडलिंग, जिसमें एक वाक्य में यादृच्छिक शब्द छिपाए जाते हैं और मॉडल को दोनों दिशाओं से संदर्भ का उपयोग करके उनकी भविष्यवाणी करनी होती है, और अगला-वाक्य भविष्यवाणी, जिसमें मॉडल सीखता है कि क्या एक वाक्य दूसरे के बाद संभावित रूप से आता है। यह द्विदिशात्मक प्रशिक्षण BERT को पूर्ववर्ती और अनुवर्ती संदर्भ दोनों से एक साथ जानकारी प्राप्त करने वाले प्रतिनिधित्व बनाने की अनुमति देता है, जो पहले के एकदिशात्मक या उथले द्विदिशात्मक दृष्टिकोणों जैसे word2vec और ELMo पर एक लाभ था।
BERT को कई आकारों में जारी किया गया था, विशेष रूप से BERT-base (110 मिलियन पैरामीटर) और BERT-large (340 मिलियन पैरामीटर), जो बाद के मानकों से मामूली थे लेकिन अपने समय के लिए बड़े थे, और Google ने प्रीट्रेन्ड वेट्स को खुले तौर पर प्रकाशित किया, जिससे शोधकर्ताओं को प्रश्न उत्तर, भावना विश्लेषण, और नामित इकाई पहचान जैसे विशिष्ट डाउनस्ट्रीम कार्यों के लिए मॉडल को फाइन-ट्यून करने की अनुमति मिली, जिसमें अपेक्षाकृत कम मात्रा में कार्य-विशिष्ट डेटा की आवश्यकता थी।
प्रभाव
जारी होने पर, BERT ने GLUE सुइट और SQuAD प्रश्न-उत्तर डेटासेट सहित NLP बेंचमार्क की एक विस्तृत श्रृंखला में अत्याधुनिक परिणाम प्राप्त किए, अक्सर पिछले तरीकों पर पर्याप्त अंतर से। इसका "प्रीट्रेन फिर फाइन-ट्यून" प्रतिमान तेजी से क्षेत्र में अपनाया गया और बाद के एनकोडर और एनकोडर-डिकोडर मॉडल के डिज़ाइन को सीधे प्रभावित किया। Google ने 2019 से BERT को अपने मुख्य खोज रैंकिंग सिस्टम में शामिल किया, इसे वर्षों में खोज प्रासंगिकता में सबसे महत्वपूर्ण सुधारों में से एक बताया, विशेष रूप से लंबे, अधिक संवादात्मक प्रश्नों के पीछे के इरादे को समझने के लिए।
जनरेटिव मॉडल के सापेक्ष विरासत
BERT बड़े भाषा मॉडल युग से पहले आता है जो GPT-2, GPT-3, और उनके उत्तराधिकारियों द्वारा परिभाषित है, और इसका एनकोडर-केवल, गैर-जनरेटिव डिज़ाइन का मतलब है कि यह ऑटोरेग्रेसिव मॉडल की तरह खुला-अंत पाठ उत्पन्न नहीं कर सकता है। इसके बावजूद, BERT और इसके कई व्युत्पन्न (जिनमें RoBERTa, ALBERT, और DistilBERT शामिल हैं) 2020 के दशक में वर्गीकरण, पुनर्प्राप्ति, और एम्बेडिंग कार्यों के लिए व्यापक रूप से उपयोग में रहे जहां पीढ़ी अनावश्यक है और दक्षता मायने रखती है, और BERT-शैली एनकोडर बड़े पुनर्प्राप्ति और सिमेंटिक खोज सिस्टम के भीतर घटकों के रूप में काम करते रहे, जिसमें कुछ पुनर्प्राप्ति-संवर्धित पीढ़ी पाइपलाइनों में बिल्डिंग ब्लॉक के रूप में शामिल हैं। क्रिस्टोफर मैनिंग जैसे शोधकर्ताओं और शैक्षणिक NLP में अन्य लोगों ने BERT के जारी होने को एक महत्वपूर्ण क्षण बताया है जो प्रदर्शित करता है कि अलेबल किए गए पाठ पर बड़े पैमाने पर स्व-पर्यवेक्षित प्रीट्रेनिंग मुख्य रूप से लेबल किए गए डेटासेट पर निर्भर तरीकों से बेहतर प्रदर्शन कर सकती है, एक सबक जो सीधे बाद के जनरेटिव भाषा मॉडल के पीछे स्केलिंग दर्शन में ले जाया गया।