BERT (Bidirectional Encoder Representations from Transformers) एक भाषा प्रतिनिधित्व मॉडल है जिसे अक्टूबर 2018 में Google द्वारा जारी किया गया था। यह भाषा समझ के लिए Transformer (architecture) वास्तुकला के पहले व्यापक रूप से प्रभावशाली अनुप्रयोगों में से एक था, और इसका जारी होना अक्सर एक महत्वपूर्ण मोड़ के रूप में उद्धृत किया जाता है जिसने ट्रांसफॉर्मर-आधारित Pretraining को Natural language processing में प्रमुख प्रतिमान बना दिया।
वास्तुकला और प्रशिक्षण
BERT ट्रांसफॉर्मर वास्तुकला के केवल एनकोडर भाग का उपयोग करता है, जो GPT श्रृंखला द्वारा बाद में उपयोग किए गए डिकोडर-आधारित, ऑटोरेग्रेसिव डिज़ाइन के विपरीत है। इसे दो स्व-पर्यवेक्षित उद्देश्यों का उपयोग करके प्रशिक्षित किया गया है: मास्क्ड भाषा मॉडलिंग, जिसमें एक वाक्य में यादृच्छिक शब्द छिपाए जाते हैं और मॉडल को उन्हें दोनों दिशाओं से संदर्भ का उपयोग करके भविष्यवाणी करनी होती है, और अगला-वाक्य भविष्यवाणी, जिसमें मॉडल सीखता है कि क्या एक वाक्य संभावित रूप से दूसरे का अनुसरण करता है। इस द्विदिशात्मक प्रशिक्षण ने BERT को पूर्ववर्ती और अनुवर्ती संदर्भ दोनों से एक साथ सूचित प्रतिनिधित्व बनाने की अनुमति दी, जो पहले के एकदिशात्मक या उथले द्विदिशात्मक दृष्टिकोणों जैसे word2vec और ELMo पर एक लाभ था।
BERT कई आकारों में जारी किया गया था, विशेष रूप से BERT-base (110 मिलियन पैरामीटर) और BERT-large (340 मिलियन पैरामीटर), जो बाद के मानकों से मामूली थे लेकिन उस समय के लिए बड़े थे, और Google ने पूर्व-प्रशिक्षित वजन खुले तौर पर प्रकाशित किए, जिससे शोधकर्ताओं को प्रश्न उत्तर, भावना विश्लेषण, और नामित इकाई पहचान जैसे विशिष्ट डाउनस्ट्रीम कार्यों के लिए मॉडल को बारीक-ट्यून करने की अनुमति मिली, जिसमें तुलनात्मक रूप से कम मात्रा में कार्य-विशिष्ट डेटा की आवश्यकता थी।
प्रभाव
जारी होने पर, BERT ने व्यापक NLP बेंचमार्क की एक श्रृंखला में अत्याधुनिक परिणाम प्राप्त किए, जिसमें GLUE सुइट और SQuAD प्रश्न-उत्तर डेटासेट शामिल हैं, अक्सर पिछले तरीकों की तुलना में काफी अंतर से। इसका "पूर्व-प्रशिक्षण फिर बारीक-ट्यूनिंग" प्रतिमान तेजी से क्षेत्र में अपनाया गया और बाद के एनकोडर और एनकोडर-डिकोडर मॉडल के डिज़ाइन को सीधे प्रभावित किया। Google ने 2019 से अपने मुख्य खोज रैंकिंग सिस्टम में BERT को शामिल किया, और इसे वर्षों में खोज प्रासंगिकता में सबसे महत्वपूर्ण सुधारों में से एक के रूप में वर्णित किया, विशेष रूप से लंबे, अधिक संवादात्मक प्रश्नों के पीछे के इरादे को समझने के लिए।
जनरेटिव मॉडल के सापेक्ष विरासत
BERT बड़े भाषा मॉडल युग से पहले है जिसे GPT-2, GPT-3, और उनके उत्तराधिकारियों द्वारा परिभाषित किया गया था, और इसका एनकोडर-केवल, गैर-जनरेटिव डिज़ाइन का मतलब है कि यह ऑटोरेग्रेसिव मॉडल की तरह खुला-अंत पाठ उत्पन्न नहीं कर सकता। इसके बावजूद, BERT और इसके कई व्युत्पन्न (जिनमें RoBERTa, ALBERT, और DistilBERT शामिल हैं) 2020 के दशक में वर्गीकरण, पुनर्प्राप्ति, और एम्बेडिंग कार्यों के लिए व्यापक रूप से उपयोग में बने रहे, जहां पीढ़ी अनावश्यक है और दक्षता महत्वपूर्ण है, और BERT-शैली के एनकोडर बड़े पुनर्प्राप्ति और अर्थपूर्ण खोज प्रणालियों के भीतर घटकों के रूप में सेवा करते रहे, जिसमें कुछ पुनर्प्राप्ति-संवर्धित पीढ़ी पाइपलाइनों में निर्माण ब्लॉक शामिल हैं। क्रिस्टोफर मैनिंग जैसे शोधकर्ता और शैक्षणिक NLP में अन्य लोगों ने BERT के जारी होने को एक महत्वपूर्ण क्षण के रूप में बताया है जो प्रदर्शित करता है कि अलेबलित पाठ पर बड़े पैमाने पर स्व-पर्यवेक्षित पूर्व-प्रशिक्षण मुख्य रूप से लेबल किए गए डेटासेट पर निर्भर तरीकों से बेहतर प्रदर्शन कर सकता है, एक सबक जो सीधे बाद के जनरेटिव भाषा मॉडल के पीछे स्केलिंग दर्शन में ले जाया गया।