Word2vec संबंधित तंत्रिका नेटवर्क मॉडलों का एक समूह है, जिसे 2013 में Google के शोधकर्ताओं द्वारा पेश किया गया था, जो बड़े अलेबलित पाठ कोषों से शब्दों के सघन वेक्टर प्रतिनिधित्व सीखते हैं, और हस्त-निर्मित भाषाई नियमों के बजाय वेक्टर अंकगणित के माध्यम से शब्द अर्थ और उपयोग के पहलुओं को पकड़ते हैं। यह पहले व्यापक रूप से अपनाए गए Embedding तकनीकों में से एक था, जिसने प्रदर्शित किया कि शब्दों के बीच शब्दार्थ संबंध सीधे पाठ में शब्द सह-घटना पैटर्न से प्राप्त किए जा सकते हैं।
विधि
Word2vec को दो संबंधित आर्किटेक्चर के माध्यम से पेश किया गया था, जिसका वर्णन टॉमस मिकोलोव और Google के सहयोगियों ने किया, जिसमें Jeff Dean और Ilya Sutskever शामिल थे, 2013 में प्रकाशित पेपरों में: निरंतर बैग-ऑफ-वर्ड्स (CBOW), जो एक लक्ष्य शब्द को उसके आस-पास के संदर्भ शब्दों से भविष्यवाणी करता है, और स्किप-ग्राम, जो एक लक्ष्य शब्द दिए जाने पर आस-पास के संदर्भ शब्दों की भविष्यवाणी करता है। दोनों उथले, दो-परत वाले Neural network मॉडल हैं, जिन्हें Self-supervised learning के माध्यम से प्रशिक्षित किया जाता है, क्योंकि प्रशिक्षण संकेत स्वचालित रूप से कच्चे पाठ से मानव-लेबल किए गए डेटा के बिना प्राप्त होता है, और आस-पास के शब्दों का उपयोग अंतर्निहित पर्यवेक्षी संकेत के रूप में किया जाता है। छिपी परत से परिणामी भार मैट्रिक्स सीखे गए शब्द वैक्टर के रूप में कार्य करता है, आमतौर पर कुछ सौ आयामों के साथ।
"राजा घटा आदमी जोड़ स्त्री" उदाहरण
Word2vec का सबसे व्यापक रूप से उद्धृत प्रदर्शन वेक्टर अंकगणित के लिए इसकी क्षमता है जो शब्दार्थ और वाक्य-रचना संबंधों को प्रतिबिंबित करती है: "आदमी" के वेक्टर को "राजा" से घटाना और "स्त्री" का वेक्टर जोड़ना सीखे गए एम्बेडिंग स्थान में "रानी" के सबसे निकट एक वेक्टर उत्पन्न करता है। समान अनुरूप संरचना देश-राजधानी जोड़े और क्रिया काल जैसे संबंधों के लिए दिखाई दी, यह सुझाव देते हुए कि एम्बेडिंग स्थान की ज्यामिति मनमाने क्लस्टरिंग के बजाय सार्थक, व्यवस्थित संबंधों को एन्कोड करती है, एक परिणाम जिसने Natural language processing अनुसंधान समुदाय में काफी उत्साह पैदा किया।
एनएलपी पर प्रभाव
Word2vec, समकालीन विधियों जैसे GloVe के साथ, पूर्व-प्रशिक्षित शब्द एम्बेडिंग को डाउनस्ट्रीम एनएलपी मॉडल के लिए एक मानक इनपुट परत बना दिया, जिसने Machine translation, भावना विश्लेषण, और नामित इकाई पहचान सहित कार्यों में विरल वन-हॉट शब्द प्रतिनिधित्व को प्रतिस्थापित किया। इसकी दक्षता, उस समय मानक हार्डवेयर पर घंटों में अरबों शब्दों पर प्रशिक्षण, ने वितरित शब्द प्रतिनिधित्व को एक पैमाने पर व्यावहारिक बना दिया जो पहले के तंत्रिका भाषा मॉडल के साथ संभव नहीं था।
उत्तराधिकारी
Word2vec के संदर्भ-स्वतंत्र प्रतिनिधित्व, जो प्रत्येक शब्द को आस-पास के संदर्भ की परवाह किए बिना एक निश्चित वेक्टर प्रदान करते हैं, संदर्भित एम्बेडिंग मॉडल द्वारा प्रतिस्थापित किए गए थे। 2018 का BERT मॉडल और Transformer (architecture) आर्किटेक्चर पर निर्मित मॉडलों का व्यापक परिवार एक ही शब्द के लिए उसके वाक्य संदर्भ के आधार पर अलग-अलग वैक्टर उत्पन्न करता है, जो word2vec की "बैंक" को नदी किनारे के रूप में और "बैंक" को वित्तीय संस्थान के रूप में अलग करने में असमर्थता को संबोधित करता है। अधिकांश अत्याधुनिक अनुप्रयोगों के लिए प्रतिस्थापित होने के बावजूद, word2vec अभी भी एक हल्के एम्बेडिंग आधार रेखा और सीखे गए वेक्टर प्रतिनिधित्व की व्यापक अवधारणा के लिए एक शैक्षणिक प्रवेश बिंदु के रूप में व्यापक रूप से उपयोग किया जाता है, जो अब Semantic search और Vector database पुनर्प्राप्ति प्रणालियों को रेखांकित करता है।