एम्बेडिंग किसी वस्तु, अक्सर एक शब्द, वाक्य, छवि, या उपयोगकर्ता को, एक सतत स्थान में वास्तविक संख्याओं के एक निश्चित-लंबाई वाले वेक्टर के रूप में प्रस्तुत करने का एक तरीका है। एक अच्छी एम्बेडिंग की परिभाषित विशेषता यह है कि उस स्थान में ज्यामितीय निकटता अर्थ संबंधी समानता से मेल खाती है: "dog" और "puppy" के वेक्टर एक-दूसरे के पास स्थित होते हैं, जबकि "dog" और "stock market" दूर होते हैं। एम्बेडिंग अर्थ की अस्पष्ट, प्रतीकात्मक समस्या को अंकगणित में बदल देती है जिसे एक Neural network सीख सकता है और एक कंप्यूटर कुशलता से खोज सकता है।
यह विचार गहन शिक्षण से पहले का है। 1990 के दशक में वितरणात्मक अर्थ विज्ञान के शोधकर्ताओं ने तर्क दिया कि "एक शब्द उस संगति से पहचाना जाता है जिसे वह रखता है," और प्रारंभिक गणना-आधारित विधियों जैसे अव्यक्त अर्थ विश्लेषण ने शब्द सह-घटना आँकड़ों से निम्न-आयामी प्रस्तुतियाँ बनाईं। आधुनिक युग Word2vec के साथ 2013 में शुरू हुआ, जिसने पड़ोसी शब्दों की भविष्यवाणी करने के लिए एक उथले तंत्रिका नेटवर्क को प्रशिक्षित किया और ऐसी एम्बेडिंग उत्पन्न की जिनमें अब प्रसिद्ध गुण था कि वेक्टर अंकगणित अनुरूपताओं को पकड़ सकता था, जैसे "king" घटा "man" जोड़ "woman" "queen" के पास पहुँचता है। GloVe, जो उसी अवधि के आसपास जारी किया गया था, ने समान परिणामों के साथ एक प्रतिस्पर्धी गणना-आधारित दृष्टिकोण पेश किया।
एम्बेडिंग कैसे उत्पन्न होती हैं
स्थिर शब्द एम्बेडिंग जैसे word2vec और GloVe संदर्भ की परवाह किए बिना प्रत्येक शब्द के लिए एक निश्चित वेक्टर निर्दिष्ट करते हैं। यह बहुअर्थी शब्दों के लिए विफल हो जाता है: "bank" को नदी और वित्तीय अर्थों को मिलाकर एक ही वेक्टर मिलता है। Transformer (architecture) वास्तुकला और इसकी Attention mechanism ने प्रासंगिक एम्बेडिंग उत्पन्न करके इसे हल किया, जहाँ एक ही शब्द को आसपास के वाक्य के आधार पर एक अलग वेक्टर मिलता है। BERT जैसे मॉडलों ने डाउनस्ट्रीम कार्यों के लिए प्रासंगिक एम्बेडिंग को लोकप्रिय बनाया, और हर आधुनिक Large language model आंतरिक रूप से टोकन को एम्बेडिंग के रूप में प्रस्तुत करता है जो परत दर परत परिष्कृत होते हैं।
पाठ से परे, एम्बेडिंग किसी भी मोडैलिटी के लिए सामान्यीकृत होती हैं। CLIP छवि और पाठ एन्कोडर को संयुक्त रूप से प्रशिक्षित करता है ताकि एक बिल्ली की तस्वीर और कैप्शन "a cat" एक साझा स्थान में एक-दूसरे के पास स्थित हों, जो आधुनिक Text-to-image generation निर्माण और बहु-मोडल पुनर्प्राप्ति का आधार है। अनुशंसा प्रणालियाँ उपयोगकर्ताओं और वस्तुओं को एक साझा स्थान में एम्बेड करती हैं ताकि निकटता प्राथमिकता की भविष्यवाणी करे, और जीव विज्ञान ने प्रोटीन अनुक्रमों को एम्बेड करने के लिए भी यही तरकीब अपनाई है।
अनुप्रयोग
एम्बेडिंग Semantic search का आधार हैं, जहाँ एक क्वेरी को एम्बेड किया जाता है और कोसाइन समानता या डॉट उत्पाद का उपयोग करके एम्बेडेड दस्तावेज़ों के संग्रह के साथ तुलना की जाती है, न कि सटीक कीवर्ड मिलान से। यह क्षमता Retrieval-augmented generation प्रणालियों को रेखांकित करती है, जो एक ज्ञान आधार को एक बार एम्बेड करती हैं और क्वेरी समय पर सबसे प्रासंगिक अंशों को पुनर्प्राप्त करती हैं ताकि LLM के उत्तर को आधारित किया जा सके और भ्रम को कम किया जा सके। लाखों या अरबों एम्बेडिंग को कुशलता से संग्रहीत और खोजना एक Vector database का कार्य है, जो बड़े पैमाने पर समानता खोज को तेज़ बनाने के लिए अनुमानित निकटतम-पड़ोसी अनुक्रमण का उपयोग करता है।
एम्बेडिंग क्लस्टरिंग, डुप्लिकेशन हटाने, विसंगति पहचान और वर्गीकरण को भी सशक्त बनाती हैं, क्योंकि अच्छी एम्बेडिंग के शीर्ष पर प्रशिक्षित एक सरल रैखिक क्लासिफायर अक्सर खरोंच से प्रशिक्षित कहीं अधिक जटिल मॉडलों के साथ प्रतिस्पर्धात्मक रूप से प्रदर्शन करता है। अनुशंसा और खोज-रैंकिंग प्रणालियों में, उपयोगकर्ताओं और वस्तुओं की एम्बेडिंग अक्सर संयुक्त रूप से सीखी जाती हैं और व्यवहार डेटा जमा होने पर लगातार अद्यतन की जाती हैं।
गुण और सीमाएँ
एम्बेडिंग का आयाम, आमतौर पर पाठ के लिए कुछ सौ से कुछ हज़ार तक, एक डिज़ाइन विकल्प है जो अभिव्यक्ति को भंडारण और गणना लागत के साथ संतुलित करता है। परिणामी ज्यामितीय संरचना को कभी-कभी Latent space कहा जाता है, और उस स्थान में दो बिंदुओं के बीच प्रक्षेप करने से प्रशंसनीय मध्यवर्ती उदाहरण उत्पन्न हो सकते हैं, एक गुण जिसका जनरेटिव छवि और ऑडियो मॉडल में व्यापक रूप से उपयोग किया जाता है।
एम्बेडिंग अपने प्रशिक्षण डेटा में मौजूद पूर्वाग्रहों को विरासत में लेती हैं: वेब पाठ पर प्रशिक्षित शब्द एम्बेडिंग को उनके ज्यामितीय संबंधों में लिंग और नस्लीय रूढ़ियों को एन्कोड करते हुए दिखाया गया है, जो Algorithmic bias अनुसंधान में एक व्यापक रूप से उद्धृत निष्कर्ष है। वे वितरण बदलाव के प्रति भी संवेदनशील हो सकती हैं, जिसका अर्थ है कि एक डोमेन, जैसे सामान्य वेब पाठ, पर प्रशिक्षित एम्बेडिंग मॉडल अतिरिक्त Fine-tuning के बिना कानूनी या चिकित्सा दस्तावेज़ों जैसे विशेष डोमेन पर लागू होने पर खराब प्रदर्शन कर सकता है। इन चेतावनियों के बावजूद, एम्बेडिंग आधुनिक AI प्रणालियों में सबसे टिकाऊ और व्यापक रूप से पुनः उपयोग किए जाने वाले निर्माण खंडों में से एक बनी हुई हैं, जो 2013 के word2vec सफलता के बाद से अवधारणा में काफी हद तक अपरिवर्तित हैं, भले ही उन्हें उत्पन्न करने वाले मॉडल कहीं अधिक सक्षम हो गए हैं।