Yelp Full प्राकृतिक भाषा प्रसंस्करण (NLP) में समीक्षा रेटिंग वर्गीकरण के कार्य के लिए व्यापक रूप से उपयोग किया जाने वाला बेंचमार्क डेटासेट है। इसमें Yelp समीक्षाएँ शामिल हैं जिन्हें 1 से 5 तक के स्टार रेटिंग के साथ लेबल किया गया है, और लक्ष्य समीक्षा पाठ के आधार पर रेटिंग की भविष्यवाणी करना है। डेटासेट का उपयोग आमतौर पर पाठ वर्गीकरण मॉडलों के प्रदर्शन का मूल्यांकन करने के लिए किया जाता है, जिसमें पारंपरिक मशीन लर्निंग दृष्टिकोण और आधुनिक डीप लर्निंग आर्किटेक्चर शामिल हैं।
डेटासेट को 2015 में Xiang Zhang एट अल. द्वारा "Character-level Convolutional Networks for Text Classification" पेपर के भाग के रूप में पेश किया गया था। यह बड़े Yelp डेटासेट से लिया गया है, जिसमें स्थानीय व्यवसायों की लाखों उपयोगकर्ता समीक्षाएँ शामिल हैं। Yelp Full संस्करण समीक्षाओं का एक उपसमुच्चय लेकर बनाया गया है, जिसमें पाँच रेटिंग वर्गों में संतुलित वितरण सुनिश्चित किया गया है। प्रशिक्षण सेट में 650,000 नमूने हैं, और परीक्षण सेट में 50,000 नमूने हैं। प्रत्येक समीक्षा एक कच्चा पाठ स्ट्रिंग है, और लेबल संबंधित स्टार रेटिंग (1 से 5) है।
डेटासेट निर्माण
Yelp Full डेटासेट Yelp Dataset Challenge से बनाया गया है, जो उपयोगकर्ता समीक्षाओं का एक बड़ा संग्रह प्रदान करता है। संतुलित उपसमुच्चय बनाने के लिए, लेखकों ने प्रशिक्षण के लिए प्रति रेटिंग वर्ग 130,000 समीक्षाएँ यादृच्छिक रूप से चुनीं, जो कुल 650,000 बनती हैं, और परीक्षण के लिए प्रति वर्ग 10,000, जो कुल 50,000 बनती हैं। यह संतुलित डिज़ाइन सुनिश्चित करता है कि सटीकता एक सार्थक मीट्रिक है, क्योंकि यादृच्छिक अनुमान 20% सटीकता देगा। समीक्षाओं को बुनियादी टोकनाइज़ेशन से परे पूर्व-संसाधित नहीं किया जाता है, जिससे वर्ण-स्तर या शब्द-स्तर मॉडलिंग के लिए मूल पाठ संरक्षित रहता है।
अनुसंधान में उपयोग
Yelp Full का उपयोग अक्सर पाठ वर्गीकरण के लिए एक मानक बेंचमार्क के रूप में किया जाता है। यह कन्वोल्यूशनल न्यूरल नेटवर्क (CNN), आवर्तक न्यूरल नेटवर्क (RNN), और ट्रांसफॉर्मर-आधारित मॉडलों का मूल्यांकन करने वाले शोध पत्रों में दिखाई देता है। उदाहरण के लिए, यह Zhang एट अल. द्वारा व्यापक रूप से उद्धृत बेंचमार्क सूट में शामिल डेटासेट में से एक है, जिसमें AG News, DBPedia, और Amazon समीक्षाएँ भी शामिल हैं। डेटासेट विशेष रूप से वर्गीकरण सटीकता पर मॉडल आर्किबद्धता, एम्बेडिंग तकनीकों और प्रशिक्षण रणनीतियों के प्रभाव का अध्ययन करने के लिए उपयोगी है।
हाल के वर्षों में, Yelp Full का उपयोग बड़े भाषा मॉडल (LLM) और ट्रांसफर लर्निंग दृष्टिकोणों का परीक्षण करने के लिए किया गया है। BERT और इसके वेरिएंट जैसे मॉडल इस कार्य पर उच्च सटीकता प्राप्त करते हैं, अक्सर परीक्षण सेट पर 95% से अधिक। हालाँकि, डेटासेट उन मॉडलों के लिए चुनौतीपूर्ण बना हुआ है जो पूर्व-प्रशिक्षित प्रतिनिधित्व का लाभ नहीं उठाते हैं, जिससे यह विभिन्न NLP पद्धतियों की तुलना के लिए एक उपयोगी आधार रेखा बन जाता है।
संबंधित कार्य और वेरिएंट
Yelp Full की तुलना अक्सर Yelp Polarity डेटासेट से की जाती है, जो एक बाइनरी वर्गीकरण संस्करण है जहाँ 1-2 रेटिंग वाली समीक्षाओं को नकारात्मक और 4-5 को सकारात्मक लेबल किया जाता है (रेटिंग 3 को बाहर रखा गया है)। पूर्ण संस्करण अधिक सूक्ष्म है और इस प्रकार अधिक चुनौतीपूर्ण है। शोधकर्ता कभी-कभी प्रतिगमन दृष्टिकोण या क्रमिक वर्गीकरण विधियों का मूल्यांकन करने के लिए Yelp Full का उपयोग करते हैं, क्योंकि रेटिंग में एक प्राकृतिक क्रम होता है। डेटासेट का उपयोग मल्टी-टास्क लर्निंग सेटिंग्स में भी किया जाता है, जहाँ मॉडल रेटिंग और समीक्षा उपयोगिता जैसी अन्य विशेषताओं दोनों की भविष्यवाणी करते हैं।
मूल्यांकन मीट्रिक
Yelp Full के लिए सटीकता प्राथमिक मूल्यांकन मीट्रिक है, क्योंकि वर्ग संतुलित हैं। कुछ अध्ययन F1-स्कोर, परिशुद्धता और प्रत्यावर्तन की भी रिपोर्ट करते हैं, विशेष रूप से प्रति-वर्ग प्रदर्शन का विश्लेषण करते समय। चूँकि डेटासेट संतुलित है, सटीकता मॉडलों के बीच एक सीधी तुलना प्रदान करती है। Yelp Full पर अत्याधुनिक परिणाम इसकी शुरुआत के बाद से काफी सुधर गए हैं, वर्ण-स्तर CNN के साथ लगभग 60% सटीकता से लेकर फाइन-ट्यून किए गए ट्रांसफॉर्मर मॉडल के साथ 96% से अधिक तक।
यह भी देखें
संदर्भ
- Zhang, X., Zhao, J., & LeCun, Y. (2015). Character-level Convolutional Networks for Text Classification. Advances in Neural Information Processing Systems.
- Yelp Dataset Challenge (https://www.yelp.com/dataset_challenge)