स्टैनफोर्ड सेंटिमेंट ट्रीबैंक (SST-5) भावना विश्लेषण के लिए व्यापक रूप से उपयोग किया जाने वाला डेटासेट है, जो वाक्य और वाक्यांश दोनों स्तरों पर सूक्ष्म भावना लेबल प्रदान करता है। 2013 में Stanford AI Lab के शोधकर्ताओं द्वारा प्रस्तुत, SST-5 मूल बाइनरी भावना वर्गीकरण कार्य को पांच-वर्गीय पैमाने तक विस्तारित करता है: बहुत नकारात्मक, नकारात्मक, तटस्थ, सकारात्मक और बहुत सकारात्मक। इसकी विशिष्ट विशेषता पार्स ट्री में प्रत्येक घटक वाक्यांश के लिए भावना एनोटेशन का समावेश है, जो मॉडलों को शब्दों के बैग के रूप में वाक्य का उपचार करने के बजाय रचनात्मक शब्दार्थ सीखने में सक्षम बनाता है।
डेटासेट मूल रूप से पैंग और ली (2005) द्वारा एकत्रित मूवी समीक्षाओं से लिया गया है, जिसमें प्रत्येक समीक्षा वाक्य को स्टैनफोर्ड पार्सर का उपयोग करके पार्स किया गया है। कॉर्पस में 11,855 एकल वाक्य हैं, जो 8,544 प्रशिक्षण, 1,101 विकास और 2,210 परीक्षण उदाहरणों में विभाजित हैं। प्रत्येक वाक्य को 0 से 4 तक के सूक्ष्म भावना स्कोर के साथ एनोटेट किया गया है, और पेड़ संरचना 215,154 अद्वितीय वाक्यांशों को लेबल करने की अनुमति देती है। यह ग्रैन्युलैरिटी SST-5 को Natural language processing प्रणालियों के लिए एक चुनौतीपूर्ण बेंचमार्क बनाती है, क्योंकि इसके लिए निषेध, विरोधाभास और रचनात्मक प्रभावों की समझ की आवश्यकता होती है।
निर्माण और एनोटेशन
SST-5 के निर्माण में दो-चरणीय प्रक्रिया शामिल थी। पहले, बाइनरी पार्स ट्री उत्पन्न करने के लिए स्टैनफोर्ड पार्सर का उपयोग करके वाक्यों को पार्स किया गया। फिर, मानव एनोटेटरों ने क्राउडसोर्सिंग प्लेटफॉर्म (अमेज़न मैकेनिकल टर्क) का उपयोग करके पेड़ में प्रत्येक नोड को भावना लेबल सौंपा। प्रत्येक वाक्यांश को पांच-बिंदु पैमाने पर रेट किया गया था, और अंतिम लेबल कई एनोटेशन के औसत द्वारा निर्धारित किया गया था। बहु-वर्ग सटीकता द्वारा मापा गया अंतर-एनोटेटर समझौता, लगभग 0.63 था, जो कार्य की सूक्ष्म प्रकृति के कारण मध्यम समझौते का संकेत देता है। डेटासेट का डिज़ाइन वाक्य-स्तर और वाक्यांश-स्तर दोनों भावना के मूल्यांकन की अनुमति देता है, जिससे यह रचनात्मक मॉडलों के परीक्षण के लिए एक मानक बन जाता है।
डीप लर्निंग अनुसंधान में भूमिका
SST-5 भावना विश्लेषण के लिए Deep learning मॉडलों के विकास में सहायक रहा है। प्रारंभिक कार्य में पार्स ट्री पर संचालित पुनरावर्ती तंत्रिका नेटवर्क (RNN) का उपयोग किया गया, जैसे कि सोचर एट अल. (2013) द्वारा प्रस्तुत पुनरावर्ती तंत्रिका टेंसर नेटवर्क (RNTN), जिसने उस समय अत्याधुनिक परिणाम प्राप्त किए। इसके बाद, ट्री-संरचित LSTM और Transformer (architecture)-आधारित मॉडल जैसे Neural network आर्किटेक्चर का SST-5 पर मूल्यांकन किया गया है। डेटासेट का उपयोग अक्सर Large language model फाइन-ट्यूनिंग पर पेपरों में बेंचमार्क के रूप में किया जाता है, जहां BERT और GPT वेरिएंट जैसे मॉडल अपने मूल्यांकन सूट के हिस्से के रूप में SST-5 सटीकता की रिपोर्ट करते हैं। सूक्ष्म लेबल बाइनरी भावना की तुलना में अधिक सूक्ष्म परीक्षण प्रदान करते हैं, जो मॉडलों को सूक्ष्म अंतरों को पकड़ने के लिए प्रेरित करते हैं।
अन्य भावना बेंचमार्क के साथ तुलना
SST-5 की तुलना अक्सर इसके बाइनरी समकक्ष, SST-2 के साथ की जाती है, जो पांच वर्गों को सकारात्मक (लेबल 3-4) और नकारात्मक (लेबल 0-1) में संक्षिप्त करता है, तटस्थ उदाहरणों को हटा देता है। SST-5 तटस्थ वर्ग को बरकरार रखता है, जो इसे उन अनुप्रयोगों के लिए अधिक यथार्थवादी बनाता है जहां तटस्थता आम है। अन्य भावना डेटासेट, जैसे IMDB समीक्षा या Yelp, आमतौर पर केवल दस्तावेज़-स्तरीय बाइनरी लेबल प्रदान करते हैं, जबकि SST-5 वाक्यांश-स्तरीय ग्रैन्युलैरिटी प्रदान करता है। यह SST-5 को रचनात्मक सामान्यीकरण के मूल्यांकन के लिए विशेष रूप से उपयुक्त बनाता है, क्योंकि मॉडलों को यह सीखना होगा कि वाक्यांशों की भावना कैसे मिलकर वाक्य भावना बनाती है। हाल के वर्षों में, SST-5 का उपयोग मॉडलों की Mechanistic interpretability की जांच के लिए भी किया गया है, क्योंकि पेड़ संरचना यह विश्लेषण करने की अनुमति देती है कि कौन से वाक्यांश भविष्यवाणियों में सबसे अधिक योगदान करते हैं।
सीमाएं और आलोचनाएं
अपनी लोकप्रियता के बावजूद, SST-5 की ज्ञात सीमाएं हैं। डेटासेट मूवी समीक्षाओं से लिया गया है, जो डोमेन विविधता को सीमित करता है; SST-5 पर प्रशिक्षित मॉडल अन्य शैलियों या पाठ प्रकारों के लिए अच्छी तरह से सामान्यीकृत नहीं हो सकते हैं। एनोटेशन प्रक्रिया, हालांकि सावधान है, विशेष रूप से तटस्थ वाक्यांशों के लिए व्यक्तिपरकता से ग्रस्त है। इसके अतिरिक्त, पार्स ट्री स्वचालित रूप से उत्पन्न होते हैं, जो डाउनस्ट्रीम कार्यों को प्रभावित करने वाली त्रुटियों को पेश कर सकते हैं। कुछ शोधकर्ताओं ने नोट किया है कि SST-5 के सूक्ष्म लेबल हमेशा मानव अंतर्ज्ञान के अनुरूप नहीं होते हैं, क्योंकि 'नकारात्मक' और 'बहुत नकारात्मक' के बीच का अंतर सूक्ष्म हो सकता है। इन मुद्दों ने वैकल्पिक बेंचमार्क के निर्माण को प्रेरित किया है, लेकिन SST-5 क्षेत्र में एक मानक संदर्भ बिंदु बना हुआ है।
वर्तमान उपयोग और भविष्य की दिशाएं
2020 के दशक के मध्य तक, SST-5 Machine learning अनुसंधान में एक प्रमुख घटक बना हुआ है, जो Generative AI मॉडलों के लिए लीडरबोर्ड और मूल्यांकन सूट में दिखाई देता है। इसका उपयोग अक्सर अन्य GLUE और SuperGLUE कार्यों के साथ किया जाता है, हालांकि यह उन संग्रहों का हिस्सा नहीं है। शोधकर्ताओं ने मजबूती में सुधार के लिए Data Augmentation तकनीकों, जैसे बैक-ट्रांसलेशन या समानार्थी प्रतिस्थापन, के लिए SST-5 का उपयोग करने की खोज की है। भविष्य के कार्य में SST-5 को अन्य भाषाओं में विस्तारित करना या मल्टीमॉडल डेटा को शामिल करना शामिल हो सकता है, लेकिन रचनात्मक भावना बेंचमार्क के रूप में इसकी मूल भूमिका बनी रहने की संभावना है। डेटासेट शैक्षणिक उपयोग के लिए सार्वजनिक रूप से उपलब्ध है, और इसके पार्स ट्री का उपयोग अक्सर नए Sequence-to-Sequence (Seq2Seq) और ध्यान तंत्र के लिए परीक्षण मंच के रूप में किया जाता है।
यह भी देखें
- sentiment-analysis
- Natural language processing
- recursive-neural-network
- Stanford AI Lab
- Large language model