TREC-6 प्राकृतिक भाषा प्रसंस्करण में प्रश्न वर्गीकरण के लिए व्यापक रूप से उपयोग किया जाने वाला बेंचमार्क है। यह छह मोटे शब्दार्थ श्रेणियों को परिभाषित करता है जिनमें एक प्रश्न रखा जाता है: ABBREVIATION, ENTITY, DESCRIPTION, HUMAN, LOCATION, और NUMERIC। यह डेटासेट 1999 में छठे Text REtrieval Conference (TREC-6) प्रश्न उत्तर ट्रैक के हिस्से के रूप में पेश किया गया था, और तब से यह प्रश्नों को इन श्रेणियों में मैप करने वाले वर्गीकरणकर्ताओं के मूल्यांकन के लिए एक मानक परीक्षण मंच बन गया है।
यह कार्य आमतौर पर एक पर्यवेक्षित शिक्षण समस्या के रूप में तैयार किया जाता है: एक प्रश्न स्ट्रिंग दिए जाने पर, एक सिस्टम को छह लेबलों में से एक आउटपुट करना होता है। मूल TREC-6 डेटासेट में 5,452 प्रशिक्षण प्रश्न और 500 परीक्षण प्रश्न हैं, जिनमें मोटे लेबल 50 वर्गों के बारीक-दानेदार पदानुक्रम से प्राप्त होते हैं। बेंचमार्क का उपयोग अक्सर TREC-10 और TREC-11 वेरिएंट के साथ किया जाता है, लेकिन TREC-6 विशेष रूप से छह-वर्गीय मोटे सेटिंग को संदर्भित करता है। शोधकर्ताओं ने इसका उपयोग फीचर-आधारित विधियों, जैसे कि शाब्दिक और वाक्य-विन्यास सुविधाओं वाले सपोर्ट वेक्टर मशीनों, की तुलना आधुनिक तंत्रिका नेटवर्क दृष्टिकोणों से करने के लिए किया है।
डेटासेट और कार्य परिभाषा
TREC-6 डेटासेट TREC QA ट्रैक के प्रश्न संग्रह से प्राप्त होता है, जिसमें TREC-8 और TREC-9 कॉर्पोरा जैसे स्रोतों के प्रश्न शामिल हैं। प्रत्येक प्रश्न छह मोटे प्रकारों में से एक के साथ एनोटेट किया गया है। उदाहरण के लिए, "What is the capital of France?" LOCATION के अंतर्गत आता है, जबकि "Who wrote Hamlet?" HUMAN है। NUMERIC श्रेणी मात्रा, तिथियों और प्रतिशत के बारे में प्रश्नों को कवर करती है। ENTITY श्रेणी में विशिष्ट वस्तुओं के बारे में प्रश्न शामिल हैं, जैसे "What is the tallest building?" ABBREVIATION श्रेणी "What does NATO stand for?" जैसे प्रश्नों को संभालती है, और DESCRIPTION परिभाषाओं और स्पष्टीकरणों के बारे में प्रश्नों को कवर करती है।
मानक मूल्यांकन मीट्रिक परीक्षण सेट पर वर्गीकरण सटीकता है। चूंकि वर्ग असंतुलित हैं (ENTITY और NUMERIC अधिक बार-बार होते हैं), सटीकता अभी भी प्राथमिक रिपोर्ट की गई संख्या है, लेकिन कुछ अध्ययन प्रति-वर्ग F1 स्कोर भी रिपोर्ट करते हैं। बेंचमार्क आधुनिक मानकों से छोटा है, लेकिन यह त्वरित प्रोटोटाइपिंग और प्रश्न वाक्यांश के वर्गीकरण पर प्रभाव का अध्ययन करने के लिए उपयोगी बना हुआ है।
ऐतिहासिक संदर्भ
TREC-6 अमेरिकी राष्ट्रीय मानक और प्रौद्योगिकी संस्थान (NIST) द्वारा चलाए गए TREC सम्मेलन श्रृंखला का हिस्सा था। प्रश्न उत्तर ट्रैक 1999 में TREC-8 के साथ शुरू हुआ, लेकिन TREC-6 लेबल विशेष रूप से छठे TREC कार्यक्रम को संदर्भित करता है, जिसमें एक पायलट QA कार्य शामिल था। मोटे वर्गीकरण योजना को बाद के वर्षों में औपचारिक रूप दिया गया, और TREC-6 डेटासेट शैक्षणिक पत्रों में एक सामान्य संदर्भ बन गया। प्रारंभिक सिस्टम हाथ से बनाए गए नियमों और सांख्यिकीय वर्गीकरणकर्ताओं पर निर्भर थे, अक्सर शब्द n-ग्राम, भाषण-भाग टैग और नामित इकाई पहचान जैसी सुविधाओं का उपयोग करते थे।
दृष्टिकोण और प्रदर्शन
TREC-6 के लिए क्लासिक दृष्टिकोणों में बैग-ऑफ-वर्ड्स सुविधाओं के साथ सपोर्ट वेक्टर मशीन का उपयोग शामिल है, जिसने लगभग 80-85% सटीकता हासिल की। अधिक परिष्कृत विधियों में वाक्य-विन्यास पार्स ट्री और शब्दार्थ भूमिका लेबलिंग शामिल थी। गहन शिक्षण के उदय के साथ, शोधकर्ताओं ने कन्वोल्यूशनल तंत्रिका नेटवर्क और आवर्ती नेटवर्क लागू किए, जो अक्सर 90-95% सटीकता तक पहुंच गए। ट्रांसफार्मर-आधारित मॉडलों, जैसे BERT, की शुरूआत ने परीक्षण सेट पर सटीकता को 97% से ऊपर धकेल दिया, हालांकि डेटासेट का छोटा आकार यह सुनिश्चित करता है कि रनों के बीच भिन्नता महत्वपूर्ण हो सकती है।
एक उल्लेखनीय तकनीक डेटा संवर्धन का उपयोग है ताकि प्रशिक्षण सेट का विस्तार किया जा सके, क्योंकि 5,452 प्रश्न अपेक्षाकृत सीमित हैं। कुछ अध्ययनों ने कठिनाई के आधार पर प्रशिक्षण उदाहरणों को क्रमबद्ध करने के लिए पाठ्यक्रम शिक्षण का भी उपयोग किया है। बेंचमार्क का उपयोग अक्सर नए आर्किटेक्चर के लिए सैनिटी चेक के रूप में किया जाता है, क्योंकि यह हल्का और प्रशिक्षित करने में तेज़ है।
आधुनिक सिस्टम से संबंध
जबकि TREC-6 एक सरल वर्गीकरण कार्य है, यह बड़े प्रश्न उत्तर पाइपलाइनों के एक घटक के रूप में प्रासंगिक बना हुआ है। आधुनिक बड़े भाषा मॉडल लगभग पूर्ण सटीकता के साथ TREC-6 को हल कर सकते हैं, लेकिन बेंचमार्क का उपयोग अभी भी वर्गीकरणकर्ताओं की व्याख्यात्मकता का मूल्यांकन करने और पैराफ्रेज़िंग के प्रति मजबूती का परीक्षण करने के लिए किया जाता है। मोटे श्रेणियों का उपयोग संवाद सिस्टम और सूचना पुनर्प्राप्ति में भी किया जाता है ताकि क्वेरी को उपयुक्त हैंडलर तक रूट किया जा सके।
बेंचमार्क को बहुत आसान होने और वास्तविक दुनिया के प्रश्नों की जटिलता को प्रतिबिंबित न करने के लिए आलोचना की गई है, लेकिन इसे अभी भी पत्रों में एक आधार रेखा के रूप में उद्धृत किया जाता है। TREC-6 डेटासेट सार्वजनिक रूप से उपलब्ध है और इसे NIST वेबसाइट या लोकप्रिय मशीन लर्निंग लाइब्रेरी के माध्यम से डाउनलोड किया जा सकता है।