FUNSD (फॉर्म अंडरस्टैंडिंग इन नॉइज़ी स्कैन्ड डॉक्यूमेंट्स) एक सार्वजनिक रूप से उपलब्ध डेटासेट है जिसे दस्तावेज़ समझ में अनुसंधान के लिए डिज़ाइन किया गया है, विशेष रूप से शोरगुल वाले, वास्तविक दुनिया के स्कैन किए गए फॉर्मों से जानकारी निकालने पर केंद्रित है। 2019 में जारी, यह टेक्स्ट डिटेक्शन, ऑप्टिकल कैरेक्टर रिकग्निशन (OCR) सुधार, और शब्दार्थ इकाई लेबलिंग जैसे कार्यों के लिए एक बेंचमार्क प्रदान करता है। यह डेटासेट Artificial intelligence और Machine learning के क्षेत्र में व्यापक रूप से उपयोग किया जाता है ताकि उन मॉडलों का मूल्यांकन किया जा सके जो दृश्य दस्तावेज़ों को संसाधित करते हैं, कच्चे छवि डेटा और संरचित जानकारी निष्कर्षण के बीच की खाई को पाटते हुए।
डेटासेट में 199 पूर्ण रूप से एनोटेट किए गए फॉर्म शामिल हैं, जिनमें से प्रत्येक में मुद्रित और हस्तलिखित टेक्स्ट, तालिकाओं और विभिन्न लेआउट तत्वों का मिश्रण होता है। ये फॉर्म विभिन्न रिज़ॉल्यूशन पर स्कैन किए जाते हैं और इनमें दाग, तिरछापन और कम कंट्रास्ट जैसे सामान्य शोर दोष शामिल होते हैं, जो उन्हें वास्तविक दुनिया की दस्तावेज़ प्रसंस्करण चुनौतियों का प्रतिनिधि बनाते हैं। FUNSD एनोटेशन में शब्द-स्तरीय बाउंडिंग बॉक्स, टेक्स्ट सामग्री, और हेडर, प्रश्न, उत्तर और अन्य कुंजी-मूल्य जोड़े जैसी संस्थाओं के लिए शब्दार्थ लेबल शामिल हैं। यह समृद्ध एनोटेशन योजना लेआउट विश्लेषण और शब्दार्थ समझ दोनों का समर्थन करती है, जिससे एंड-टू-एंड सिस्टम का विकास संभव होता है जो फॉर्मों को मशीन-पठनीय संरचनाओं में पार्स कर सकते हैं।
डेटासेट संरचना और एनोटेशन
FUNSD में 199 फॉर्म हैं, जिनमें कुल 31,485 शब्द और 9,707 शब्दार्थ इकाइयाँ हैं। फॉर्म विभिन्न डोमेन से लिए गए हैं, जिनमें चालान, रसीदें और प्रशासनिक दस्तावेज़ शामिल हैं। प्रत्येक शब्द को एक बाउंडिंग बॉक्स, उसकी टेक्स्ट सामग्री और एक पूर्वनिर्धारित सेट से एक शब्दार्थ लेबल के साथ एनोटेट किया गया है: हेडर, प्रश्न, उत्तर या अन्य। इसके अतिरिक्त, संस्थाओं के बीच संबंधों को फॉर्मों की संरचना को पकड़ने के लिए एनोटेट किया जाता है, जैसे कि कौन सा उत्तर किस प्रश्न से मेल खाता है। डेटासेट को 149 फॉर्मों के प्रशिक्षण सेट और 50 फॉर्मों के परीक्षण सेट में विभाजित किया गया है, जिससे मानकीकृत मूल्यांकन संभव होता है।
एनोटेशन प्रक्रिया मानव एनोटेटरों द्वारा की गई थी, जिससे उच्च-गुणवत्ता वाली ग्राउंड ट्रुथ सुनिश्चित होती है। स्कैन की शोरगुल वाली प्रकृति, जिसमें धुंधला टेक्स्ट और ओवरलैपिंग तत्व शामिल हैं, FUNSD को एक चुनौतीपूर्ण बेंचमार्क बनाती है। सिंथेटिक डेटासेट के विपरीत, FUNSD वास्तविक दुनिया के दस्तावेज़ों की खामियों को दर्शाता है, जो उत्पादन वातावरण में तैनात किए जा सकने वाले मजबूत मॉडल विकसित करने के लिए महत्वपूर्ण है।
कार्य और मूल्यांकन मेट्रिक्स
FUNSD का उपयोग मुख्य रूप से दो कार्यों के लिए किया जाता है: शब्दार्थ इकाई लेबलिंग और संबंध निष्कर्षण। शब्दार्थ इकाई लेबलिंग में, एक मॉडल को प्रत्येक शब्द या टेक्स्ट खंड को चार शब्दार्थ श्रेणियों में से एक को सौंपना होता है। मानक मूल्यांकन मीट्रिक F1 स्कोर है, जो सटीकता और पुनर्प्राप्ति को संतुलित करता है। संबंध निष्कर्षण के लिए, मॉडल संस्थाओं के बीच लिंक की भविष्यवाणी करते हैं (जैसे, प्रश्न-उत्तर जोड़े), और प्रदर्शन को सही ढंग से अनुमानित संबंधों पर F1 स्कोर का उपयोग करके मापा जाता है।
इन कार्यों को अक्सर Deep learning आर्किटेक्चर का उपयोग करके निपटाया जाता है, विशेष रूप से Transformer (architecture)-आधारित मॉडल जो दृश्य और पाठ्य सुविधाओं को जोड़ते हैं। उदाहरण के लिए, LayoutLM और इसके उत्तराधिकारी जैसे मॉडलों को FUNSD पर बेंचमार्क किया गया है, जो पारंपरिक OCR-आधारित पाइपलाइनों पर महत्वपूर्ण सुधार प्राप्त करते हैं। डेटासेट का उपयोग Large language model अनुसंधान के साथ भी किया गया है, जहां मॉडलों को दस्तावेज़ छवियों से जानकारी निकालने के लिए प्रेरित किया जाता है, हालांकि प्राथमिक ध्यान विशेष दस्तावेज़ समझ मॉडल पर रहता है।
दस्तावेज़ AI में महत्व
FUNSD दस्तावेज़ समझ के क्षेत्र में एक मानक बेंचमार्क बन गया है, जो Artificial intelligence की एक उपशाखा है जो असंरचित दस्तावेज़ों से संरचित डेटा निकालने से संबंधित है। इसकी शोरगुल वाली प्रकृति इसे स्वच्छ डेटासेट से अलग करती है, जिससे शोधकर्ताओं को ऐसे मॉडल विकसित करने के लिए प्रेरित किया जाता है जो वास्तविक दुनिया की विविधताओं के प्रति मजबूत हों। डेटासेट को सैकड़ों पेपरों में उद्धृत किया गया है और अक्सर नए आर्किटेक्चर के लिए आधार रेखा के रूप में उपयोग किया जाता है, जिसमें Neural network घटकों जैसे Multi-Head Attention और Residual Network (ResNet) ब्लॉक शामिल हैं।
FUNSD की उपलब्धता ने CORD और SROIE जैसे संबंधित डेटासेट के विकास को भी प्रेरित किया है, जो रसीदों जैसे विशिष्ट दस्तावेज़ प्रकारों पर केंद्रित हैं। हालांकि, FUNSD अपने शोरगुल वाले स्कैन किए गए फॉर्मों पर जोर देने के कारण अद्वितीय बना हुआ है, जो इसे सामान्यीकरण का परीक्षण करने के लिए एक मूल्यवान संसाधन बनाता है। MIT CSAIL और Stanford AI Lab जैसे संस्थानों के शोधकर्ताओं ने नए दृष्टिकोणों को मान्य करने के लिए FUNSD का उपयोग किया है, और यह मॉडल प्रदर्शन की तुलना करने के लिए एक संदर्भ बिंदु बना हुआ है।
सीमाएँ और भविष्य की दिशाएँ
इसकी उपयोगिता के बावजूद, FUNSD की सीमाएँ हैं। डेटासेट अपेक्षाकृत छोटा है, केवल 199 फॉर्मों के साथ, जो बड़े मॉडलों को प्रशिक्षित करते समय ओवरफिटिंग का कारण बन सकता है। इसके अतिरिक्त, शब्दार्थ लेबल सेट मोटा है, जिसमें विशिष्ट फ़ील्ड प्रकारों (जैसे, तिथियाँ या राशियाँ) जैसे सूक्ष्म भेदों की कमी है। संबंध एनोटेशन भी स्पष्ट लिंक तक सीमित हैं, जटिल फॉर्मों में मौजूद अंतर्निहित संरचनाओं को अनदेखा करते हुए।
दस्तावेज़ समझ में भविष्य का काम बड़े, अधिक विविध डेटासेट बनाकर या सिंथेटिक डेटा जनरेशन तकनीकों का उपयोग करके इन सीमाओं को संबोधित कर सकता है। Generative AI और Transformer (architecture)-आधारित मॉडलों के उदय ने शून्य-शॉट दस्तावेज़ पार्सिंग के लिए नए रास्ते खोले हैं, जहां सामान्य टेक्स्ट पर प्रशिक्षित मॉडल को न्यूनतम फाइन-ट्यूनिंग के साथ फॉर्म समझ के लिए अनुकूलित किया जा सकता है। 2020 के दशक की शुरुआत तक, FUNSD एक प्रमुख बेंचमार्क बना हुआ है, लेकिन यह क्षेत्र अधिक व्यापक मूल्यांकन सुइट्स की ओर विकसित हो रहा है जिसमें कई दस्तावेज़ प्रकार और कार्य शामिल हैं।
निष्कर्ष
FUNSD फॉर्म समझ के लिए एक यथार्थवादी और चुनौतीपूर्ण परीक्षण मंच प्रदान करता है, जो स्कैन किए गए दस्तावेज़ों में निहित शोर और परिवर्तनशीलता को पकड़ता है। इसके एनोटेशन लेआउट और शब्दार्थ विश्लेषण दोनों का समर्थन करते हैं, जिससे यह शोधकर्ताओं के लिए एक बहुमुखी संसाधन बन जाता है। हालांकि आकार और लेबल ग्रैन्युलैरिटी में इसकी सीमाएँ हैं, दस्तावेज़ AI मॉडल के विकास पर इसका प्रभाव निर्विवाद है। डेटासेट असंरचित दृश्य डेटा से संरचित जानकारी निकालने में अत्याधुनिक प्रगति के लिए एक मौलिक उपकरण बना हुआ है।