FUNSD (Form Understanding in Noisy Scanned Documents) est un ensemble de données accessible au public, conçu pour la recherche en compréhension de documents, en se concentrant spécifiquement sur l'extraction d'informations à partir de formulaires scannés réels et bruités. Publié en 2019, il fournit une référence pour des tâches telles que la détection de texte, la correction de la reconnaissance optique de caractères (OCR) et l'étiquetage d'entités sémantiques. L'ensemble de données est largement utilisé dans le domaine de l'artificial-intelligence et de l'machine-learning pour évaluer des modèles qui traitent des documents visuels, comblant ainsi l'écart entre les données d'image brutes et l'extraction d'informations structurées.
L'ensemble de données se compose de 199 formulaires entièrement annotés, chacun contenant un mélange de texte imprimé et manuscrit, des tableaux et divers éléments de mise en page. Ces formulaires sont numérisés à différentes résolutions et incluent des artefacts de bruit courants comme des taches, une inclinaison et un faible contraste, ce qui les rend représentatifs des défis de traitement de documents réels. Les annotations FUNSD incluent des boîtes englobantes au niveau des mots, le contenu textuel et des étiquettes sémantiques pour des entités telles que les en-têtes, les questions, les réponses et d'autres paires clé-valeur. Ce schéma d'annotation riche prend en charge à la fois l'analyse de la mise en page et la compréhension sémantique, permettant le développement de systèmes de bout en bout qui peuvent parse que les formulaires en structures lisibles par machine.
Composition et annotation de l'ensemble de données
FUNSD contient 199 formulaires, avec un total de 31 485 mots et 9 707 entités sémantiques. Les formulaires proviennent de divers domaines, y compris les factures, les reçus et les documents administratifs. Chaque mot est annoté avec une boîte englobante, son contenu textuel et une étiquette sémantique d'un ensemble prédéfini : en-tête, question, réponse ou autre. De plus, les relations entre les entités sont annotées pour capturer la structure des formulaires, telles que quelle réponse correspond à quelle question. L'ensemble de données est divisé en un ensemble d'apprentissage de 149 formulaires et un ensemble de test de 50 formulaires, permettant une évaluation standardisée.
Le processus d'annotation a été effectué par des annotateurs humains, garantissant une vérité de terrain de haute qualité. La nature bruyante des numérisations, y compris le texte flou et les éléments qui se chevauchent, fait de FUNSD un indice de référence exigeant. Contrairement aux données synthétiques, FUNSD refléter les imperfections des documents réels, ce qui est essentiel pour développer des modèles robustes pouvant être déployés dans des environnements de production.
Tâches et métriques d'évaluation
FUNSD est principalement utilisé pour deux tâches : l'étiquetage desentités sémantiques et l'extraction de relations. Dans l'étiquetage desentités sémantiques, un modèle doit attribuer à chaque mot ou segment de texte l'une des quatre catégories sémantiques. La métrique d'évaluation métrique est le score F1, qui équilibre précision et rappel. Pour l'extraction de relations, les modèles prédisent des liens entre les entités (par exemple, des paires question-réponse), et les performances sont mesurées à l'aide du score F1 sur les relations correctement prédites.
Ces tâches sont souvent traitées à l'aide de architectures d'apprentissage profond, en particulier des modèles basés sur des transformateurs qui combinent des caractéristiques visuelles et textuelles. Par exemple, des modèles comme LayoutLM et ses successeurs ont été évalués sur FUNSD, en réalisant des améliorations significatives par rapport aux pipelines OCR traditionnels. L'ensemble de données a également été utilisé conjointement avec des recherches sur les modèles de langage, où les modèles incités à extraire des informations à partir d'images de documents, bien que l'accent principal reste sur des modèles spécialisés dans la compréhension de documents.
Importance dans la document intelligence
FUNSD est devenu une référence standard dans le domaine de la compréhension de documents, un sous-domaine de l'artificial-intelligence qui traite de l'extraction de données structurées à partir de documents non structurés. Sa nature bruyante le distingue des ensembles de données plus propres, en poussant les chercheurs à développer des modèles robustes aux variations réelles. L'ensemble de données a été cité dans des centaines d'articles et est souvent utilisé comme référence nocturne pour de nouvelles architectures, y compris celles qui emploent des composants de réseaux de neurones comme la multi-head-attention et les blocs de residual-network.
La disponibilité de FUNSD a également stimulé le développement d'ensembles de données connexes, tels que CORD et SROIE, qui se concentrent sur des types de documents spécifiques comme les reçus. Cependant, FUNSD reste unique en raison de son emphasis sur les formulaires numérisés bruit, ce qui en fait une ressource précieuse pour tester la généralisation. Les chercheurs d'institutions comme MIT CSAIL et Stanford AI Lab ont utilisé FUNSD pour valider de nouvelles approches, et il continue d'être un point de référence pour comparer les performances des modèles.
Limites et orientations futures
Malgré son utilité, FUNSD présente des limites. L'ensemble de données est relativement petit, avec seulement 199 formulaires, ce qui peut entraîner un surajustement lors de l'entraînement de grands modèles. De plus, l'ensemble d'étiquettes sémantiques est grossier, manquant de distinctions plus fines comme les types de champs spécifiques (par exemple, dates ou montants). Les annotations relationnelles sont également limitées à des liens explicites, ce qui omit les structures implicites qui peuvent être présentes dans des formulaires complexes.
Les travaux futurs sur la compréhension de documents peuvent résoudre ces limites en créant des ensembles de données plus larges et plus diversifiés, ou en utilisant des techniques de génération de données synthétiques. La popularisation de l'generative-ai et des modèles basés sur des transformateurs a ouvert de nouvelles perspectives pour l'analyse de documents sans exemples préalables, où des modèles entraînés sur des textes généraux peuvent être adaptés à la compréhension de formulaires avec un minimal de réglage fin. À partir du début des années 2020, FUNSD reste un benchmark clé, mais le domaine évolue vers des suites d'évaluation plus complètes incluant plusieurs types de sources et de tâches.
Conclusion
FUNSD fournit un environnement d'évaluation réaliste et exigeant pour une compréhension de formulaires, en capturant les bruits et les variations des documents numérisés. Ses annotations en soutenir à la fois une analyse layoutique et sémantique, ce qui en fait une ressource polyvalente pour les chercheurs. Bien qu'il présente des limites, ses effets sur le développement de modèles dans le traitement documentaire IA sont indéniables. L'ensemble de données continue de servir d'outil fondamentale pour faire avancer l'état de l'art en extraction d'informations structurées dans des données visuelles non structurées.