CORD (Consolidated Receipt Dataset) es un conjunto de datos disponible públicamente diseñado para la investigación en la comprensión de recibos, un subcampo de la comprensión de documentos dentro de la inteligencia artificial. Consiste en más de 11,000 imágenes de recibos anotadas recopiladas de fuentes del mundo real, que cubren diversos comercios, diseños e idiomas. El conjunto de datos proporciona anotaciones a nivel de píxel y a nivel de token que respaldan tareas como la extracción de información clave, la segmentación semántica y el reconocimiento de entidades, lo que lo convierte en un punto de referencia para evaluar modelos que procesan recibos.
CORD fue introducido en 2019 por investigadores de la Corporación Naver y la Universidad de Ciencia y Tecnología de Corea del Sur. El conjunto de datos se creó para abordar la falta de datos anotados estandarizados y a gran escala para el análisis de recibos, lo cual es crítico para aplicaciones como el seguimiento de gastos, la automatización contable y los sistemas de pago móvil. Desde su publicación, CORD ha sido ampliamente adoptado en la investigación académica y la industria, sirviendo como un banco de pruebas estándar para comparar enfoques de aprendizaje profundo y aprendizaje automático para la inteligencia documental.
Las anotaciones en CORD siguen una estructura jerárquica que organiza la información de los recibos en categorías como nombre de la tienda, fecha, hora, artículos, precios y métodos de pago. Cada región de texto está etiquetada con una clase semántica, y se capturan las relaciones entre regiones (por ejemplo, artículo a precio). Esta anotación de grano fino permite que los modelos aprendan no solo qué información está presente, sino también cómo está estructurada, lo cual es esencial para tareas posteriores como la contabilidad automatizada.
Estructura de Anotación
El esquema de anotación de CORD define 30 clases en 4 categorías principales: menú, submenú, artículo y opción, junto con campos adicionales como cantidad, precio unitario y total. A cada segmento de texto se le asigna una clase, y las relaciones espaciales entre segmentos se codifican como bordes dirigidos. Por ejemplo, un nombre de artículo está vinculado a su precio unitario y cantidad correspondientes. Esta estructura respalda tanto la clasificación plana como el aprendizaje relacional, lo que permite que los modelos realicen extracción conjunta y predicción de relaciones.
El conjunto de datos incluye cuadros delimitadores para cada región de texto, así como el contenido del texto y su etiqueta de clase. Las anotaciones se proporcionan en formato JSON, lo que facilita la integración con pipelines modernos de redes neuronales. El diseño jerárquico también permite la evaluación tanto del rendimiento a nivel de token como a nivel de segmento, brindando a los investigadores métricas detalladas.
Aplicaciones en la Investigación de IA
CORD se ha convertido en un punto de referencia para desarrollar y evaluar modelos en la comprensión de documentos. Se utiliza comúnmente para entrenar y probar arquitecturas basadas en transformers, como aquellas que combinan características visuales y textuales. Por ejemplo, modelos como LayoutLM y Donut han sido evaluados en CORD, demostrando su utilidad para avanzar en el estado del arte. El conjunto de datos también respalda la investigación en IA generativa, donde los modelos generan salidas estructuradas a partir de imágenes de recibos sin procesar.
Más allá de la investigación académica, CORD tiene aplicaciones prácticas en industrias que dependen de la digitalización de recibos. Las empresas de fintech, comercio minorista y logística utilizan modelos entrenados en CORD para automatizar la entrada de datos, reducir errores manuales y mejorar las experiencias del cliente. La diversidad en los formatos de recibos del conjunto de datos ayuda a garantizar que los modelos se generalicen a variaciones del mundo real, como diferentes fuentes, orientaciones y condiciones de iluminación.
Desafíos Técnicos
La comprensión de recibos plantea varios desafíos que CORD ayuda a los investigadores a abordar. Los recibos a menudo contienen texto ruidoso, elementos superpuestos y diseños irregulares, lo que dificulta una segmentación precisa. Además, la variedad de idiomas y monedas en CORD requiere que los modelos manejen entradas multilingües y de múltiples formatos. Otro desafío es el pequeño tamaño de algunas regiones de texto, que pueden ser pasadas por alto por los sistemas de detección. Las anotaciones detalladas de CORD permiten a los investigadores aislar estos problemas y desarrollar soluciones específicas, como técnicas mejoradas de aumento de datos o mecanismos de atención de múltiples cabezas.
Conjuntos de Datos y Puntos de Referencia Relacionados
CORD se compara a menudo con otros conjuntos de datos de recibos y documentos, como SROIE (Scanned Receipts OCR and Information Extraction) y FUNSD (Form Understanding in Noisy Documents). Mientras que SROIE se centra en la extracción de información clave de recibos, CORD proporciona anotaciones más ricas, incluida la segmentación semántica y la extracción de relaciones. Esto hace que CORD sea más adecuado para tareas que requieren una comprensión más profunda de la estructura del documento. Los investigadores utilizan frecuentemente CORD junto con estos conjuntos de datos para evaluar la generalización de sus modelos en diferentes tipos de documentos.
Direcciones Futuras
El campo de la comprensión de documentos está evolucionando rápidamente, con modelos de lenguaje grandes siendo adaptados para tareas multimodales. Es probable que CORD siga siendo un recurso valioso para entrenar y evaluar dichos modelos, especialmente a medida que se vuelven más capaces de manejar diseños e idiomas complejos. Las extensiones futuras de CORD podrían incluir formatos de recibos más diversos, idiomas adicionales y anotaciones para nuevas tareas como la extracción de tablas o la detección de anomalías. A medida que la inteligencia artificial continúa avanzando, conjuntos de datos como CORD desempeñarán un papel crucial para garantizar que los modelos sean robustos, precisos y aplicables a escenarios del mundo real.