CORD (Consolidated Receipt Dataset) é um conjunto de dados publicamente disponível, projetado para pesquisa em compreensão de recibos, um subcampo da compreensão de documentos dentro da inteligência artificial. Ele consiste em mais de 11.000 imagens anotadas de recibos coletadas de fontes do mundo real, abrangendo diversos comerciantes, layouts e idiomas. O conjunto de dados fornece anotações em nível de pixel e de token que suportam tarefas como extração de informações-chave, segmentação semântica e reconhecimento de entidades, tornando-o um benchmark para avaliar modelos que processam recibos.
O CORD foi introduzido em 2019 por pesquisadores da Naver Corporation e da Universidade de Ciência e Tecnologia da Coreia do Sul. O conjunto de dados foi criado para suprir a falta de dados anotados padronizados e em grande escala para a análise de recibos, o que é essencial para aplicações como rastreamento de despesas, automação contábil e sistemas de pagamento móvel. Desde seu lançamento, o CORD tem sido amplamente adotado em pesquisas acadêmicas e na indústria, servindo como um ambiente de teste padrão para comparar abordagens de aprendizado profundo e aprendizado de máquina para a inteligência documental.
As anotações no CORD seguem uma estrutura hierárquica que organiza as informações dos recibos em categorias como nome da loja, data, hora, itens, preços e métodos de pagamento. Cada região de texto é rotulada com uma classe semântica, e as relações entre regiões (por exemplo, item para preço) são capturadas. Essa anotação detalhada permite que os modelos aprendam não apenas quais informações estão presentes, mas também como elas são estruturadas, o que é essencial para tarefas downstream, como escrituração contábil automatizada.
Estrutura de Anotação
O esquema de anotação do CORD define 30 classes em 4 categorias principais: menu, submenu, item e opção, juntamente com campos adicionais como quantidade, preço unitário e total. Cada segmento de texto recebe uma classe, e as relações espaciais entre segmentos são codificadas como arestas direcionadas. Por exemplo, um nome de item é vinculado ao seu preço unitário e quantidade correspondentes. Essa estrutura suporta tanto a classificação plana quanto o aprendizado relacional, permitindo que os modelos realizem extração conjunta e previsão de relações.
O conjunto de dados inclui caixas delimitadoras para cada região de texto, bem como o conteúdo do texto e seu rótulo de classe. As anotações são fornecidas em formato JSON, facilitando a integração com pipelines modernos de redes neurais. O design hierárquico também permite a avaliação do desempenho tanto em nível de token quanto em nível de segmento, oferecendo aos pesquisadores métricas granulares.
Aplicações na Pesquisa em IA
O CORD tornou-se um ponto de referência para o desenvolvimento e a avaliação de modelos na compreensão de documentos. Ele é comumente usado para treinar e testar arquiteturas baseadas em transformers, como aquelas que combinam características visuais e textuais. Por exemplo, modelos como LayoutLM e Donut foram avaliados no CORD, demonstrando sua utilidade no avanço do estado da arte. O conjunto de dados também apoia pesquisas em IA generativa, onde modelos geram saídas estruturadas a partir de imagens brutas de recibos.
Além da pesquisa acadêmica, o CORD tem aplicações práticas em indústrias que dependem da digitalização de recibos. Empresas de fintech, varejo e logística usam modelos treinados no CORD para automatizar a entrada de dados, reduzir erros manuais e melhorar as experiências dos clientes. A diversidade de formatos de recibos no conjunto de dados ajuda a garantir que os modelos generalizem para variações do mundo real, como diferentes fontes, orientações e condições de iluminação.
Desafios Técnicos
A compreensão de recibos apresenta vários desafios que o CORD ajuda os pesquisadores a abordar. Os recibos frequentemente contêm texto ruidoso, elementos sobrepostos e layouts irregulares, tornando a segmentação precisa difícil. Além disso, a variedade de idiomas e moedas no CORD exige que os modelos lidem com entradas multilíngues e multi-formato. Outro desafio é o pequeno tamanho de algumas regiões de texto, que podem ser ignoradas pelos sistemas de detecção. As anotações detalhadas do CORD permitem que os pesquisadores isolem esses problemas e desenvolvam soluções direcionadas, como técnicas aprimoradas de aumento de dados ou mecanismos de atenção multi-cabeça.
Conjuntos de Dados e Benchmarks Relacionados
O CORD é frequentemente comparado com outros conjuntos de dados de recibos e documentos, como SROIE (Scanned Receipts OCR and Information Extraction) e FUNSD (Form Understanding in Noisy Documents). Enquanto o SROIE foca na extração de informações-chave de recibos, o CORD fornece anotações mais ricas, incluindo segmentação semântica e extração de relações. Isso torna o CORD mais adequado para tarefas que exigem uma compreensão mais profunda da estrutura documental. Os pesquisadores frequentemente usam o CORD juntamente com esses conjuntos de dados para avaliar a generalização de seus modelos em diferentes tipos de documentos.
Direções Futuras
O campo da compreensão de documentos está evoluindo rapidamente, com modelos de linguagem de grande escala sendo adaptados para tarefas multimodais. O CORD provavelmente continuará sendo um recurso valioso para treinar e avaliar tais modelos, especialmente à medida que eles se tornam mais capazes de lidar com layouts e idiomas complexos. Extensões futuras do CORD poderiam incluir formatos de recibos mais diversos, idiomas adicionais e anotações para novas tarefas, como extração de tabelas ou detecção de anomalias. À medida que a inteligência artificial continua a avançar, conjuntos de dados como o CORD desempenharão um papel crucial para garantir que os modelos sejam robustos, precisos e aplicáveis a cenários do mundo real.