CORD(Consolidated Receipt Dataset)는 영수증 이해(receipt understanding) 연구를 위해 설계된 공개 데이터셋으로, 인공지능 내 문서 이해(document understanding)의 하위 분야에 해당한다. 이 데이터셋은 실제 세계 소스에서 수집된 11,000개 이상의 주석이 달린 영수증 이미지로 구성되며, 다양한 상점, 레이아웃, 언어를 포함한다. 데이터셋은 픽셀 수준 및 토큰 수준의 주석을 제공하여 핵심 정보 추출, 의미론적 분할, 엔터티 인식과 같은 작업을 지원하며, 영수증을 처리하는 모델을 평가하기 위한 벤치마크 역할을 한다.
CORD는 2019년 한국의 네이버(Naver Corporation)와 과학기술연합대학원대학교(University of Science and Technology) 연구자들에 의해 소개되었다. 이 데이터셋은 비용 추적, 회계 자동화, 모바일 결제 시스템과 같은 응용 분야에 중요한 영수증 파싱을 위한 표준화된 대규모 주석 데이터의 부족을 해결하기 위해 만들어졌다. 출시 이후 CORD는 학술 연구와 산업계에서 널리 채택되었으며, 문서 지능에 대한 딥러닝 및 머신러닝 접근 방식을 비교하는 표준 테스트베드로 사용되고 있다.
CORD의 주석은 상점 이름, 날짜, 시간, 항목, 가격, 결제 방법과 같은 범주로 영수증 정보를 구성하는 계층적 구조를 따른다. 각 텍스트 영역은 의미론적 클래스로 레이블이 지정되며, 영역 간의 관계(예: 항목과 가격)도 포착된다. 이러한 세분화된 주석은 모델이 어떤 정보가 존재하는지뿐만 아니라 정보가 어떻게 구조화되어 있는지도 학습할 수 있게 하며, 이는 자동 부기와 같은 하위 작업에 필수적이다.
주석 구조
CORD의 주석 스키마는 메뉴, 하위 메뉴, 항목, 옵션의 4가지 주요 범주에 걸쳐 30개의 클래스를 정의하며, 수량, 단가, 합계와 같은 추가 필드도 포함한다. 각 텍스트 세그먼트에는 클래스가 할당되고, 세그먼트 간의 공간적 관계는 방향성 에지로 인코딩된다. 예를 들어, 항목 이름은 해당 단가 및 수량과 연결된다. 이 구조는 평면 분류와 관계 학습을 모두 지원하여 모델이 결합 추출 및 관계 예측을 수행할 수 있게 한다.
데이터셋에는 각 텍스트 영역의 경계 상자, 텍스트 내용 및 클래스 레이블이 포함된다. 주석은 JSON 형식으로 제공되어 현대 신경망 파이프라인과의 쉬운 통합을 가능하게 한다. 계층적 설계는 또한 토큰 수준 및 세그먼트 수준 성능의 평가를 모두 가능하게 하여 연구자에게 세분화된 지표를 제공한다.
AI 연구에서의 응용
CORD는 문서 이해 분야에서 모델을 개발하고 벤치마킹하기 위한 기준점이 되었다. 시각적 및 텍스트 특징을 결합하는 트랜스포머 기반 아키텍처를 훈련하고 테스트하는 데 일반적으로 사용된다. 예를 들어, LayoutLM 및 Donut과 같은 모델이 CORD에서 평가되었으며, 이는 최첨단 성능을 향상시키는 데 있어 데이터셋의 유용성을 입증한다. 데이터셋은 또한 원시 영수증 이미지에서 구조화된 출력을 생성하는 모델을 다루는 생성형 AI 연구를 지원한다.
학술 연구 외에도 CORD는 영수증 디지털화에 의존하는 산업에서 실용적인 응용 분야를 가진다. 핀테크, 소매, 물류 분야의 기업들은 CORD로 훈련된 모델을 사용하여 데이터 입력을 자동화하고, 수동 오류를 줄이며, 고객 경험을 개선한다. 데이터셋의 다양한 영수증 형식은 모델이 다양한 글꼴, 방향, 조명 조건과 같은 실제 세계의 변형에 일반화되도록 보장하는 데 도움이 된다.
기술적 과제
영수증 이해는 CORD가 연구자들이 해결하도록 돕는 여러 과제를 제기한다. 영수증에는 종종 노이즈가 많은 텍스트, 겹치는 요소, 불규칙한 레이아웃이 포함되어 정확한 분할을 어렵게 만든다. 또한 CORD에 포함된 다양한 언어와 통화는 모델이 다국어 및 다중 형식 입력을 처리해야 함을 요구한다. 또 다른 과제는 일부 텍스트 영역의 크기가 작아 탐지 시스템이 놓칠 수 있다는 점이다. CORD의 상세한 주석은 연구자들이 이러한 문제를 분리하고 개선된 데이터 증강 기법이나 멀티 헤드 어텐션 메커니즘과 같은 맞춤형 솔루션을 개발할 수 있게 한다.
관련 데이터셋 및 벤치마크
CORD는 SROIE(Scanned Receipts OCR and Information Extraction) 및 FUNSD(Form Understanding in Noisy Documents)와 같은 다른 영수증 및 문서 데이터셋과 자주 비교된다. SROIE가 영수증의 핵심 정보 추출에 초점을 맞추는 반면, CORD는 의미론적 분할과 관계 추출을 포함한 더 풍부한 주석을 제공한다. 이는 문서 구조에 대한 더 깊은 이해가 필요한 작업에 CORD를 더 적합하게 만든다. 연구자들은 다양한 문서 유형에 걸친 모델의 일반화를 평가하기 위해 CORD를 다른 데이터셋과 함께 자주 사용한다.
향후 방향
문서 이해 분야는 빠르게 진화하고 있으며, 대규모 언어 모델이 다중 모달 작업에 적응되고 있다. CORD는 특히 모델이 복잡한 레이아웃과 언어를 처리하는 데 더 능숙해짐에 따라 이러한 모델을 훈련하고 평가하기 위한 귀중한 자원으로 남을 가능성이 높다. CORD의 향후 확장에는 더 다양한 영수증 형식, 추가 언어, 표 추출이나 이상 탐지와 같은 새로운 작업을 위한 주석이 포함될 수 있다. 인공지능이 계속 발전함에 따라 CORD와 같은 데이터셋은 모델이 견고하고 정확하며 실제 시나리오에 적용 가능하도록 보장하는 데 중요한 역할을 할 것이다.