SROIE(스캔 영수증 OCR 및 정보 추출)는 스캔된 영수증에 대한 광학 문자 인식(OCR) 및 정보 추출 시스템을 평가하기 위해 설계된 벤치마크 데이터셋이다. 2019년 ICDAR(국제 문서 분석 및 인식 학회) 대회의 일부로 도입되었으며, 1,000개의 실제 영수증 이미지로 구성되어 600개의 훈련, 100개의 검증, 300개의 테스트 샘플로 나뉜다. 이 데이터셋은 회사 이름, 주소, 날짜, 총 금액과 같은 핵심 필드 추출에 초점을 맞추며, 문서 이해 모델의 표준 테스트베드 역할을 한다.
이 데이터셋은 중국 과학원 및 다른 기관의 연구자들이 영수증 OCR에 대한 표준화된 평가 부재를 해결하기 위해 만들었다. 합성 데이터셋과 달리 SROIE는 다양한 레이아웃, 글꼴, 인쇄 품질을 가진 실제 영수증을 사용하며, 노이즈, 기울어짐, 저해상도와 같은 실제 세계의 문제를 반영한다. 각 영수증은 텍스트 수준의 경계 상자와 구조화된 키-값 쌍으로 주석이 달려 있어 텍스트 위치 파악, 전사, 의미 구문 분석과 같은 작업을 가능하게 한다.
작업 구조 및 평가
SROIE는 세 가지 주요 작업을 정의한다: 텍스트 위치 파악(단어 및 줄 감지), 텍스트 인식(감지된 텍스트 전사), 핵심 정보 추출(인식된 텍스트를 사전 정의된 필드에 매핑). 공식 평가 지표는 각 작업에 대한 정밀도, 재현율, F1 점수를 포함하며, 추출 작업은 정확한 필드 일치를 요구한다. 추출 작업의 경우 시스템은 "company", "address", "date", "total"과 같은 필드를 가진 JSON 유사 구조를 출력해야 한다. 대회의 최종 순위는 모든 필드의 정확도를 결합한 추출 F1 점수에 기반한다.
기술적 특성
SROIE의 영수증은 열전사 인쇄, 도트 매트릭스 인쇄, 손글씨 주석을 포함한 다양한 형식을 보여준다. 이미지는 일반적으로 다양한 조명 조건에서 캡처되어 OCR 알고리즘에 복잡성을 더한다. 데이터셋의 주석은 사용자 정의 XML 형식으로 제공되며, 각 단어는 위치와 텍스트로 태그되고 각 핵심 필드는 해당 단어 또는 구문에 연결된다. 이 구조는 종단 간 모델과 감지, 인식, 추출을 분리하는 모듈식 파이프라인을 모두 지원한다.
문서 AI에 미치는 영향
SROIE는 문서 이해 분야에서 널리 인용되는 벤치마크가 되었으며 OCR 분야에서 중요한 역할을 한다. 이는 합성곱 신경망 및 순환 신경망 기반 모델과 더 최근의 트랜스포머 기반 아키텍처를 평가하는 데 사용되었다. 또한 이 데이터셋은 합성 노이즈 추가 및 기하학적 변환과 같은 영수증 이미지의 데이터 증강 기술 연구를 촉진했다. 많은 대규모 언어 모델이 실제 문서에서 구조화된 추출 능력을 평가하기 위해 SROIE에서 테스트되었다.
한계 및 확장
유용성에도 불구하고 SROIE에는 한계가 있다. 데이터셋은 1,000개의 이미지로 비교적 작아 모델 훈련 시 과적합을 초래할 수 있다. 필드 집합은 네 개의 핵심 필드로 제한되어 세금이나 항목별 라인과 같은 다른 일반적인 영수증 요소를 생략한다. 또한 영수증은 주로 중국 상점에서 온 것으로 언어 및 지역적 편향을 도입할 수 있다. 연구자들은 더 다양한 영수증 추가나 합성 변형 생성과 같은 확장을 제안했지만, 원래 SROIE는 공정한 비교를 위한 표준으로 남아 있다.
관련 벤치마크
SROIE는 양식 이해를 위한 FUNSD 및 영수증 추출을 위한 CORD를 포함한 더 넓은 문서 이해 데이터셋 계열의 일부이다. CORD는 더 세부적인 필드 주석(예: 항목 이름, 가격, 소계)을 제공하지만, SROIE의 단순성과 명확한 평가 프로토콜은 새로운 모델의 선호 시작점이 되게 한다. 이 데이터셋은 또한 DocVQA 및 장면 텍스트 인식 챌린지와 같은 더 큰 다중 작업 벤치마크에 통합되어 교차 도메인 평가를 가능하게 한다.
향후 방향
2025년 현재 SROIE는 학술 연구 및 산업 응용, 특히 비용 관리 및 회계 워크플로 자동화에 계속 사용되고 있다. 생성 AI 및 다중 모달 모델의 부상으로 연구자들은 작업별 훈련 없이 SROIE에서 더 높은 추출 정확도를 달성하기 위해 사전 훈련된 비전-언어 모델을 활용하는 방법을 탐구하고 있다. 그러나 데이터셋의 고정된 크기와 제한된 필드 다양성은 더 복잡한 문서 유형을 다루기 위한 새로운 벤치마크가 등장하고 있음을 의미하며, SROIE는 OCR 및 정보 추출 발전의 역사적 기준점으로 남아 있다.