ICDAR 2015는 2015년 제13회 국제 문서 분석 및 인식 회의(ICDAR)에서 개최된 로버스트 리딩 대회(Robust Reading Competition)를 가리킨다. 이 대회는 장면 텍스트 감지 및 인식에 초점을 맞추었으며, 참가자들이 자연 이미지에서 텍스트를 찾아 읽는 과제를 수행하도록 요구했다. 이는 Computer vision 및 문서 분석 분야의 발전을 이끈 일련의 대회 중 하나로, 알고리즘 평가를 위한 표준화된 벤치마크를 제공했다.
이 대회는 여러 작업으로 구성되었으며, 가장 주목할 만한 것은 텍스트 위치 파악(텍스트 영역 주변의 경계 상자 감지)과 텍스트 인식(감지된 텍스트를 기계가 읽을 수 있는 문자열로 변환)이었다. 주요 데이터셋은 ICDAR 2015 우발적 장면 텍스트 데이터셋으로, 번화한 거리 환경에서 Google Glass 장치로 촬영한 1,500개의 이미지로 구성되었다. 이 이미지들은 의도적으로 '우발적' 방식으로 촬영되었으며, 즉 신중하게 프레임을 잡지 않아 모션 블러, 저해상도, 텍스트의 임의 방향과 같은 문제가 발생했다.
데이터셋 및 평가
ICDAR 2015 데이터셋은 1,000개의 훈련 이미지와 500개의 테스트 이미지를 포함했다. 실제 정답 주석은 단어 수준의 경계 상자와 전사를 제공했다. 감지 평가에는 표준 PASCAL VOC 기준이 사용되었으며, 실제 정답 상자와의 교차-합집합(IoU)이 0.5를 초과하면 감지가 올바른 것으로 간주되었다. 인식의 경우, 지표는 예측 문자열과 실제 정답 문자열 사이의 편집 거리였다. 대회에는 감지와 인식을 모두 요구하는 결합 작업도 포함되었으며, 종단 간 단어 스포팅 지표로 평가되었다.
결과 및 영향
텍스트 위치 파악 작업의 우승작은 토론토 대학 팀이 제출했으며, F-측정값 약 0.72를 달성했다. 종단 간 인식 작업의 최고 성과자는 중국 과학원 팀으로, F-측정값 약 0.68에 도달했다. 이러한 결과는 이후 연도에 비해 modest한 수준으로, 우발적 장면 텍스트 문제의 어려움을 반영했다. 이 대회는 기존 방법이 임의 방향과 다양한 조명 조건을 처리하는 데 한계가 있음을 강조했으며, 이후 딥 러닝 기반 접근법에 대한 연구를 촉진했다.
유산 및 후속 작업
ICDAR 2015는 연구 커뮤니티에서 널리 사용되는 벤치마크가 되었다. 특히 Deep learning 및 Neural network 아키텍처를 사용하는 장면 텍스트 감지 및 인식에 관한 많은 후속 논문이 이 데이터셋에서 결과를 보고했다. 이 대회의 우발적 텍스트 강조는 ICDAR 2017 및 ICDAR 2019와 같은 후속 버전에 영향을 주었으며, 이들은 더욱 도전적인 데이터셋을 도입했다. 2015년 벤치마크는 실제 세계 시나리오에서 텍스트 판독 시스템의 견고성을 평가하기 위한 표준 참조로 남아 있다.
더 넓은 AI 연구와의 관계
ICDAR 2015를 위해 개발된 기술, 예를 들어 영역 제안 네트워크와 인식을 위한 시퀀스-투-시퀀스 모델은 Artificial intelligence 및 Machine learning의 더 넓은 발전과 교차했다. 이 대회는 이후 자율 주행, 증강 현실, 문서 디지털화에 응용된 알고리즘을 위한 실용적인 테스트베드 역할을 했다. 또한 참가자들이 일반화를 개선하기 위해 합성 텍스트 생성 및 이미지 변환을 사용함에 따라 Data Augmentation 전략 개발에도 기여했다.