TextCaps는 이미지 내에 나타나는 텍스트를 포함한 캡션을 생성하는 데 특화된 대규모 이미지 캡셔닝 데이터셋이자 벤치마크이다. 객체와 장면을 설명하는 전통적인 이미지 캡셔닝 작업과 달리, TextCaps는 모델이 이미지에 존재하는 텍스트(예: 거리 표지판, 제품 라벨, 책 표지)를 읽고 추론하여 이를 일관된 자연어 설명에 통합하도록 요구한다. 이 데이터셋은 2020년 구글과 캘리포니아 대학교 버클리 캠퍼스의 연구자들에 의해 소개되었으며, 시각적 인식과 광학 문자 인식(OCR) 사이의 간극을 메우고자 하는 비전-언어 모델의 표준 평가 기준이 되었다.
TextCaps의 핵심 과제는 시각적 이해와 텍스트 인식이라는 두 가지 서로 다른 능력을 결합한다는 점이다. 모델은 객체와 그 관계를 식별할 뿐만 아니라 이미지의 텍스트를 정확히 전사하고, 해당 텍스트 중 어떤 부분이 전체 장면 설명에 관련이 있는지 결정해야 한다. 예를 들어, 커피숍 이미지의 캡션에는 간판에 적힌 이름, 메뉴판의 음료 종류, 또는 배경 포스터의 텍스트를 언급해야 할 수 있다. 이는 Computer vision 기술과 Natural language processing 및 Optical character recognition(OCR) 시스템의 깊은 통합을 요구한다.
데이터셋 구성 및 주석
TextCaps 데이터셋은 28,000개의 이미지를 포함하며, 각 이미지에는 여러 개의 사람이 작성한 캡션이 짝지어져 총 145,000개 이상의 캡션이 있다. 이미지는 텍스트 포함 이미지 도메인에서 수집되었으며, 거리 풍경, 실내 환경, 제품 사진 등 다양한 실제 세계 장면을 포함한다. 각 이미지에는 평균 5개의 캡션이 있으며, 캡션은 설명적이고 자연스럽게 설계되었고 종종 이미지에 나타나는 특정 텍스트 문자열을 포함한다. 데이터셋은 훈련, 검증, 테스트 세트로 분할되며, 테스트 세트는 공식 벤치마크 평가에 사용된다. 주석은 크라우드소싱 플랫폼을 통해 수집되었으며, 캡션이 장면과 관련된 경우에만 텍스트를 언급하도록 신중한 지침이 제공되었다.
데이터셋은 또한 각 이미지에 대한 OCR 주석(경계 상자 및 전사된 텍스트 포함)을 제공하며, 이는 많은 모델의 입력으로 사용된다. 이를 통해 연구자들은 원시 OCR 감지보다는 추론 및 생성 측면에 집중할 수 있으며, 일부 모델은 종단 간 OCR 학습도 통합한다.
평가 지표 및 과제
TextCaps의 주요 평가 지표는 CIDEr로, 생성된 캡션과 인간 참조 간의 유사성을 측정하며 합의와 정보성에 중점을 둔다. BLEU, METEOR, ROUGE와 같은 다른 지표도 보고되지만, CIDEr가 주요 순위 기준이다. 이 작업은 캡션이 문법적으로 정확하고 이미지의 텍스트와 관련하여 사실적으로 정확해야 하기 때문에 특히 어렵다. 객체를 올바르게 식별하지만 표지판을 잘못 읽는 모델은 낮은 점수를 받게 된다.
Encoder-Decoder Architecture 아키텍처와 Residual Network (ResNet) 특징을 기반으로 하는 표준 이미지 캡셔닝 모델을 사용한 초기 기준 모델은 TextCaps에서 CIDEr 점수가 50 미만으로 저조한 성능을 보였다. 이는 생성 과정에 OCR 토큰을 통합할 수 있는 특수 아키텍처의 필요성을 강조했다. 이후 연구에서는 OCR 특징에 대한 교차 주의를 사용하는 Transformer (architecture) 기반 디코더를 도입하여 상당한 개선을 이루었다.
모델 아키텍처 및 접근 방식
TextCaps에 대한 대부분의 성공적인 접근 방식은 두 단계 파이프라인을 사용한다. 첫 번째 단계는 OCR 시스템이 이미지에서 텍스트를 추출하고, 두 번째 단계는 캡셔닝 모델이 시각적 특징과 OCR 토큰을 모두 사용하여 설명을 생성한다. 캡셔닝 모델은 종종 이미지 영역 특징과 OCR 토큰 임베딩의 시퀀스를 입력으로 받아 토큰 단위로 캡션을 출력하는 Transformer (architecture)이다. 예를 들어, Hu 등이 소개한 M4C(다중 모드 다중 복사 메시) 모델은 OCR 토큰에서 텍스트를 직접 복사할 수 있는 복사 메커니즘을 가진 트랜스포머를 사용하며, 이는 브랜드 이름이나 주소와 같은 문자열을 정확히 재현하는 데 중요하다.
또 다른 연구 방향은 OCR을 시각적 인코더에 직접 통합하여 픽셀과 텍스트 임베딩을 동시에 처리하는 Neural network를 사용하는 것이다. 이러한 모델은 종종 텍스트 생성 부분에 사전 훈련된 Large language model을 활용하고 TextCaps 훈련 세트에서 미세 조정한다. 시각적 및 텍스트 양식 간의 Cross-Attention 사용은 OCR 토큰을 이미지 영역과 정렬할 수 있게 하는 일반적인 설계 패턴이다.
영향 및 관련 벤치마크
TextCaps는 텍스트와 비전을 결합한 더 포괄적인 벤치마크(예: 텍스트 기반 시각 질의 응답에 초점을 맞춘 OCR-VQA 및 ST-VQA)의 개발을 촉진했다. 또한 OpenAI 및 Google DeepMind가 개발한 다중 모드 Large language model의 설계에 영향을 주었으며, 이러한 모델은 이제 이미지의 텍스트를 읽고 설명적인 응답을 생성할 수 있다. 이 데이터셋은 AI 시스템의 OCR 인식 추론 능력을 평가하는 표준 테스트베드로 남아 있으며, text-vqa 및 COCO-Text와 같은 다른 데이터셋과 함께 자주 사용된다.
2025년 현재 TextCaps의 최첨단 모델은 CIDEr 점수가 140 이상으로 초기 기준 모델보다 크게 개선되었지만, 이 작업은 여전히 미해결로 간주되며 희귀한 텍스트 스타일, 복잡한 레이아웃, 모호한 텍스트 관련성 처리에 개선의 여지가 있다. 이 벤치마크는 Generative AI 및 다중 모드 이해 연구를 발전시키는 귀중한 자원으로 계속 활용되고 있다.
향후 방향
TextCaps 연구의 미래는 텍스트를 읽을 뿐만 아니라 문맥에서 그 의미론적 의미를 추론할 수 있는 모델을 개발하는 데 있다. 예를 들어 "세일" 표지판이 할인을 의미하거나 "출입 금지" 표지판이 제한을 나타낸다는 것을 이해하는 것이다. 이는 세계 지식과 상식의 더 깊은 통합을 요구하며, 이는 Artificial intelligence에서 활발히 연구되는 분야이다. 또한 TextCaps를 텍스트가 동적으로 나타나는 비디오로 확장하고, OCR과 캡셔닝이 여러 문자 체계를 처리해야 하는 다국어 설정으로 확장하는 데 관심이 있다. 데이터셋의 설계는 텍스트 읽기가 중요한 의료 영상 및 자율 주행과 같은 다른 도메인에서도 유사한 노력에 영감을 주었다.
같이 보기
- image-captioning
- Optical character recognition
- Vision-language model
- multimodal-learning
참고 문헌
- Hu, R., Singh, A., Darrell, T., & Rohrbach, M. (2020). TextCaps: A Dataset for Image Captioning with Reading Comprehension. In European Conference on Computer Vision (ECCV).
- Sidorov, O., Hu, R., Rohrbach, M., & Singh, A. (2020). TextCaps: A Dataset for Image Captioning with Reading Comprehension. arXiv preprint arXiv:2003.12462.