광학 문자 인식(OCR)은 이미지, 스캔 문서 또는 텍스트 사진에서 텍스트를 추출하는 기술로, 픽셀을 기계가 읽고 편집할 수 있는 문자로 변환한다. 이 기술은 컴퓨터 비전과 자연어 처리의 교차점에 있으며, 작동하는 시스템은 이미지에서 글리프를 찾아 분할하고 이를 언어의 기호로 해석해야 한다. OCR은 패턴 인식의 최초의 상업적 응용 사례 중 하나였으며, 현대 딥러닝 시대보다 수십 년 앞선 기술이다.
역사
초기 OCR 시스템은 1950년대와 1960년대에 등장했으며, 데이비드 셰퍼드의 "기즈모"와 레이 커즈와일의 시각 장애인용 읽기 기계(1976년) 같은 장치가 템플릿 매칭과 수작업으로 설계된 특징을 사용하여 인쇄된 글꼴을 인식했다. 1980년대와 1990년대를 거치며 테서랙트와 같은 OCR 소프트웨어(원래 휴렛팩커드에서 개발, 이후 구글이 오픈소스로 공개)는 주로 상징적 AI와 고전적 머신러닝에 기반한 통계적 분류기와 특징 추출 파이프라인에 의존했으며, 이후 지배적이 된 계층적 표현 학습은 사용하지 않았다. 깨끗한 인쇄 텍스트에 대한 정확도는 1990년대에 상업적으로 실용적인 수준에 도달했지만, 손글씨와 복잡한 배경의 문서는 이후 20년 동안 여전히 어려운 과제로 남았다.
딥러닝 시대
합성곱 신경망과 이후 순환 신경망 및 시퀀스-투-시퀀스 아키텍처의 도입은 OCR의 정확도를 극적으로 향상시켰으며, 특히 거리 표지판이나 제품 라벨 같은 자연 장면에 포함된 텍스트와 손글씨 인식에서 두드러졌다. CNN으로 시각적 특징을 추출하고 LSTM 또는 어텐션 메커니즘 기반 디코더를 결합하는 아키텍처는 2010년대 중반에 표준이 되었다. 다른 컴퓨터 비전 분야와 마찬가지로, OCR의 발전은 수작업 파이프라인에서 대규모 라벨링된 데이터셋으로 학습된 종단 간 신경망으로의 전환을 따라갔다.
비전-언어 모델 시대
2020년대 초부터 트랜스포머 아키텍처를 기반으로 한 범용 비전-언어 모델과 멀티모달 AI 시스템이 OCR 기능의 상당 부분을 흡수했다. 제미니 및 GPT-4 변형과 같은 비전 기능을 갖춘 모델은 전용 OCR 파이프라인 없이도 이미지에 포함된 텍스트를 더 넓은 시각적 이해 작업의 일부로 읽을 수 있으며, 다이어그램, 표, 손글씨가 혼합된 문서에서 전용 OCR 시스템보다 더 나은 성능을 보이는 경우가 많다. 이로 인해 OCR이 독립적인 작업과 일반 문서 이해 사이의 경계가 모호해졌지만, 전용 OCR 엔진은 높은 처리량, 낮은 지연 시간 또는 오프라인 문서 처리와 같이 대규모 멀티모달 모델이 비용이나 속도 면에서 불리한 상황에서 여전히 널리 사용된다.
응용 및 평가
OCR은 문서 디지털화, 검색 가능한 PDF 생성, 번호판 인식, 영수증 및 송장 처리, 우편물 분류, 시각 장애인을 위한 접근성 도구, 그리고 검색 엔진과 대규모 언어 모델 학습 코퍼스에 텍스트를 공급하는 수집 파이프라인의 기반이 된다. 시스템은 일반적으로 스캔 또는 촬영된 텍스트의 벤치마크 데이터셋에 대한 문자 오류율과 단어 오류율로 평가된다. 성능은 언어, 문자 체계, 인쇄 품질 및 필체 스타일에 따라 크게 달라지며, 필기체와 저자원 언어는 여전히 상대적으로 취약한 분야로 남아 있다. 구성 요소 작업으로서 OCR 품질은 일반적으로 범용 벤치마크보다는 전용 문서 및 자연 장면 텍스트 데이터셋에서 보고된다.
한계
OCR 오류는 검색 인덱스나 자동 데이터 입력과 같은 하위 시스템으로 전파될 수 있으며, 시각적으로 유사한 문자를 악용하여 OCR 기반 필터를 우회하는 전문화된 공격도 존재한다. 이미지에 포함된 텍스트를 암묵적으로 처리하는 멀티모달 모델은 원본 이미지와 일치하지 않는 텍스트를 생성하는 환각을 일으킬 수 있는데, 이는 고전적 OCR의 분할 오류와는 다른 실패 모드이다.