Document AI(문서 AI)는 문서 지능(Document Intelligence)이라고도 알려진 기술 분야로, 자연어 처리와 같은 머신 러닝 기법을 사용하여 인간의 검토 방식과 유사하게 문서를 분석할 수 있는 컴퓨터 모델을 개발하는 분야입니다. 자연어 처리를 통해 컴퓨터 시스템은 문서 내용의 관계와 맥락적 미묘한 차이를 이해하여 정보와 통찰력을 추출하는 것을 용이하게 합니다. 이 기술은 또한 문서 자체를 분류하고 구성하는 것을 가능하게 합니다. 응용 분야는 양식, 표, 영수증, 인보이스, 세금 양식, 계약서, 대출 계약서, 재무 보고서를 포함한 다양한 반구조화 문서의 처리 및 파싱으로 확장됩니다.
Document AI는 인공 지능 방법과 문서 특정 데이터 구조를 결합합니다. 딥 러닝 아키텍처를 활용하여 문서의 텍스트 내용과 공간적 레이아웃을 모두 처리하며, 단순한 데이터 추출에서부터 복잡한 문서 이해 및 생성에 이르는 작업을 가능하게 합니다.
주요 기능
Document AI에서는 머신 러닝이 인쇄 및 디지털 문서 모두에서 정보를 추출하는 데 사용됩니다. 이 기술은 다양한 언어의 이미지, 텍스트, 문자를 인식하여 비구조화 문서에서 통찰력을 추출하는 것을 돕습니다. 이 기술의 사용은 문서 분석에서 의사 결정의 속도와 품질을 향상시킬 수 있습니다. 데이터 추출 및 검증의 자동화는 문서 분석 프로세스의 효율성 증가에 기여합니다. 2020년대 초반부터 대규모 언어 모델의 통합은 Document AI를 추출을 넘어 생성적 작업, 즉 양식, 계약서, 문서 요약의 자동 초안 작성으로 확장했습니다.
데이터 차원 및 ML 아키텍처
데이터는 일반적으로 공간 데이터와 시계열 데이터로 구분됩니다. 공간 데이터에는 이미지, 지도, 그래프가 포함되고, 시계열 데이터에는 주식 가격이나 음성 녹음과 같은 신호가 포함됩니다. Document AI는 시간 차원을 가진 텍스트 데이터와 비즈니스 편지에서 주소의 위치와 같은 공간적 특성을 가진 다른 유형의 데이터를 결합합니다.
역사적으로 공간 데이터는 합성곱 신경망과 같은 신경망 아키텍처를 사용하여 분석되었고, 시간 데이터는 순환 신경망을 사용하여 분석되었습니다. 차원 유형에 구애받지 않는 트랜스포머 아키텍처의 등장으로, 이 두 가지 서로 다른 유형의 차원을 더 쉽게 결합할 수 있게 되었습니다. Document AI는 트랜스포머가 토큰 시퀀스를 처리하면서 레이아웃 정보를 포착하는 위치 인코딩을 통합하기 때문에 이러한 통합의 예입니다.
예: 비즈니스 편지 분석
비즈니스 편지는 텍스트 형태의 정보와 함께 텍스트의 위치와 같은 다른 유형의 정보를 포함합니다. 예를 들어, 일반적인 편지는 본문 앞에 두 개의 주소를 포함합니다. 맨 위에 있으며 때로는 오른쪽으로 정렬된 주소는 발신자 주소입니다. 이 주소 뒤에는 일반적으로 작성 장소와 함께 편지의 날짜가 옵니다. 그 다음에는 수신자 주소가 나열됩니다.
발신자 주소와 수신자 주소의 구분은 페이지에서 주소의 위치에 의해서만 전달됩니다. 주소 앞에 "발신자:"와 같은 텍스트 표시는 없습니다. Document AI 시스템은 이러한 공간 정보를 학습하여 이러한 필드를 올바르게 분류하고 추출해야 하며, 이는 텍스트와 레이아웃 데이터를 결합하는 중요성을 보여줍니다.
벤치마크
Document AI 시스템을 평가하는 데 사용되는 여러 공개 데이터 세트가 있습니다. FUNSD(잡음이 있는 스캔 문서의 양식 이해)는 양식 이해 작업을 위한 토큰 및 블록 수준 레이블이 있는 199개의 주석이 달린 양식을 포함합니다. CORD(통합 영수증 데이터 세트)는 영수증에서 핵심 정보 추출을 지원합니다. DocVQA는 레이아웃 인식 시각적 질문 응답을 위해 12,000개의 문서 이미지에 대한 약 50,000개의 질문을 포함합니다. 이러한 벤치마크는 연구자가 핵심 정보 추출, 양식 이해, 문서 기반 질문 응답과 같은 작업에서 다양한 모델의 성능을 비교하는 데 도움을 줍니다.
일반적인 용도
Document AI 시스템은 비즈니스 및 금융 워크플로우에서 문서 처리와 정보 추출을 자동화하며, 인보이스 및 영수증 처리, 데이터 입력 자동화, 이상 탐지, 모기지 처리, 대출 포트폴리오 모니터링, 신용 위험 관리, 위조 화폐 및 사기 수표 탐지와 같은 사기 탐지를 포함합니다. 또한 규제 준수 및 계약 분석에도 적용되며, 법률 및 규제 문서의 변경 사항 평가를 포함합니다. 부동산에서 Document AI는 표준화된 처리 및 분석을 위한 문서 분류와 구조화된 정보 추출을 지원합니다. 생성형 AI의 채택으로 Document AI 시스템은 자연어 프롬프트에서 계약서나 비즈니스 양식과 같은 구조화된 문서를 생성하고 미리 채울 수도 있습니다.