문서 분류(document classification)는 문서 분류(document categorization)라고도 불리며, 도서관학, 정보학, 컴퓨터 과학에서 문서를 하나 이상의 클래스나 범주에 할당하는 작업이다. 이러한 할당은 사서나 주제 전문가가 수동으로 수행하거나, 계산 기법을 사용한 알고리즘 방식으로 수행될 수 있다. 지적 분류는 역사적으로 도서관학의 핵심이었으며, 알고리즘 분류는 정보학과 컴퓨터 과학의 핵심 주제이지만, 두 분야는 상당히 겹치며 학제 간 연구를 촉진한다.
분류 대상 문서에는 텍스트, 이미지, 음악 및 기타 미디어가 포함될 수 있으며, 각각은 고유한 분류 과제를 제시한다. 특별히 명시되지 않는 한, 이 용어는 일반적으로 텍스트 분류를 의미한다. 문서는 주제나 문서 유형, 저자, 발행 연도와 같은 다른 속성으로 분류될 수 있지만, 주제 분류가 가장 일반적인 초점이다. 주제 분류를 안내하는 두 가지 광범위한 철학이 있다: 내용 기반 접근법과 요청 기반 접근법이다.
내용 기반 vs. 요청 기반 분류
내용 기반 분류는 특정 주제에 할애된 내용의 비중이나 비율에 따라 문서를 클래스에 할당한다. 예를 들어, 도서관은 종종 책 내용의 최소 20%가 할당된 클래스와 관련되어야 한다는 규칙을 적용한다. 자동 시스템에서 이 비중은 문서 내 특정 단어나 용어의 빈도에 해당할 수 있다.
요청 기반 분류는 요청 지향 분류 또는 색인(indexing)이라고도 하며, 사용자의 예상 요구를 우선시한다. 분류자는 어떤 설명자가 사용자가 문서를 찾는 데 도움이 될지 질문하며, 가능한 모든 질의를 고려하고 문서가 관련된 질의를 결정한다. 이 접근법은 종종 특정 청중이나 기관 정책을 반영한다. 예를 들어, 페미니스트 연구 데이터베이스는 일반 역사 도서관과 다르게 문서를 색인할 수 있다. 요청 기반 분류는 실제 사용자 행동에 대한 경험적 데이터를 통합하지 않는 한, 순수하게 사용자 주도라기보다는 정책 주도로 이해하는 것이 더 낫다.
분류 vs. 색인
문서를 클래스에 할당하는 것(분류)과 문서에 주제를 할당하는 것(주제 색인)의 구분은 종종 피상적인 것으로 간주된다. 정보 과학자 프레더릭 윌프리드 랭커스터(Frederick Wilfrid Lancaster)는 이러한 용어상의 구분은 무의미하며 혼란을 초래한다고 주장했다. 이 견해는 분류 체계와 시소러스의 상호 교환 가능성에 의해 뒷받침된다: 분류 체계는 시소러스로 변환될 수 있고 그 반대도 가능하다. 문서에 주제 용어를 할당하는 것은 해당 용어로 색인된 문서 클래스에 할당하는 것과 동일하며, 동일한 용어를 공유하는 모든 문서는 동일한 클래스에 속하기 때문이다.
자동 문서 분류
자동 문서 분류(ADC)는 계산 방법과 Machine learning을 사용하여 문서를 분류한다. ADC 작업은 세 가지 범주로 나뉜다: 외부 피드백(예: 인간 라벨)이 올바른 분류를 제공하는 지도 분류, 외부 참조 없이 작동하는 비지도 분류(문서 클러스터링이라고도 함), 그리고 라벨이 있는 데이터와 없는 데이터를 결합하는 반지도 분류가 있다. 다양한 라이선스 모델로 수많은 소프트웨어 제품이 존재한다.
일반적인 기법에는 인공 Neural network 접근법, 결정 트리(예: ID3 또는 C4.5), 기대 최대화, 잠재 의미 색인, 나이브 베이즈 분류기, 서포트 벡터 머신(SVM), k-최근접 이웃 알고리즘, 그리고 용어 빈도-역문서 빈도(tf-idf)가 포함된다. Deep learning 및 Transformer (architecture) 아키텍처의 발전으로 단순한 단어 수를 넘어 의미적 맥락을 포착하는 Large language model 기반 분류기와 같은 더 정교한 모델이 가능해졌다.
응용 분야
문서 분류의 실제 응용 분야는 다양하다. 스팸 필터링에서 알고리즘은 원치 않는 이메일과 합법적인 메시지를 구분한다. 이메일 라우팅은 분류를 사용하여 주제에 따라 메시지를 적절한 수신자에게 전달한다. 언어 식별은 문서의 언어를 자동으로 감지하며, 장르 분류는 문학적 또는 수사적 유형을 결정한다. 가독성 평가는 다양한 연령대나 읽기 수준에 대한 텍스트 복잡성을 평가하며, 종종 텍스트 단순화 시스템을 지원한다. 감정 분석은 문서에 표현된 태도나 감정적 어조를 식별한다. 공중 보건 감시에서 소셜 미디어 게시물의 분류는 질병 발생 모니터링에 도움이 된다. 특히 생물학에서 기사 선별(article triage)은 데이터베이스의 수동 큐레이션을 위해 관련 논문을 선택한다.
과제와 동향
자동 분류의 주요 과제는 문서 유형의 다양성과 자연어의 모호성을 처리하는 것이다. 초기 시스템은 수작업으로 만든 특징에 의존했지만, 현대 방법은 Deep learning을 활용하여 표현을 자동으로 학습한다. Generative AI와 사전 훈련된 Transformer (architecture) 모델의 부상은 미세 조정과 퓨삿 러닝(few-shot learning)으로 분야를 전환시켜 방대한 라벨 데이터 세트의 필요성을 줄였다. 그러나 편향, 해석 가능성, 계산 비용과 같은 문제는 여전히 활발한 연구 영역이다. 도서관학, 정보학, 컴퓨터 과학 간의 학제 간 협력은 수동 및 알고리즘 분류를 모두 개선하여 시스템이 진화하는 사용자 요구와 문서 형식에 적응할 수 있도록 보장한다.