텍스트 분류는 텍스트 범주화 또는 문서 분류라고도 하며, 텍스트 문서를 하나 이상의 미리 정의된 범주나 클래스에 자동으로 할당하는 작업이다. 이는 자연어 처리(NLP)와 머신 러닝의 근본적인 문제로, 스팸 필터링과 이메일 라우팅에서 감성 분석과 기사 선별에 이르기까지 다양한 응용 분야를 가진다. 이 분야는 정보 검색, 도서관학, 컴퓨터 과학의 기법을 활용하며, 수동 색인에서 정교한 알고리즘 접근 방식으로 진화해 왔다.
이 문제는 종종 지도 학습 작업으로 구성되며, 모델은 문서와 해당 범주로 구성된 레이블이 지정된 데이터셋으로 훈련된다. 그러나 비지도 및 반지도 변형도 존재한다. 목표는 내용을 기반으로 새롭고 보지 못한 문서를 정확하게 분류할 수 있는 분류기를 만드는 것이다. 작업의 복잡성은 범주의 수, 언어의 모호성, 텍스트의 도메인에 따라 달라진다.
내용 기반 vs. 요청 기반 분류
역사적으로 문서 분류는 내용 기반과 요청 기반이라는 두 가지 철학적 관점에서 접근되어 왔다. 내용 기반 분류는 문서의 내용을 지배하는 주제에 따라 문서를 클래스에 할당한다. 예를 들어, 도서관 규칙은 책 내용의 최소 20%가 할당된 클래스에 관한 것이어야 한다고 요구할 수 있다. 자동 시스템에서 이는 종종 용어의 빈도나 핵심 개념의 존재를 측정하는 것으로 변환된다.
요청 기반 분류는 요청 지향 색인이라고도 하며, 사용자의 예상 정보 요구를 고려한다. 분류기는 "이 개체는 어떤 설명어 아래에서 발견되어야 하는가?" 그리고 "이 문서는 어떤 가능한 질의에 관련이 있는가?"라고 묻는다. 이 접근 방식은 종종 정책 기반이며, 특정 도서관이나 데이터베이스의 목적을 반영한다. 예를 들어, 페미니스트 연구 도서관은 일반 역사 도서관과 다르게 문서를 색인할 수 있으며, 특정 청중에게 서비스를 제공하기 위해 내용의 다른 측면을 강조한다.
수동 색인에서 자동 분류로
분류(문서를 클래스에 할당)와 주제 색인(문서에 주제를 할당)의 구분은 논쟁되어 왔지만, 정보 과학자 F. W. 랭커스터가 주장했듯이 이 구분은 생산적이지 않다. 분류 시스템은 시소러스로 변환될 수 있고 그 반대도 가능하므로, 문서에 주제 용어를 할당하는 것은 해당 용어로 색인된 문서 클래스에 할당하는 것과 동일하다. 이 통찰력은 전통적인 도서관학과 현대 자동 접근 방식을 연결한다.
자동 문서 분류(ADC)는 20세기 중반에 분야로 등장했으며, 1950년대와 1960년대의 초기 작업은 단순한 용어 일치 규칙을 사용했다. 1990년대 머신 러닝의 도래, 특히 서포트 벡터 머신(SVM)과 나이브 베이즈 분류기의 사용은 중요한 발전을 의미했다. 이러한 방법은 레이블이 지정된 예제에서 학습하여 범주와 상관관계가 있는 텍스트의 패턴을 자동으로 식별한다.
머신 러닝 기법
현대 텍스트 분류는 머신 러닝과 딥 러닝에 크게 의존한다. 전통적인 기법은 다음과 같다:
- 나이브 베이즈 분류기: 베이즈 정리에 기반한 확률적 접근 방식으로, 단순성과 효율성 때문에 종종 기준선으로 사용된다.
- 서포트 벡터 머신(SVM): 클래스를 분리하는 최적의 초평면을 찾는 강력한 선형 분류기로, 비선형 경계를 위해 커널 방법과 결합되는 경우가 많다.
- K-최근접 이웃(KNN): 문서의 k개 가장 유사한 훈련 예제의 다수 클래스를 기반으로 문서를 분류하는 비모수적 방법.
- 결정 트리 및 랜덤 포레스트: 특징 공간을 분할하는 규칙 기반 모델.
- tf-idf 가중치: 문서를 용어 빈도의 벡터로 표현하는 기법으로, 코퍼스 전체에서 용어가 얼마나 흔한지에 따라 역으로 가중치를 부여한다.
딥 러닝의 부상과 함께 신경망 아키텍처가 지배적이 되었다. 초기 신경 모델은 단어 임베딩과 합성곱 또는 순환 신경망을 사용했다. 2017년 Transformer (architecture) 아키텍처의 도입은 자기 주의 메커니즘을 통해 이 분야를 혁명적으로 변화시켰다. BERT와 그 후속 모델과 같은 사전 훈련된 모델은 트랜스포머를 기반으로 구축되어 단어의 맥락적 표현을 학습함으로써 최첨단 결과를 달성한다. 이러한 모델은 종종 상대적으로 적은 양의 레이블이 지정된 데이터로 특정 분류 작업에 미세 조정된다.
다양한 도메인에서의 응용
텍스트 분류는 광범위한 실용적 응용 분야를 가진다:
- 스팸 필터링: 합법적인 메시지에서 원치 않거나 악의적인 이메일을 식별하는 작업으로, 1990년대 후반부터 널리 배포되었다.
- 이메일 라우팅: 주제에 따라 수신 이메일을 적절한 부서나 사서함으로 자동 전달.
- 언어 식별: 텍스트의 언어를 결정하는 작업으로, 많은 NLP 시스템의 중요한 전처리 단계.
- 장르 분류: 문학적 또는 저널리즘적 장르에 따라 문서를 분류하며, 디지털 도서관과 콘텐츠 관리에 유용.
- 가독성 평가: 텍스트의 읽기 난이도를 추정하여 자료를 적절한 연령대나 기술 수준에 맞추는 작업.
- 감성 분석: 문서에 표현된 태도나 감정적 톤을 결정하는 작업으로, 소셜 미디어 모니터링과 고객 피드백 분석에 널리 사용된다.
- 건강 관련 분류: 질병 발병이나 약물 부작용 추적과 같은 공중 보건 감시를 위해 소셜 미디어 게시물을 분석.
- 기사 선별: 생물학과 같은 분야에서 수동 큐레이션을 위해 관련 기사를 선택하는 작업으로, 자동 시스템이 방대한 과학 문헌의 양을 관리하는 데 도움을 준다.
과제와 미래 방향
성공에도 불구하고 텍스트 분류는 여러 과제에 직면한다. 모호한 언어, 풍자, 맥락 의존적 의미를 처리하는 것은 여전히 어렵다. 도메인 적응 - 한 유형의 텍스트(예: 뉴스 기사)로 훈련된 모델을 다른 유형(예: 법률 문서)에 적용하는 것 - 은 종종 추가 미세 조정이 필요하다. 일부 범주에 예제가 훨씬 적은 클래스 불균형도 성능을 저하시킬 수 있다.
OpenAI, Anthropic, Google DeepMind와 같은 기관에서 개발된 Large language model의 최근 발전은 새로운 가능성을 열었다. 방대한 양의 텍스트로 훈련된 이러한 모델은 최소한의 작업별 훈련으로 분류를 수행할 수 있으며, 때로는 제로샷 또는 퓨샷 방식으로도 가능하다. 또한 복잡한 지침을 처리하고 분류에 대한 설명을 생성하여 해석 가능성을 향상시킬 수 있다.
2020년대 초반 현재, 연구는 더 효율적인 아키텍처, 긴 문서의 더 나은 처리, 분류 시스템의 공정성 개선과 편향 감소 방법을 계속 탐구하고 있다. 텍스트 분류와 Generative AI 및 Deep learning과 같은 다른 AI 기술의 통합은 향후 몇 년 동안 추가 혁신을 가져올 가능성이 높다.