텍스트 마이닝(Text mining)은 텍스트 데이터 마이닝(TDM) 또는 텍스트 애널리틱스(text analytics)라고도 하며, 텍스트에서 고품질 정보를 추출하는 과정이다. 여기에는 웹사이트, 책, 이메일, 리뷰, 기사와 같은 서면 자료에서 패턴과 추세를 자동으로 추출하여 새롭고 이전에 알려지지 않은 정보를 컴퓨터가 발견하는 작업이 포함된다. 이 분야는 인공지능, 기계 학습, 통계의 기법을 결합하여 비정형 텍스트를 분석에 적합한 정형 데이터로 변환한다. 고품질 정보는 일반적으로 관련성, 참신성, 흥미로움의 조합을 의미하며, 통계적 패턴 학습 및 자연어 처리와 같은 방법을 통해 얻어진다.
이 학문은 정보 검색과 지식 발견에 대한 초기 작업에서 비롯되었으며, 1980년대 생명 과학 연구와 정부 정보 기관이 자동화된 텍스트 분석을 처음 적용하면서 뿌리를 두고 있다. 일반적인 응용 프로그램은 자연어로 된 문서 집합을 스캔하여 예측 분류를 위해 문서 집합을 모델링하거나 추출된 정보로 데이터베이스나 검색 색인을 채운다. 문서는 기본 단위로, 많은 컬렉션에 존재하는 텍스트 데이터의 단위로 정의된다.
핵심 작업 및 관점
텍스트 마이닝은 여러 일반적인 작업을 포함한다: 텍스트 분류, 텍스트 클러스터링, 개념 및 엔터티 추출, 세분화된 분류 체계 생성, 감정 분석, 문서 요약, 엔터티 관계 모델링. Hotho 외 (2005)에 따르면, 이 분야는 정보 추출, 데이터 마이닝, 데이터베이스의 지식 발견(KDD)의 세 가지 관점에서 볼 수 있다. 이 과정은 일반적으로 입력 텍스트를 구조화하고(구문 분석, 언어적 특징 추가 또는 제거, 데이터베이스에 삽입), 구조화된 데이터 내에서 패턴을 도출하며, 마지막으로 출력을 평가하고 해석하는 것을 포함한다.
텍스트 분석은 정보 검색, 단어 빈도 분포를 연구하기 위한 어휘 분석, 패턴 인식, 태깅 및 주석, 정보 추출, 링크 및 연관 분석을 포함한 데이터 마이닝 기법, 시각화, 예측 분석을 포함한다. 전반적인 목표는 텍스트를 분석을 위한 데이터로 전환하는 것이며, 해석은 중요한 최종 단계이다.
텍스트 애널리틱스 및 비즈니스 사용
텍스트 애널리틱스는 비즈니스 인텔리전스, 탐색적 데이터 분석, 연구 또는 조사를 위해 텍스트 소스의 정보 내용을 모델링하고 구조화하는 언어적, 통계적, 기계 학습 기법의 집합을 설명한다. 이 용어는 텍스트 마이닝과 거의 동의어이다; Ronen Feldman은 2004년에 "텍스트 마이닝"에 대한 2000년 설명을 수정하여 "텍스트 애널리틱스"를 설명했다. 후자의 용어는 이제 비즈니스 환경에서 더 자주 사용되는 반면, "텍스트 마이닝"은 생명 과학 연구 및 정부 정보 기관과 같은 초기 응용 분야에서 여전히 일반적이다.
비즈니스에서 텍스트 애널리틱스는 독립적으로 또는 필드화된 수치 데이터의 쿼리 및 분석과 함께 문제에 대응하기 위해 적용된다. 비즈니스 관련 정보의 80%가 비정형 형태, 주로 텍스트에서 발생한다고 종종 언급된다. 이러한 기법은 그렇지 않으면 텍스트 형태에 갇혀 자동화된 처리로 접근할 수 없는 지식 - 사실, 비즈니스 규칙, 관계 - 을 발견하고 제시한다.
분석 프로세스 및 하위 작업
텍스트 마이닝 시스템은 일반적으로 여러 하위 작업을 포함한다. 차원 축소는 어근 단어를 식별하고 텍스트 데이터의 크기를 줄이는 데 사용되는 중요한 전처리 기법이다. 정보 검색 또는 말뭉치 식별은 웹, 파일 시스템, 데이터베이스 또는 콘텐츠 말뭉치 관리자에서 텍스트 자료 집합을 수집하거나 식별하는 준비 단계이다.
일부 시스템은 독점적으로 고급 통계 방법을 적용하는 반면, 많은 다른 시스템은 품사 태깅, 구문 분석 및 기타 언어 분석과 같은 광범위한 자연어 처리를 사용한다. 명명된 엔터티 인식은 가제티어 또는 통계 기법을 사용하여 사람, 조직, 장소 이름, 주식 티커 기호, 약어와 같은 명명된 텍스트 특징을 식별한다. 중의성 해소는 "Ford"가 전직 미국 대통령, 자동차 제조업체, 영화 배우 또는 강 건널목을 의미하는지 여부를 결정하기 위해 문맥 단서를 사용한다. 전화번호 및 이메일 주소와 같은 패턴 식별 엔터티는 정규 표현식을 통해 식별할 수 있다.
다른 하위 작업에는 문서 클러스터링(유사한 문서 집합 식별), 상호 참조 해결(동일한 대상을 참조하는 명사구 식별), 관계, 사실 및 이벤트 추출, 감정 분석(주관적 자료를 식별하고 태도, 의견, 기분, 감정을 추출)이 포함된다. 사회 과학에서 비롯된 정량적 텍스트 분석은 인간 판정자나 컴퓨터를 사용하여 심리적 프로파일링과 같은 목적으로 단어 간의 의미적 또는 문법적 관계를 추출한다. 전처리는 일반적으로 토큰화, 필터링, 표제어 추출을 포함한다.
다양한 분야에서의 응용
텍스트 마이닝 기술은 정부, 연구, 비즈니스 요구에 광범위하게 적용된다. 법률 전문가는 전자 증거 개시(e-discovery)에 사용하며, 정부와 군대는 국가 안보 및 정보 수집에 사용한다. 과학 연구자들은 대규모 텍스트 데이터를 정리하고, 텍스트를 통해 전달되는 아이디어를 결정하며(예: 소셜 미디어의 감정 분석), 생명 과학 및 생물정보학과 같은 분야에서 과학적 발견을 지원하기 위해 텍스트 마이닝을 통합한다. 비즈니스에서 응용 프로그램은 경쟁 정보 및 자동 광고 게재를 지원한다.
보안 응용
많은 텍스트 마이닝 소프트웨어 패키지가 보안 응용 프로그램, 특히 국가 안보 목적의 인터넷 뉴스 및 블로그와 같은 온라인 일반 텍스트 소스의 모니터링 및 분석을 위해 판매된다. 텍스트 마이닝은 또한 텍스트 암호화 및 복호화 연구에도 관련된다.
생의학 응용
생의학 문헌에서 텍스트 마이닝 응용 프로그램의 범위가 설명되었으며, 유전자와 질병 간의 관계 추출, 약물 상호 작용 식별, 문헌 기반 발견 지원이 포함된다. 이러한 응용 프로그램은 종종 명명된 엔터티 인식과 관계 추출을 결합하여 비정형 연구 논문에서 구조화된 지식 기반을 구축한다.
현대 AI와의 관계
텍스트 마이닝은 기계 학습 및 딥 러닝의 발전과 함께 진화해 왔다. 현대적 접근 방식은 감정 분석 및 엔터티 추출과 같은 작업을 위해 대규모 언어 모델과 트랜스포머 아키텍처를 점점 더 활용하고 있지만, 전통적인 통계 방법도 여전히 사용된다. 이 분야는 데이터 준비 및 평가를 위해 텍스트 마이닝 기법에 의존하는 생성형 AI 시스템의 기초 구성 요소로 계속해서 자리 잡고 있다.
도메인 전반의 응용
텍스트 마이닝 기술은 정부, 연구, 비즈니스 요구에 광범위하게 적용된다. 법률 전문가는 전자 증거 개시(e-discovery)에 사용하고, 정부와 군대는 국가 안보와 정보 수집에 사용한다. 과학 연구자들은 대규모 텍스트 데이터를 정리하고, 텍스트를 통해 전달되는 아이디어를 결정하며(예: 소셜 미디어의 감정 분석), 생명 과학 및 생물정보학과 같은 분야에서 과학적 발견을 지원하기 위해 텍스트 마이닝을 통합한다. 비즈니스에서 응용 프로그램은 경쟁 정보 및 자동 광고 배치를 지원한다.
보안 응용
많은 텍스트 마이닝 소프트웨어 패키지가 보안 응용 프로그램, 특히 국가 안보 목적의 인터넷 뉴스 및 블로그와 같은 온라인 일반 텍스트 소스의 모니터링 및 분석을 위해 판매된다. 텍스트 마이닝은 또한 텍스트 암호화 및 복호화 연구에도 관련되어 있다.
생의학 응용
유전자와 질병 간의 관계 추출, 약물 상호 작용 식별, 문헌 기반 발견 지원을 포함한 생의학 문헌의 다양한 텍스트 마이닝 응용이 설명되었다. 이러한 응용 프로그램은 종종 명명 엔터티 인식과 관계 추출을 결합하여 비정형 연구 논문에서 구조화된 지식 기반을 구축한다.
현대 AI와의 관계
텍스트 마이닝은 기계 학습 및 딥 러닝의 발전과 함께 진화해 왔다. 현대적 접근 방식은 감정 분석 및 엔터티 추출과 같은 작업을 위해 대규모 언어 모델 및 트랜스포머 아키텍처를 점점 더 활용하고 있지만, 전통적인 통계 방법도 여전히 사용된다. 이 분야는 데이터 준비 및 평가를 위해 텍스트 마이닝 기법에 의존하는 생성형 AI 시스템의 기초 구성 요소로 계속해서 자리 잡고 있다.