정보 추출(IE)은 자연어 처리 분야에서 비구조화 또는 반구조화 텍스트로부터 구조화된 정보를 자동으로 도출하는 작업이다. 이는 개체명 인식, 관계 추출, 사건 추출과 같은 작업을 포함하며, 지식 베이스 구축, 질의응답 시스템, 텍스트 마이닝 응용의 기초가 된다. IE 시스템은 원시 텍스트를 기계가 읽을 수 있는 데이터로 변환하여 검색, 추론, 분석과 같은 하위 작업을 가능하게 한다.
정보 추출의 기원은 1960년대와 1970년대로 거슬러 올라가며, 뉴욕 대학교의 Linguistic String Project와 1970년대 후반 예일 대학교에서 개발된 FRUMP 시스템과 같은 초기 시스템이 있었다. 이 분야는 1980년대에 미국 국방고등연구계획국(DARPA)이 자금을 지원한 일련의 경진대회인 Message Understanding Conferences(MUC)를 통해 두각을 나타냈으며, 이는 개체명 인식과 템플릿 채우기와 같은 표준 IE 작업을 정의했다. 이후 1999년부터 2008년까지 미국 국립표준기술연구소(NIST)가 운영한 Automatic Content Extraction(ACE) 프로그램은 더 복잡한 주석 지침을 포함하여 개체, 관계, 사건 추출로 범위를 확장했다.
핵심 작업
정보 추출은 일반적으로 여러 하위 작업을 포함한다. 개체명 인식(NER)은 사람, 조직, 위치, 날짜, 숫자 표현과 같은 개체의 언급을 식별한다. 관계 추출은 "근무한다" 또는 "위치한다"와 같은 개체 간의 의미적 관계를 결정한다. 사건 추출은 사건 트리거, 참여자, 시간 속성을 포함하여 텍스트에 설명된 발생을 식별한다. 상호참조 해소는 문서 전반에 걸쳐 동일한 개체의 서로 다른 언급을 연결하며, 정보를 통합하는 데 필수적이다. 이러한 작업은 종종 파이프라인으로 수행되지만, 현대 시스템은 이를 공동으로 모델링할 수 있다.
방법 및 접근법
초기 IE 시스템은 수작업으로 만든 규칙과 사전에 의존했다. 예를 들어, 1990년대 SRI International에서 개발된 FASTUS 시스템은 유한 상태 변환기를 사용하여 패턴을 식별했다. 은닉 마르코프 모델과 조건부 무작위장(CRF)과 같은 통계적 방법은 2000년대에 인기를 얻었으며, Stanford NER 시스템이 그 예이다. 딥러닝의 등장과 함께 순환 신경망, 이후 트랜스포머와 같은 신경망 아키텍처가 최첨단 결과를 달성했다. 2018년 Google이 도입한 BERT와 같은 모델은 맥락화된 단어 표현을 사용하여 개체 및 관계 추출 정확도를 크게 향상시켰다. 더 최근에는 대규모 언어 모델(LLM)이 프롬프팅과 미세 조정을 통해 IE에 적용되어 최소한의 작업별 훈련 데이터로 제로샷 및 퓨샷 추출을 가능하게 한다.
응용 분야
정보 추출은 산업과 연구에서 널리 사용된다. 생물의학 분야에서는 시스템이 과학 문헌에서 유전자-질병 연관성과 약물 상호작용을 추출하여 약물 발견을 돕는다. 금융에서는 IE가 뉴스와 보고서를 모니터링하여 기업 수익, 합병, 위험 지표를 추출한다. 법률 기술은 IE를 사용하여 계약서의 조항과 당사자를 식별한다. 검색 엔진은 IE를 활용하여 지식 패널과 구조화된 스니펫을 생성한다. 소셜 미디어 분석은 IE를 사용하여 제품 언급과 대중 감정을 추적한다. 추출된 데이터는 종종 Google의 Knowledge Graph와 같은 지식 그래프를 채우며, 이는 개체 기반 검색 기능을 지원한다.
과제와 한계
진전에도 불구하고 IE는 여러 과제에 직면한다. 다의어와 상호참조와 같은 언어의 모호성은 오류를 초래할 수 있다. 도메인 적응은 여전히 어렵다. 한 도메인(예: 뉴스)에서 훈련된 모델은 다른 도메인(예: 의학 텍스트)에 적용될 때 성능이 저하되는 경우가 많다. 저자원 언어와 전문 용어는 충분한 훈련 데이터가 부족하다. 또한 복잡한 시간적 및 인과적 관계를 가진 사건을 추출하는 것은 여전히 미해결 문제이다. 평가도 주석이 데이터 세트와 작업에 따라 다르기 때문에 까다롭다. 2020년대 초반 기준으로 LLM은 일부 문제를 완화했지만 환각과 추출된 사실의 불일치와 같은 새로운 문제를 도입했다.
향후 방향
현재 연구는 그래프 신경망을 사용하여 상호작용을 포착하고 외부 지식 베이스를 통합하여 정확도를 향상시키는 개체와 관계의 공동 추출에 초점을 맞추고 있다. 또한 이전 지식을 잊지 않고 새로운 도메인에 적응하는 증분 및 평생 학습에 대한 관심도 있다. 생성형 AI의 부상과 함께 대화형 또는 지시 따르기 방식으로 LLM을 IE에 사용하고 추출된 정보가 설명 가능하고 신뢰할 수 있도록 보장하는 작업이 증가하고 있다. IE와 지식 그래프 구축 및 추론의 통합은 여전히 활발한 영역이며, 자동화된 과학적 발견과 기업 데이터 관리에 잠재적 응용이 있다.