엔티티 연결(Entity linking, 개체 연결 또는 개체명 중의성 해소라고도 함)은 사람, 조직, 장소와 같은 실세계 객체에 대한 텍스트 내 언급을 위키데이터나 위키백과 같은 구조화된 지식 베이스, 일반적으로 지식 그래프의 해당 항목에 연결하는 자연어 처리 작업이다. 그 목표는 중의성을 해소하는 것이다. 예를 들어 "워싱턴"이라는 언급은 미국 주, 도시, 인물 또는 신문을 가리킬 수 있다. 엔티티 연결 시스템은 맥락에 따라 의도된 지시 대상을 결정하여 자유 형식 텍스트를 기계가 읽을 수 있는 표현에 근거를 둔다.
이 작업은 텍스트 범위를 엔티티로 식별하지만 고유한 정체성을 부여하지는 않는 개체명 인식(NER)의 초기 연구에서 발전했다. 엔티티 연결은 중의성 해소 단계를 추가하여 NER을 확장하며, 주변 단어, 엔티티 유형 일관성, 후보 엔티티의 사전 확률과 같은 특징을 자주 사용한다. 이는 정보 추출 파이프라인의 기초 구성 요소로, 질의응답, 관계 추출, 지식 베이스 구축과 같은 하위 응용 프로그램을 가능하게 한다. 현대 AI 시스템에서 엔티티 연결은 검색 증강 생성도 지원하며, 대규모 언어 모델이 외부 지식 소스를 참조하여 더 정확하고 검증 가능한 응답을 생성한다.
역사적 발전
엔티티 연결의 기원은 1990년대와 2000년대 초반으로 거슬러 올라가며, 정보 검색과 텍스트 마이닝을 연구하던 학자들이 이름 중의성 문제를 다루기 시작했다. 초기 시스템은 수작업 규칙과 어휘 일치에 의존했지만, 대규모 평가 캠페인의 도입으로 이 분야는 추진력을 얻었다. 텍스트 분석 회의(TAC)와 그 전신인 메시지 이해 회의(MUC)는 명명된 엔티티를 지식 베이스에 연결하는 작업을 포함했다. 2009년 TAC-KBP(지식 베이스 구축) 트랙은 엔티티 연결을 독립적인 평가로 공식화하여 벤치마크 데이터 세트를 제공하고 체계적인 발전을 이끌었다.
2010년대에는 통계적 및 기계 학습 접근 방식이 지배적이었으며, 단어 가방 맥락, 엔티티 인기도, 그래프 기반 측정과 같은 특징을 사용했다. AIDA와 DBpedia Spotlight와 같은 시스템이 널리 사용되었다. 2010년대 중반 딥러닝의 도래는 언급과 엔티티의 밀집 표현을 학습하는 신경 모델을 가져와 중의적인 경우의 정확도를 향상시켰다. 2010년대 후반에는 BERT와 그 후속 모델을 포함한 트랜스포머 기반 모델이 풍부한 맥락 의미론을 포착하여 새로운 최첨단 결과를 세웠다.
핵심 과제
엔티티 연결은 여러 가지 고유한 어려움에 직면한다. 가장 두드러진 것은 중의성이다. 많은 엔티티 이름은 다의어이며, 올바른 지시 대상은 종종 미묘한 맥락 단서에 의존한다. 예를 들어 "애플"은 과일, 기술 회사 또는 레코드 레이블을 가리킬 수 있다. 반대로 단일 엔티티는 "JFK", "존 F. 케네디", "케네디 대통령"과 같은 여러 표면 형태를 가질 수 있어 별명 해소가 필요하다.
또 다른 과제는 지식 베이스의 불완전성이다. 많은 실세계 엔티티가 아직 표현되지 않아 "NIL" 언급 문제가 발생하며, 시스템은 새 항목을 만들지 아니면 언급을 해결되지 않은 채로 둘지 결정해야 한다. 또한 엔티티 연결은 철자 오류와 비공식 언어가 흔한 소셜 미디어 게시물이나 음성 전사와 같은 잡음이 있는 텍스트를 처리해야 한다. 언급이 한 언어에 있고 지식 베이스가 다른 언어에 있는 교차 언어 엔티티 연결은 추가적인 복잡성을 더한다.
방법 및 기법
전통적인 엔티티 연결 접근 방식은 후보 생성, 후보 순위 지정, 선택적으로 연결 불가 언급 예측의 파이프라인을 따른다. 후보 생성은 문자열 일치, 별명 테이블 또는 검색 인덱스를 사용하여 지식 베이스에서 가능한 엔티티 집합을 검색한다. 그런 다음 후보 순위 지정은 맥락 유사성, 엔티티 인기도, 유형 호환성과 같은 특징을 사용하여 각 후보를 점수화한다. 그래프 기반 방법은 지식 베이스의 구조를 활용하여 PageRank 또는 개인화된 PageRank와 같은 알고리즘을 사용해 관련 엔티티 간에 증거를 전파한다.
신경 및 딥러닝 방법은 특징 기반 접근 방식을 대체했다. 현대 시스템은 트랜스포머 인코더를 사용하여 언급과 엔티티에 대한 맥락화된 임베딩을 생성한다. 일부 모델은 공유 공간에서 언급과 엔티티 표현을 공동으로 학습하는 반면, 다른 모델은 언급 맥락과 엔티티 설명을 연결하는 교차 인코더를 사용한다. 최근 연구는 시퀀스-투-시퀀스 모델이 엔티티 식별자를 직접 생성하는 생성적 접근 방식과 밀집 구절 검색과 엔티티 연결을 결합한 검색 증강 방법을 탐구했다. OpenAI 및 Anthropic이 개발한 것과 같은 대규모 언어 모델도 제로샷 또는 퓨샷 방식으로 엔티티 연결에 적용되었지만, 중의적인 경우에 대한 신뢰성은 여전히 활발한 연구 영역이다.
응용 및 영향
엔티티 연결은 지식 그래프를 구축하고 유지하는 데 중요하다. Google Cloud 및 기타 클라우드 플랫폼에서 엔티티 연결 서비스는 API로 제공되어 개발자가 맞춤형 모델을 구축하지 않고도 비정형 텍스트를 풍부하게 할 수 있다. 검색 엔진은 엔티티 연결을 사용하여 쿼리를 이해하고 지식 패널을 표시한다. 생물의학 분야에서 엔티티 연결은 유전자, 약물, 질병에 대한 언급을 UMLS와 같은 온톨로지에 연결하여 문헌 마이닝과 임상 의사 결정 지원을 지원한다.
Artificial intelligence 및 Machine learning의 맥락에서 엔티티 연결은 자연어와 구조화 데이터 사이의 다리 역할을 한다. 질의응답 시스템의 핵심 구성 요소로, 질문의 엔티티를 연결하여 지식 베이스에서 관련 사실을 검색하는 데 도움을 준다. 또한 주장을 검증 가능한 출처에 근거를 둠으로써 사실 확인과 허위 정보 탐지를 지원한다. Large language model 시스템이 더 보편화됨에 따라 엔티티 연결은 생성된 텍스트를 외부 지식에 고정하여 환각을 줄이는 데 점점 더 많이 사용된다.
평가 및 벤치마크
엔티티 연결의 표준 평가 지표는 정확도이며, 금본위 엔티티에 올바르게 연결된 언급의 비율로 정의된다. 그러나 많은 언급이 연결 불가능할 때 이 지표는 오해의 소지가 있을 수 있으므로 모든 언급에 대한 마이크로 평균 정확도와 문서에 대한 매크로 평균 정확도와 같은 변형도 사용된다. TAC-KBP 데이터 세트, CoNLL-YAGO, AIDA-CoNLL 코퍼스와 같은 벤치마크는 비교를 위한 공통 기준을 제공한다. 제로샷 엔티티 연결 데이터 세트와 같은 더 최근의 벤치마크는 보이지 않는 엔티티와 도메인에 대한 일반화를 테스트한다.
상당한 진전에도 불구하고 엔티티 연결은 특히 긴 꼬리 엔티티, 저자원 언어, 새로운 엔티티가 자주 등장하는 동적 도메인에서 여전히 미해결 문제로 남아 있다. 향후 연구 방향에는 엔티티 연결을 종단 간 신경 모델과 더 긴밀하게 통합하고, 다중 모달 신호를 활용하며, 지속적으로 진화하는 지식 베이스에서 작동할 수 있는 방법을 개발하는 것이 포함된다.