명시적 의미 분석(ESA)은 자연어 처리와 정보 검색에 사용되는 텍스트의 벡터 표현이다. 이는 개별 단어나 전체 문서를 고차원 공간의 벡터로 나타내며, 각 차원은 위키백과 문서와 같이 인간이 명시적으로 정의한 개념에 해당한다. 이 기법은 Evgeniy Gabrilovich와 Shaul Markovitch가 텍스트 분류를 개선하고 코사인 유사도를 사용하여 텍스트 간의 의미적 관련성을 계산하기 위해 설계했다. 이 이름은 잠재 의미 분석(LSA)과 대조되는데, ESA가 지식 기반을 사용하여 벡터 공간을 구성하는 개념에 인간이 읽을 수 있는 레이블을 할당할 수 있기 때문이다.
ESA는 문서 말뭉치를 지식 기반으로 활용하여 작동한다. 기본 형태에서 단어는 말뭉치의 단어 빈도-역문서 빈도(tf-idf) 행렬의 열 벡터로 표현되며, 문서는 구성 단어 벡터의 중심으로 표현된다. 영어 위키백과가 일반적인 말뭉치이지만, Open Directory Project와 같은 다른 컬렉션도 사용된 바 있다.
모델
기본 ESA 변형은 위키백과의 모든 문서와 같은 텍스트 모음, 즉 N개의 문서로 시작한다. 각 문서는 "단어 가방" - 단어 빈도 히스토그램 - 으로 변환되어 역색인에 저장된다. 주어진 단어에 대해 역색인은 해당 단어를 포함하는 문서 집합을 반환하며, 각 문서는 단어가 나타나는 빈도에 따라 점수가 매겨지고 문서의 총 단어 수로 가중치가 부여된다. 수학적으로 이 출력은 단어-문서 점수의 N차원 벡터이며, 단어를 포함하지 않는 문서는 0점을 받는다.
두 단어의 관련성을 계산하기 위해, 그들의 벡터 u와 v는 코사인 유사도를 사용하여 비교된다: sim(u, v) = (u · v) / (||u|| ||v||). 이는 의미적 관련성의 수치적 추정치를 제공한다. 이 체계는 텍스트의 모든 단어 벡터를 합산하여 문서 수준 표현을 생성함으로써 단일 단어에서 여러 단어로 구성된 텍스트로 확장된다.
분석
ESA는 원래 지식 기반이 주제적으로 직교하는 개념을 포함한다는 가정 하에 제안되었다. 그러나 Maik Anderka와 Benno Stein은 나중에 ESA가 직교성 속성을 충족하지 않는 로이터 통신사의 뉴스 기사 말뭉치를 기반으로 할 때도 정보 검색 성능을 향상시킨다는 것을 입증했다. 그들의 실험에서 뉴스 기사는 "개념"으로 사용되었다. 이 관찰은 ESA와 일반화된 벡터 공간 모델 간의 연결을 통해 설명되었다. Gabrilovich와 Markovitch는 Anderka와 Stein의 결과가 텍스트 유사성에 대한 ESA의 단일 적용과 50개의 뉴스 문서로 구성된 작고 동질적인 테스트 컬렉션을 사용하여 달성되었다고 응답했다.
응용
단어 관련성
ESA는 저자들에 의해 의미적 유사성과 대조되는 의미적 관련성의 척도로 간주된다. 단어 관련성 벤치마크 데이터 세트에서 ESA는 WordNet 기반 의미적 유사성 측정 및 Word2vec과 같은 skip-gram 신경망 언어 모델을 포함한 다른 알고리즘보다 우수한 성능을 보인다. 이 접근 방식은 개념 기반 표현이 분류 정확도를 향상시키는 텍스트 분류 작업에 적용되었다.
문서 관련성
ESA는 문서의 관련성을 계산하기 위한 상용 소프트웨어 패키지에서 사용된다. ESA 모델에 대한 도메인별 제한은 전문 분야에서 더 견고한 문서 매칭을 제공하기 위해 때때로 적용된다. 이 기법이 해석 가능한 개념 벡터를 생성하는 능력은 텍스트 내용의 투명한 표현이 필요한 응용 프로그램에 가치를 제공한다.
확장
교차 언어 명시적 의미 분석(CL-ESA)은 ESA의 다국어 일반화이다. CL-ESA는 문서 정렬된 다국어 참조 컬렉션, 일반적으로 다시 위키백과를 활용하여 문서를 언어 독립적인 개념 벡터로 표현한다. 서로 다른 언어의 두 문서 간 관련성은 해당 벡터 표현 간의 코사인 유사도로 평가된다. 이 확장은 교차 언어 정보 검색과 언어 경계를 넘는 텍스트 비교를 가능하게 한다.
ESA는 또한 Machine learning 및 Artificial intelligence의 광범위한 발전, 특히 Natural language processing 작업의 맥락과 연결되어 왔다. 명시적이고 해석 가능한 개념 공간은 Neural network 임베딩과 같은 이후의 Deep learning 접근 방식과 구별되지만, 둘 다 텍스트의 의미적 관계를 포착하는 것을 목표로 한다. 이 방법은 Large language model 및 Transformer (architecture) 아키텍처와 같은 최신 모델을 보완하는 의미 표현의 기초 기법으로 여전히 관련성이 있다.