고전적 단일 언어 단어 의미 중의성 해소(WSD)는 단일 언어 내에서 주변 맥락을 기반으로 단어의 올바른 의미를 식별하는 계산 작업이다. 번역 등가물을 사용하는 교차 언어 방법과 달리, 고전적 WSD는 사전이나 시소러스와 같은 의미 목록에 의존하여 각 중의적 단어 출현에 개별 의미 레이블을 할당한다. 이 문제는 신경망 및 대규모 언어 모델 접근 방식이 등장하여 전통적 기법을 대체하기 전인 1980년대부터 2010년대 초반까지 자연어 처리 연구의 핵심 초점이었다.
이 작업은 일반적으로 지도 학습 또는 지식 기반 분류 문제로 구성된다. 지도 WSD에서는 시스템이 사전 정의된 목록에서 각 중의적 단어에 올바른 의미가 레이블된 수동 주석 말뭉치로 훈련된다. 반면 지식 기반 방법은 WordNet이나 사전 정의와 같은 어휘 자원을 사용하여 맥락과 후보 의미 간의 유사성을 계산한다. 평가는 일반적으로 1998년부터 표준화된 테스트 세트를 제공한 Senseval 및 SemEval과 같은 벤치마크 데이터 세트를 대상으로 수행된다.
역사적 발전
WSD의 기원은 1950년대 초기 기계 번역 연구로 거슬러 올라가지만, 고전적 시대는 1980년대 기계 판독 가능한 사전의 등장과 함께 시작되었다. Xerox PARC 및 MIT CSAIL과 같은 기관의 연구자들은 사전 정의와 예문을 의미 선택의 증거로 사용하는 방식을 탐구했다. 이 분야는 1985년 프린스턴 대학에서 WordNet이 만들어지면서 추진력을 얻었으며, 이는 영어 WSD의 사실상 표준 의미 목록이 된 구조화된 어휘 데이터베이스를 제공했다.
1990년대에는 통계적 방법이 지배적이 되었다. Yarowsky(1995)의 획기적인 연구는 담화당 하나의 의미 가설과 소규모 시드 레이블 예제만으로 높은 정확도를 달성한 부트스트래핑 알고리즘을 도입했다. 이 시기에는 1998년부터 시작된 첫 Senseval 평가 캠페인도 등장하여 엄격한 비교 벤치마크를 확립하고 체계적 진전을 이끌었다.
2000년대에는 로컬 맥락, 연어, 구문 의존성에서 파생된 풍부한 특징 세트에 적용된 서포트 벡터 머신 및 결정 트리를 포함한 지도 기계 학습 접근 방식의 부상이 있었다. Carnegie Mellon University 연구자들이 개발한 시스템은 지속적으로 리더보드 정상에 올랐으며, 거친 입자 작업에서 약 70% 정확도를 달성했다. 그러나 성능은 정체되었고, 이 분야는 의미 입자성과 도메인 적응의 고유한 어려움으로 어려움을 겪었다.
주요 방법 및 알고리즘
고전적 WSD 방법은 세 가지 광범위한 범주로 나뉜다. 지식 기반 방법은 레이블 데이터 없이 외부 자원에 의존한다. 1986년 Michael Lesk이 제안한 Lesk 알고리즘은 사전 정의가 맥락과 가장 큰 단어 중첩을 갖는 의미를 선택한다. 변형은 WordNet의 의미 유사성 측정(예: Jiang-Conrath 및 Resnik 지표)을 사용하여 정보 내용과 분류학적 거리를 기반으로 관련성을 계산함으로써 이를 개선했다.
지도 방법은 WSD를 분류 문제로 취급한다. 특징 공학이 중요했으며, 일반적인 특징에는 주변 단어(단어 주머니), 품사 태그, 구문 관계가 포함되었다. Naive Bayes, 최대 엔트로피 모델, 서포트 벡터 머신과 같은 알고리즘이 널리 사용되었다. Senseval-2(2001) 및 Senseval-3(2004)의 최고 시스템은 이러한 기법을 사용했으며, 종종 앙상블 방법과 도메인별 튜닝을 결합했다.
부트스트래핑 및 반지도 방법은 레이블 데이터의 부족을 해결했다. Yarowsky의 알고리즘은 소규모 시드 세트로 분류기를 반복적으로 훈련한 다음, 레이블되지 않은 데이터에 대한 예측을 사용하여 훈련 세트를 확장하며, 담화당 하나의 의미 제약을 활용한다. 이 접근 방식은 많은 맥락에서 소규모 대상 단어 세트가 주석된 어휘 샘플 작업에서 주목할 만한 성공을 거두었다.
평가 및 벤치마크
Senseval 및 SemEval 캠페인은 주요 평가 프레임워크를 제공했다. Senseval-1(1998)은 어휘 샘플 및 모든 단어 작업을 도입했으며, 후자는 실행 텍스트의 모든 내용어를 중의성 해소해야 한다. 이후 버전인 Senseval-2, Senseval-3, SemEval-2007은 작업을 개선하고 다국어 트랙을 추가했다. 영어 어휘 샘플 작업은 일반적으로 20~40개의 중의적 단어를 다루었으며, 모든 단어 작업은 Wall Street Journal 및 Wikipedia와 같은 출처의 연속 텍스트를 사용했다.
지표에는 정밀도, 재현율, F1 점수가 포함되며, 재현율은 시스템이 중의성 해소를 시도하는 단어의 비율로 계산되는 경우가 많다. 최고의 고전 시스템은 모든 단어 작업에서 F1 점수 약 65~70%를 달성했으며, 어휘 샘플 작업은 제한된 단어 세트로 인해 더 높은 정확도에 도달했다. 주목할 만한 과제는 "지식 획득 병목 현상"이었다. 수동 의미 주석은 비용이 많이 들고, 의미 목록은 인간과 기계 모두가 동의하기 어려운 세밀한 구분을 종종 포함한다.
한계 및 현대 접근 방식으로의 전환
고전적 WSD는 여러 지속적인 한계에 직면했다. 고정된 의미 목록에 대한 의존은 도메인과 언어 전반에 걸쳐 시스템을 취약하게 만들었다. "bank"(금융 기관 vs. 강둑)의 다양한 유형을 구별하는 것과 같은 세밀한 의미는 특히 어려웠으며, 주석자 간 일치율은 종종 80% 미만이었다. 또한 특징 기반 모델은 장거리 의미 맥락을 효과적으로 포착할 수 없었다.
2010년대 단어 임베딩의 등장과 2018년 BERT와 같은 Transformer (architecture) 모델의 출현은 이 분야를 변화시켰다. 이러한 모델은 단어 의미를 암시적으로 인코딩하는 맥락 표현을 학습하며, WSD 데이터 세트에 대한 미세 조정은 상당한 개선을 가져와 종종 모든 단어 작업에서 80% 이상의 F1을 초과한다. 결과적으로 고전적 WSD 방법은 이제 주로 역사적 관심사이지만, 어휘 의미론의 기초를 이해하고 현대 모델이 비실용적인 저자원 시나리오에서 여전히 관련이 있다.
유산 및 영향
대체되었음에도 불구하고 고전적 WSD는 현대 NLP에 지속되는 기본 개념에 기여했다. 의미 목록과 평가 벤치마크의 아이디어는 나중에 개체 연결 및 의미 역할 레이블링과 같은 작업에 영향을 미쳤다. WSD에서 개척된 부트스트래핑 및 반지도 기법은 레이블 데이터가 제한된 도메인에서 여전히 사용된다. 또한 의미 입자성과 맥락 의존성과 같은 고전적 WSD에서 식별된 과제는 Large language model 해석 가능성 및 평가에 대한 연구에 계속 정보를 제공한다.