의존 구문 분석(Dependency parsing)은 자연어 처리(NLP)에서 문장의 문법적 구조를 분석하는 데 사용되는 방법이다. 이는 개별 단어들 사이의 이진 관계를 설정하는데, 이를 의존 관계(dependency relations)라고 하며, 한 단어는 머리말(head 또는 governor)이 되고 다른 단어는 의존어(dependent 또는 modifier)가 된다. 그 결과는 단어들이 서로 어떻게 의존하는지를 포착하는 나무 구조와 유사한 형태로, 정보 추출, 기계 번역, 질의응답과 같은 다양한 하위 작업에 유용한 통사 구조의 표현을 제공한다.
구성 구문 분석(constituency parsing)이 단어들을 중첩된 구(phrase)로 묶는 것과 달리, 의존 구문 분석은 단어들 사이의 직접적인 관계에 초점을 맞춘다. 이러한 접근 방식은 고정된 구 구조에 의존하지 않기 때문에 어순이 유연한 언어에 특히 효과적이다. 의존 구문 분석은 전산언어학의 핵심 주제였으며, 통계적 및 신경망 모델의 등장과 함께 상당한 발전을 이루었다.
역사와 발전
의존 문법의 이론적 토대는 20세기 중반 Lucien Tesnière의 연구로 거슬러 올라가며, 그는 통사 구조가 구 구조가 아닌 단어들 사이의 의존 관계에 기반한다고 제안했다. 1960년대와 1970년대에는 Richard Hudson과 Igor Mel'čuk과 같은 언어학자들이 의존 관계와 논항(valency)의 개념을 공식화하면서 의존 문법을 더욱 발전시켰다.
계산적 측면에서 초기 의존 구문 분석기는 규칙 기반이었고 수작업으로 작성된 문법에 의존했다. 1990년대에는 Michael Collins의 연구와 같은 통계적 접근 방식이 등장하여 주석이 달린 말뭉치에서 분석기를 훈련시키기 위해 기계 학습을 사용했다. Penn Treebank 및 기타 주석 데이터셋의 도입은 분석기를 훈련하고 평가하는 데 필요한 자원을 제공했다.
주요 이정표는 전이 기반(transition-based) 및 그래프 기반(graph-based) 구문 분석 알고리즘의 개발이었다. arc-standard 및 arc-eager 알고리즘과 같은 전이 기반 분석기는 지역적 결정을 내려 의존 트리를 점진적으로 구축한다. 반면 그래프 기반 분석기는 가능한 모든 의존 트리에 점수를 매기고 Chu-Liu-Edmonds 알고리즘과 같은 알고리즘을 사용하여 가장 높은 점수를 가진 트리를 선택한다. 이러한 접근 방식은 딥러닝이 부상할 때까지 이 분야를 지배했다.
현대적 접근 방식
딥러닝의 등장으로 의존 구문 분석은 혁명적으로 변화했다. 순환 신경망(RNN)과 이후 트랜스포머를 사용하는 신경망 기반 분석기는 최첨단 결과를 달성했다. 2017년 Dozat과 Manning이 제안한 Biaffine Parser는 이중 아핀 주의 메커니즘을 사용하여 정확도를 크게 향상시켰다. 더 최근에는 BERT와 같은 사전 훈련된 언어 모델이 구문 분석 아키텍처에 통합되어 성능을 더욱 끌어올렸다.
현대 분석기는 종종 100개 이상의 언어에 대한 주석 데이터를 제공하는 Universal Dependencies(UD) 프로젝트와 같은 대규모 다국어 말뭉치에서 훈련된다. 이를 통해 교차 언어 전이와 단일 모델로 여러 언어를 처리할 수 있는 분석기 개발이 가능해졌다. Neural network 아키텍처와 Deep learning 기술의 사용은 의존 구문 분석을 더욱 견고하고 정확하게 만들었다.
응용 분야
의존 구문 분석은 많은 NLP 시스템의 기본 구성 요소이다. 이는 다음에 사용된다:
- 정보 추출: 누가 누구에게 무엇을 했는지와 같은 개체 간의 관계 식별.
- 기계 번역: 더 정확한 번역을 생성하기 위해 원본 언어의 통사 구조 이해.
- 질의응답: 의도를 이해하고 관련 답변을 추출하기 위해 질문 구문 분석.
- 감정 분석: 단어 간의 관계를 분석하여 의견의 극성 결정.
- 텍스트 요약: 간결한 요약을 생성하기 위해 핵심 구문과 그 관계 식별.
또한 의존 트리는 다른 기계 학습 모델의 특징으로 자주 사용되며, 개체명 인식 및 상호참조 해결과 같은 작업의 성능을 향상시킬 수 있는 통사 정보를 제공한다.
평가 및 벤치마크
의존 구문 분석기는 일반적으로 비부착 점수(UAS)와 부착 점수(LAS)와 같은 지표를 사용하여 평가된다. UAS는 올바른 머리말을 가진 단어의 비율을 측정하고, LAS는 올바른 의존 레이블도 요구한다. 이러한 지표는 주석이 달린 말뭉치의 보류된 테스트 세트에서 계산된다.
CoNLL 공유 과제와 같은 벤치마크는 이 분야를 발전시키는 데 중요한 역할을 했다. CoNLL 2017 및 2018 공유 과제는 다국어 의존 구문 분석에 초점을 맞추어 서로 다른 시스템을 비교할 수 있는 공통 플랫폼을 제공했다. Universal Dependencies 트리뱅크는 이러한 평가의 표준 데이터셋 역할을 한다.
과제 및 향후 방향
상당한 진전에도 불구하고 의존 구문 분석은 여전히 과제에 직면해 있다. 주요 문제 중 하나는 머리말과 의존어가 문장에서 멀리 떨어져 있는 장거리 의존성 처리이다. 또 다른 과제는 주석 데이터가 부족한 저자원 언어의 구문 분석이다. 이를 해결하기 위해 교차 언어 전이 및 준지도 학습과 같은 기술이 탐구되고 있다.
향후 방향에는 의존 구문 분석에 의미 정보를 통합하는 것과 매우 긴 문장을 처리할 수 있는 더 효율적인 모델 개발이 포함된다. Large language model 및 Transformer (architecture) 아키텍처의 사용은 가능성의 경계를 계속 확장하고 있으며, 의존 구문 분석은 Artificial intelligence 및 Machine learning 분야에서 활발한 연구 영역으로 남아 있다.