심층 언어 처리(Deep linguistic processing)는 이론 언어학과 기술 언어학에 기반을 둔 자연어 처리(NLP)의 한 프레임워크이다. 이는 주로 결합 범주 문법(CCG), 머리-구동 구문 구조 문법(HPSG), 어휘 기능 문법(LFG), 수형 접합 문법(TAG), 프라하 학파와 같은 형식적 통사론 및 의미론 이론을 통해 언어를 모델링한다. 얕은 방법과 달리 심층 언어 처리는 장거리 의존성과 기본적인 술어-논항 구조를 직접 포착하는 표현적 구조적 표상을 생성하여, 언어에 대한 지식이 풍부한 분석을 목표로 한다.
이러한 지식 집약적 접근 방식은 역사적으로 상당한 계산 능력을 요구했으며, 때로는 다루기 어려운 것으로 평가되기도 했다. 그러나 2000년대 초반까지 연구는 심층 처리의 효율성을 크게 향상시켰으며, 현대에 이르러서는 효율성은 더 이상 심층 언어 처리를 사용하는 응용 프로그램의 주요 장애물이 아니다.
얕은 언어 처리와의 대비
전통적으로 심층 언어 처리는 구문 분석과 생성 모두를 위한 계산 문법 개발에 관심을 두었다. 이러한 문법은 수동으로 개발되고 유지되었으며, 실행하는 데 계산 비용이 많이 들었다. 최근 몇 년 동안 기계 학습 접근 방식(얕은 언어 처리라고도 함)은 NLP를 근본적으로 변화시켰다. 견고하고 광범위한 적용 범위를 가진 기계 학습 도구의 빠른 생성은 훨씬 적은 수작업을 요구하므로, 심층 방법은 상대적으로 덜 주목받게 되었다.
그러나 일부 전산 언어학자들은 컴퓨터가 자연어를 이해하거나 추론을 수행하려면 상세한 통사적 및 의미적 표상이 필요하다고 주장한다. 얕은 시스템은 인간과 같은 이해를 결여할 수 있다. 첫째, "마이크로소프트가 조지아에 있었다면 상황은 달라졌을 것이다."라는 문장을 고려해 보자. 얕은 정보 추출 시스템은 마이크로소프트의 본사가 조지아에 있다고 잘못 추론할 수 있지만, 인간은 반사실적 조건문에서 마이크로소프트가 그곳에 있었던 적이 없다는 것을 이해한다. 둘째, "이스라엘 국립 심리학 연구소는 1971년 5월 조엘 교수에 의해 이스라엘 정신생물학 센터로 설립되었다."라는 문장을 고려해 보자. 얕은 시스템은 이스라엘이 1971년에 설립되었다고 잘못 추론할 수 있지만, 인간은 그것이 연구소를 가리킨다는 것을 안다. 이러한 예는 얕은 처리가 텍스트와 주석이 달린 자원의 통계적 조작을 통해 지식이 부족한 분석을 제공하는 반면, 심층 처리는 수동으로 개발된 문법을 통해 지식이 풍부한 분석을 제공한다는 것을 보여준다.
하위 커뮤니티와 형식 체계
심층 전산 언어학자들은 채택된 문법 형식 체계에 따라 하위 커뮤니티로 나뉜다. 주요 협력체로는 HPSG를 사용하는 DELPH-IN 이니셔티브가 있으며, HPSG 컨퍼런스가 그 중심 포럼이다. ParGram 및 ParSem 협력체는 LFG 기반 문법 및 의미론 개발에 초점을 맞추며, LFG 컨퍼런스가 핵심 행사이다. XTAG 연구 그룹은 TAG를 사용하며, TAG+ 컨퍼런스가 그 중심 모임이다. 이러한 그룹이 전부는 아니며, 다른 형식 체계와 커뮤니티도 심층 언어 처리에 기여하고 있다.
현대적 발전과 통합
심층 언어 처리는 수동 문법 작성에 뿌리를 두고 있지만, 점차 Machine learning 및 Deep learning 기술과 통합되고 있다. 일부 연구는 심층 통사적 및 의미적 표상을 Neural network 모델과 결합하여 구문 분석 정확도와 견고성을 향상시킨다. 그러나 현재 주류 NLP는 대부분 Transformer (architecture) 아키텍처에 기반한 Large language model에 의존하며, 이는 심층 문법 기반 접근 방식과 뚜렷한 대조를 이룬다. 그럼에도 불구하고 심층 언어 처리는 전문 분야의 Machine learning이나 자연어 추론과 같이 정밀한 의미 해석이 필요한 작업에서 여전히 가치가 있다.
현대 AI와의 관계
더 넓은 Artificial intelligence 연구의 맥락에서 심층 언어 처리는 떠오르는 통계적 방법에 대한 상징적이고 규칙 기반의 대안을 제공한다. Nokia Bell Labs 및 Xerox PARC와 같은 조직은 역사적으로 전산 언어학에 기여했다. MIT CSAIL, Stanford AI Lab, University of Toronto의 현대적 노력은 종종 혼합 방식을 탐구한다. 심층 처리에 사용되는 형식 문법은 Neural network 모델의 불투명한 표상과 달리 해석 가능한 구조를 제공한다. 이러한 해석 가능성은 책임성이나 논리적 추론이 필요한 작업에 중요하다고 주장된다.
경쟁에도 불구하고 심층 언어 처리는 연구 패러다임으로 지속되고 있다. 이는 트리뱅크 및 문법 공학 도구를 포함한 자원 개발에 영향을 미쳤으며, 이론 언어학에 계속 정보를 제공하고 있다. 2020년대 현재, 고급 NLP 응용 프로그램에서 심층적이고 구조화된 언어 이해의 필요성을 완전히 대체한 단일 접근 방식은 없다.