개념적 의존성(Conceptual dependency, CD)은 1960년대 후반과 1970년대 초반에 로저 샹크(Roger Schank)와 그의 동료들이 스탠포드 대학과 이후 제록스 PARC에서 개발한 자연어 이해 이론이다. 이 이론은 문장의 의미가 문장의 표면 구문이 아닌, 표준적이고 언어 독립적인 기본 행위와 의미 역할의 집합으로 표현될 수 있다고 주장한다. 이러한 표현은 AI 시스템이 추론을 수행하고, 질문에 답하며, 텍스트를 요약하는 방식에서 근본적인 개념적 내용을 포착할 수 있게 한다.
CD의 핵심 아이디어는 모든 사건과 상태가 PTRANS(물리적 전달), MTRANS(정신적 전달), ATRANS(추상적 전달)와 같은 소수의 기본 행위로 축소될 수 있다는 것이다. 각 행위는 행위자(agent), 대상(object), 수신자(recipient), 도구(instrument)를 포함한 일련의 의미 역할과 연관된다. 예를 들어, "John gave Mary a book"이라는 문장은 John을 행위자로, Mary를 수신자로, 책을 대상으로 하는 ATRANS 행위로 표현된다. 이러한 표현은 보편적으로 설계되어, 입력의 언어나 구문 형식과 관계없이 동일한 개념 구조가 생성된다.
CD의 주요 동기 중 하나는 자연어 이해에서 추론 문제를 해결하는 것이었다. 의미를 개념적 수준에서 표현함으로써, 시스템은 추론 규칙을 적용하여 암시적 정보를 도출할 수 있었다. 예를 들어, "John gave Mary a book"에서 CD 기반 시스템은 ATRANS 행위가 소유권 변경을 의미하므로 Mary가 이제 책을 소유한다고 추론할 수 있었다. 이러한 능력은 SAM(스크립트 적용 메커니즘)과 PAM(계획 적용 메커니즘)과 같은 초기 AI 프로그램에서 입증되었으며, 이들은 CD를 사용하여 이야기를 이해하고 그에 대한 질문에 답했다.
역사적 발전
로저 샹크는 1969년 논문 "A Conceptual Dependency Representation for a Computer-Oriented Semantics"에서 개념적 의존성을 소개하고 1970년대 내내 이를 정교화했다. 이 이론은 인공지능 연구의 맥락에서 스탠포드와 이후 예일 대학에서 개발되었으며, 샹크는 예일 인공지능 프로젝트를 설립했다. 주요 협력자로는 관련 개념인 스크립트(script)를 기여한 로버트 아벨슨(Robert Abelson)과 구문 분석 및 생성 작업을 수행한 크리스토퍼 리즈벡(Christopher Riesbeck)이 있었다.
1970년대 동안 CD는 여러 영향력 있는 자연어 이해 시스템에서 사용되었다. 샹크와 그의 학생들이 개발한 MARGIE 시스템은 문장을 요약하고 간단한 추론을 수행할 수 있었다. SAM 시스템은 식당 방문과 같은 일반적인 상황에 대한 이야기를 이해하기 위해 스크립트를 적용하고 그에 대한 질문에 답할 수 있었다. PAM 시스템은 의도적 행동을 포함한 이야기를 이해하기 위해 계획과 목표를 사용했다. 이러한 시스템은 텍스트에 대한 지식 표현과 추론에서 CD의 힘을 입증했다.
핵심 구성 요소
CD 표현은 각각 정의된 의미 역할 집합을 가진 기본 행위 집합으로 구성된다. 가장 일반적으로 언급되는 기본 행위는 다음과 같다:
- PTRANS: 객체의 한 위치에서 다른 위치로의 물리적 전달
- MTRANS: 마음 사이 또는 마음 내부에서의 정신적 내용(예: 정보) 전달
- ATRANS: 추상적 소유권(예: 소유, 통제)의 전달
- INGEST: 생명체에 의한 객체 섭취(예: 먹기, 마시기)
- PROPEL: 물리적 힘의 적용
- GRASP: 행위자에 대한 객체의 물리적 부착
- EXPEL: 생명체로부터 객체의 강제 배출
- SPEAK: 소리 또는 말의 생성
각 행위는 행위자, 대상, 수신자, 방향, 도구와 같은 일련의 의미 역할과 연관된다. 표현에는 또한 HEALTH, MENTAL-STATE, PHYSICAL-STATE와 같은 상태 기본 행위 집합을 사용하여 설명되는 상태가 포함되며, 이들은 긍정 또는 부정과 같은 값을 가진다.
응용 및 영향
개념적 의존성은 자연어 처리 및 지식 표현 분야에 상당한 영향을 미쳤다. 이는 표면 구문과 독립적인 의미 표현을 만들려는 최초의 시도 중 하나였으며, 이 목표는 현대 AI에서 여전히 중심적이다. 기본 행위와 의미 역할을 사용하는 아이디어는 동사 의미의 구조적 설명을 제공하는 FrameNet 및 VerbNet과 같은 후기 프레임워크에서 반영된다.
1980년대와 1990년대에는 CD가 상업적 자연어 인터페이스와 이야기 이해 연구에서 사용되었다. 그러나 1990년대와 2000년대에 통계적 및 머신 러닝 접근 방식이 두드러지면서, 수작업으로 만들어진 CD의 특성은 선호되지 않게 되었다. 2010년대의 딥 러닝과 신경망의 부상은 명시적 기호 표현에서 멀어지게 했지만, 일부 연구자들은 혼합 접근 방식을 계속 탐구했다.
현대 접근 방식과의 비교
OpenAI와 Google DeepMind가 개발한 것과 같은 현대 대규모 언어 모델(LLM)은 트랜스포머 아키텍처를 사용하여 방대한 텍스트에서 의미 표현을 학습한다. CD와 달리, 이러한 모델은 수작업으로 코딩된 기본 행위나 명시적 추론 규칙에 의존하지 않는다. 대신, 의미적 유사성과 관계를 포착하는 분산 표현을 학습한다. LLM은 질문 응답 및 요약 생성과 같은 작업을 수행할 수 있지만, 내부 표현은 불투명하고 쉽게 해석할 수 없다.
반면, 개념적 의존성은 명시적 추론을 지원하는 투명하고 구성적인 표현을 제공한다. 그러나 기본 행위와 규칙을 정의하는 데 상당한 수작업이 필요하며, 자연어의 미묘함과 변동성을 포착하는 데 어려움을 겪는다. 일부 연구자들은 신경-기호 AI에서 볼 수 있는 기호적 및 신경적 접근 방식의 결합이 두 패러다임의 강점을 활용할 수 있다고 주장했다.
유산 및 비판
개념적 의존성은 제한된 적용 범위와 실제 언어로의 확장 어려움으로 비판을 받아왔다. 기본 행위 집합은 완전히 합의되지 않았으며, 표현은 종종 유지하기 어려운 복잡한 구조를 요구했다. 비판자들은 또한 CD가 단순한 이야기에 더 적합하며 더 넓은 응용에 필요한 견고성을 결여했다고 지적했다.
이러한 비판에도 불구하고, CD는 AI에 중요한 역사적 기여로 남아 있다. 이는 이야기 이해에서 스크립트, 계획, 목표의 발전에 영향을 미쳤으며, 자연어 처리에서 의미 표현의 중요성을 강조했다. 추론과 요약 생성에 대한 강조는 현대 AI 시스템이 달성하려는 많은 능력을 예견했다. 2020년대 현재, CD는 주로 역사적 관심사이지만, 그 아이디어는 지식 표현과 추론 연구에 계속 영향을 미치고 있다.