자연어 이해(NLU)는 자연어 해석(NLI)이라고도 하며, 인공 지능과 자연어 처리의 하위 집합으로, 기계의 읽기 이해에 초점을 맞춘다. 이는 컴퓨터가 음성 또는 문자 형태의 인간 언어 입력에서 의미를 도출할 수 있게 하는 것을 포함한다. NLU는 광범위한 세계 지식과 모호성, 맥락, 표현의 다양성을 처리하는 능력을 요구하기 때문에 AI-난제 문제로 설명되어 왔다. 이 분야는 자동 추론, 기계 번역, 질의 응답, 뉴스 수집, 텍스트 분류, 음성 활성화, 아카이빙, 대규모 콘텐츠 분석 등의 응용 분야로 인해 상당한 상업적 관심을 받고 있다.
NLU 시스템은 범위와 깊이에 따라 크게 다양하다. 폭은 시스템이 처리할 수 있는 어휘와 문법의 크기를 의미하며, 깊이는 그 이해가 유창한 원어민의 이해에 얼마나 근접하는지를 나타낸다. 간단한 명령 해석기는 좁고 얕은 반면, 전체 신문 기사를 구문 분석하는 시스템은 넓고 깊다. 대부분의 실제 응용 프로그램은 이 두 극단 사이에 있으며, 예를 들어 메시지를 주제별로 분류하지만 깊은 의미론적 이해를 요구하지 않는 이메일 라우팅 시스템이 있다.
역사적 발전
NLU에 대한 초기 시도는 1960년대까지 거슬러 올라간다. 1964년, Daniel Bobrow는 MIT에서 박사 논문으로 STUDENT 프로그램을 작성했는데, 이 프로그램은 간단한 자연어 입력을 이해하여 대수 단어 문제를 해결했다. 1년 후, MIT의 Joseph Weizenbaum은 키워드를 고정된 문구에 패턴 매칭하여 대화를 시뮬레이션하는 대화형 프로그램 ELIZA를 만들었다. ELIZA는 실제 이해가 부족했지만 기계 대화에 대한 대중의 관심을 입증했다.
1969년, 스탠포드 대학의 Roger Schank는 원시 행동을 통해 의미를 표현하는 개념적 의존 이론을 도입했으며, 이는 예일 대학의 후속 연구에 영향을 미쳤다. 1970년, William A. Woods는 재귀적 유한 상태 오토마타를 사용하여 자연어를 구문 분석하는 형식론인 확장 전이 네트워크(ATN)를 개발했다. 1971년, Terry Winograd는 MIT에서 SHRDLU를 완성했는데, 이는 영어 명령을 통해 가상의 블록 세계를 이해하고 조작할 수 있었으며, 상황적 이해를 입증하는 이정표가 되었다.
1970년대와 1980년대에는 SRI International과 같은 연구 그룹이 NLU 기술을 발전시켰고, Symantec(1982년 Gary Hendrix 설립)과 Cognitive Systems Corp.(Roger Schank 공동 설립)을 포함한 상업적 노력이 등장했다. 1983년, Michael Dyer는 예일 대학에서 서사 이해를 처리하는 BORIS 시스템을 구축했다. 그러나 이러한 시스템은 좁은 영역으로 제한되었고 일반적인 이해 능력이 부족했다.
기계 학습 시대
세 번째 천년은 NLU에 기계 학습 접근 방식을 가져왔다. 2011년 퀴즈 쇼 Jeopardy!에서 우승한 IBM Watson은 질의 응답에 통계적 방법을 사용했지만, 철학자 John Searle과 같은 비평가들은 Watson이 질문을 진정으로 이해하지 못했다고 주장했다. 2010년대에는 word2vec과 같은 단어 임베딩이 단어를 밀집 벡터로 표현하여 구문 및 의미 관계를 포착했다. 이후 BERT와 같은 트랜스포머 기반 모델은 대규모 사전 학습과 미세 조정을 도입하여 질의 응답 및 자연어 추론과 같은 작업에서 성능을 크게 향상시켰다.
이러한 발전은 딥 러닝과 신경망에 의해 주도되어 GPT-3 및 그 후속 모델과 같은 대규모 언어 모델의 개발로 이어졌으며, 이들은 유창한 텍스트를 생성하고 많은 NLU 작업을 높은 정확도로 수행한다. 그러나 전문가들은 이러한 모델이 진정한 이해를 보이는지 아니면 단순한 통계적 패턴 매칭에 불과한지에 대해 논쟁한다. Patom Theory의 발명가인 인지 과학자 John Ball은 인간 언어로 무언가를 요청하는 방법이 수천 가지이기 때문에 기존 NLP는 여전히 실패한다고 주장한다. Wibe Wagemans는 기계와의 의미 있는 대화는 3세 아이가 추측 없이 하는 것처럼 각 단어를 맥락에 따라 올바른 의미와 일치시키는 것을 요구한다고 지적했다.
핵심 작업 및 기술
NLU는 개체명 인식, 품사 태깅, 구문 분석, 의미 역할 레이블링, 상호 참조 해결을 포함한 여러 핵심 작업을 포함한다. 이러한 작업은 대화 시스템의 의도 감지, 감정 분석, 자연어 추론과 같은 상위 수준 응용 프로그램으로 이어진다. 전통적인 접근 방식은 규칙 기반 문법과 수작업 기능을 사용했지만, 현대 시스템은 주로 기계 학습, 특히 트랜스포머 아키텍처에 의존한다.
word2vec과 같은 단어 임베딩과 BERT와 같은 모델의 맥락적 임베딩은 시스템이 사용에 기반하여 의미를 포착하는 방식으로 단어를 표현할 수 있게 한다. 대규모 말뭉치에 대한 사전 학습과 특정 작업에 대한 미세 조정은 표준 패러다임이 되었다. 이 접근 방식은 시스템이 구절에서 답을 추출할 수 있는 질의 응답과 가설이 전제에서 따르는지 판단하는 자연어 추론에서 돌파구를 가능하게 했다.
응용 및 상업적 관심
NLU는 많은 실용적 응용 분야를 가지고 있다. Apple의 Siri, Amazon의 Alexa, Google Assistant와 같은 음성 비서는 사용자 명령을 해석하기 위해 NLU에 의존한다. 고객 서비스 챗봇은 NLU를 사용하여 문의를 라우팅하고 응답을 제공한다. 텍스트 분류 시스템은 이메일, 뉴스 기사, 법률 문서를 자동으로 분류한다. Google Translate와 같은 기계 번역 시스템은 NLU를 사용하여 원본 텍스트를 이해하고 번역을 생성한다. 의료 분야에서 NLU는 임상 기록에서 정보를 추출하는 데 도움을 준다. 금융 분야에서는 거래 신호를 위해 실적 보고서와 뉴스를 분석한다.
상업적 관심이 강한 이유는 NLU가 이전에 인간의 읽기와 이해를 요구했던 작업을 자동화할 수 있기 때문이다. OpenAI, Anthropic, Google DeepMind와 같은 기업은 고급 NLU 모델 개발에 막대한 투자를 하고 있다. Amazon Web Services, Microsoft Azure, Google Cloud와 같은 클라우드 제공업체는 NLU 서비스를 API로 제공한다. 그러나 현재 시스템의 한계, 특히 견고한 상식 추론의 부족은 완전한 이해에 대한 장벽으로 남아 있다.
도전 과제 및 미래 방향
NLU는 모호성, 맥락 의존성, 세계 지식의 필요성을 포함한 지속적인 도전에 직면해 있다. 문장을 이해하려면 명시적으로 언급되지 않은 물리적 및 사회적 세계에 대한 지식이 필요한 경우가 많다. 예를 들어, "트로피는 갈색 여행 가방에 맞지 않는다. 왜냐하면 그것이 너무 작기 때문이다"라는 문장은 어떤 대상이 작은지 알아야 한다. 현재 모델은 이러한 화용적 추론에 종종 어려움을 겪는다.
미래 방향에는 NLU를 외부 지식 베이스와 통합하고, 퓨샷 및 제로샷 학습을 개선하며, 추론하고 결정을 설명할 수 있는 모델을 개발하는 것이 포함된다. 연구자들은 또한 언어가 시각 및 기타 양식과 결합되는 다중 양식 이해를 탐구하고 있다. 2020년대 초반 현재, 인간 수준의 NLU를 달성한 시스템은 없으며, 이는 인공 지능의 미해결 문제로 남아 있다.