자연어 처리(NLP)는 인공지능의 하위 분야로, 컴퓨터가 인간의 언어(문어 또는 구어)를 처리하고 해석하며 생성할 수 있도록 하는 데 중점을 둔다. 이는 맞춤법 검사와 품사 태깅 같은 좁은 작업에서부터 번역, 요약, 대화와 같은 개방형 작업에 이르기까지 다양한 과제를 포괄하며, 2020년대 중반 AI 논의를 지배하는 대규모 언어 모델 기술의 상위 분야이기도 하다.
초기 시대: 규칙과 기호
1950년대부터 1980년대까지의 초기 NLP 시스템은 수작업으로 만들어진 언어학적 규칙과 기호 논리에 기반을 두었으며, 이는 상징적 AI 접근 방식에 부합한다. 1966년 조셉 바이젠바움이 만든 챗봇 엘리자는 단순한 패턴 매칭을 사용하여 로저스식 심리치료사를 시뮬레이션했고, 제한적이지만 이 분야의 야망을 보여주는 초기 사례로 남았다. 규칙 기반 기계 번역 시스템도 이 시기에 개발되었으나 성과는 엇갈렸다.
통계적 시대
1980년대 후반부터 2000년대까지 NLP는 통계적 방법으로 전환되었으며, 수작업 규칙 대신 텍스트 코퍼스에서 학습된 확률을 사용하여 번역, 태깅, 파싱 같은 작업을 처리했다. 이 시기는 n-gram 언어 모델과 통계적 기계 번역과 같은 기법을 탄생시켰고, 대규모 주석 코퍼스를 핵심 연구 인프라로 확립하여 데이터 규모에 대한 현대적 강조의 선구자가 되었다.
신경망 및 트랜스포머 시대
신경망 접근법은 2010년대 초반부터 통계적 파이프라인을 대체하기 시작했다. 이는 단어를 의미 관계를 포착하는 밀집 벡터로 표현한 Word2vec(2013) 같은 단어 차원 임베딩이 기반이 되었으며, 순환 신경망 및 LSTM 구조를 통한 Seq2seq 과제(예: 번역)로 지원되었다. 2017년 도입된 Transformer (architecture) 구조는 이 분야에 혁신적인 전환을 가져와 대규모 텍스트 코퍼스 훈련의 효율성을 크게 개선했다. BERT(2018)는 대규모 사전 훈련의 언어 이해력을 보여주었으며, GPT 시리즈는 추가적인 확인과 함께 충분한 규모에서 다음 토큰 예측으로 훈련된 단일 자기회귀 모델이 작업별 구조 없이도 방대한 NLP 작업을 수행할 수 있음을 입증했고, 이는 범용 대규모 언어 모델로 이어졌다.
현대적 범위
현대 NLP 연구와 응용은 기계 번역, 음성 인식, 의미적 검색, 감정 분석, 요약, 질문 응답, 챗봇과 음성 보조를 뒷받침하는 대화 체계에 이르기로 펼쳐진다. 대규모 언어 모델의 부상 이후, 이전에 구별되었던 많은 NLP 하위 과제는 이제 특수 구조를 훈련하는 대신 단일 범용 모델에 프롬프팅을 적용하여 흔히 처리된다. 이러한 변화는 좁은 계열 시스템의 필요성을 줄였지만, 환각을 포함한 새로운 평가 및 신뢰성 문제를 제기했다.
과제
NLP 시스템은 대규모 훈련 코퍼스가 부족한 저자원과 문화적으로 특수한 관용구와 맥락, 그리고 일관된 사실 신뢰성에서 여전히 어려움을 겪는다. 훈련 텍스트에 존재하는 편향은 모델 출력에서 재현되거나 증폭될 수 있으며, 이는 확률적 앵무새 비판에서 레저럼제기된 우려로, 알고리즘 편향 완화를 위한 광범위한 노력과 함께 활발한 연구 분야로 남아 있다.