자연 언어(自然言語)는 흔히 일상 언어라고도 불리며, 인간 공동체 내에서 유기적으로 발전하는 모든 구어 또는 수어를 말한다. 이는 의식적인 사전 계획 없이 출현하며, 세대를 거친 복제, 지역적 확장 또는 축소, 그리고 점진적인 내부 및 구조적 변화를 겪는다. 세계 언어의 대다수는 자연 언어이며, 사회적 명성이 높은 표준 방언과 비표준 또는 토속 방언을 모두 포함한다. 아카데미 프랑세즈가 감독하는 표준 프랑스어와 같이 규제 기관을 둔 공식 언어조차도 Natural language processing과 같은 분야에서는 자연 언어로 분류되는데, 그 이유는 규범적 측면이 인공 언어나 통제 언어로 간주될 만큼 규제되지는 않기 때문이다. 언어학자들은 일반적으로 문자를 특정 자연 언어의 정적인 시각적 표현으로 보지만, 문해율이 높은 현대 사회에서는 문자 자체도 자연적인 변화 과정을 겪는다.
정의에서 제외되는 것은 소설을 위해 개발된 인공 언어 및 구성 언어, 형식 논리 언어(컴퓨터 프로그래밍 언어 포함), 그리고 고래의 발성이나 꿀벌의 춤과 같은 자연계의 비인간 의사소통 체계이다. 학계의 합의에 따르면 동물 의사소통 체계는 언어로 분류되기 어려운 핵심 특징을 지닌다. 원어민이 없는 특정 인간 의사소통 체계(때로는 문화 간 맥락에서 사용됨)도 자연 언어가 아니다.
특성 및 진화
자연 언어는 유기적 출현과 지속적인 진화로 구별된다. 이들은 어휘와 통사론의 변동을 통해 변화하며, 인간 의사소통을 점진적으로 개선한다. 이 과정은 중앙 계획 없이 다양한 공동체의 일상적 사용에 의해 추진된다. 예를 들어, 서로 다른 언어를 사용하는 집단 간의 접촉에서 발생하며 완전한 언어로 간주되지 않는 피진은 비교적 짧은 기간에 안정적인 크리올 언어로 발전할 수 있다. 아이티 크리올과 같은 크리올은 고유한 문법, 어휘, 문학을 가지며 전 세계 1천만 명 이상이 사용하고 아이티 공화국의 두 공용어 중 하나로 기능한다. 기존 자연 언어의 이러한 종합은 자연 언어가 어떻게 유기적으로 표준화될 수 있는지를 보여준다.
통제 자연 언어
통제 자연 언어는 모호성과 복잡성을 줄이기 위해 문법과 사전이 제한된 자연 언어의 하위 집합이다. 이는 최상급 또는 부사 형태나 불규칙 동사의 사용을 줄임으로써 달성될 수 있다. 일반적인 목적은 비원어민의 이해를 돕거나 컴퓨터 처리를 용이하게 하는 것이다. 널리 사용되는 통제 자연 언어의 예로는 원래 항공 우주 및 항공 전자 산업 매뉴얼을 위해 개발된 단순화된 기술 영어가 있다. 이러한 체계는 자연 언어의 핵심 어휘와 구조를 유지하지만 특정 실용적 필요를 충족시키기 위해 제약을 부과한다.
구성 언어와의 관계
에스페란토와 인터링구아와 같은 국제 보조 언어는 구성 언어이지 자연 언어가 아니며, 그러한 언어의 진정한 원어민이 있는 경우는 예외일 수 있다. 에스페란토는 19세기 후반 폴란드의 안과 의사 L. L. 자멘호프가 유기적으로 진화하는 자연 언어와 대조적으로 의도적으로 창조했다. 1996년 기준으로 에스페란토 원어민이 한 명 이상 있는 가족이 350가구로 확인되었으며, 이는 소규모 인구 사이에서 어느 정도의 자연화를 나타낸다. 또 다른 국제 보조 언어인 라티노 시네 플렉시오네는 더 이상 널리 사용되지 않는다. 이러한 구분은 자연 언어가 주요 연구 대상인 언어학 및 Natural-language understanding에서 여전히 중요하다.
기술에서의 역할
자연 언어는 Artificial intelligence 및 Machine learning 연구의 핵심이다. 자연 언어 처리(NLP)는 컴퓨터가 인간 언어를 이해, 해석, 생성할 수 있도록 하는 데 중점을 둔다. 현대적 접근 방식은 종종 신경망 및 트랜스포머 아키텍처를 사용하며, 이는 대규모 언어 모델과 같은 시스템을 구동한다. 이러한 모델은 방대한 양의 자연 언어 텍스트로 훈련되어 통사론과 의미론의 패턴을 학습한다. 관련 기법으로는 Masked Language Modeling 및 Causal Language Modeling이 있으며, 이는 모델이 텍스트를 예측하고 생성하는 데 도움을 준다. 이 분야는 또한 자연 언어 차이가 검색과 번역을 복잡하게 만드는 Cross-language information retrieval의 과제를 다룬다. 발전에도 불구하고 자연 언어는 모호성, 문화적 맥락, 끊임없는 진화로 인해 복잡성을 유지하며, Natural-language understanding 시스템에 지속적인 과제를 제기한다.
같이 보기
- History of natural language processing - 언어에 대한 계산적 접근의 발전
- Natural Questions - 자연 언어 질의응답을 위한 데이터 세트
- Vision-language model - 시각적 및 언어적 이해를 결합한 모델
- Generative AI - 자연 언어 콘텐츠를 생성하는 AI 시스템