自然语言,又称日常语言,是指在人类社群中自然发展而成的任何口语或手语。它无需预先刻意设计而出现,并会经历代际传承、地域扩张或收缩,以及内部结构和用法的渐进变化。世界上绝大多数语言都属于自然语言,既包括具有较高社会声望的标准方言,也包括非标准或土语方言。即使是由规范机构监管的官方语言,如由法兰西学术院监管的标准法语,在自然语言处理等领域中仍被归类为自然语言,因为其规范性方面不足以使其被视为人工语言或受控语言。语言学家普遍将文字视为特定自然语言的静态视觉表征,尽管在高度识字化的现代社会中,文字本身也经历着自然的变化过程。
定义中排除了人工语言和构造语言,例如为虚构作品而开发的语言;形式逻辑语言,包括计算机编程语言;以及自然界中的非人类交流系统,如鲸类的叫声或蜜蜂的摇摆舞。学术界普遍认为,动物交流系统的关键特征使其根本无法被归类为语言。某些没有母语使用者的人类交流系统,有时用于跨文化语境,也不属于自然语言。
特征与演变
自然语言以其有机涌现和持续演变为特征。它们通过词汇和句法的波动而变化,逐步改善人类交流。这一过程无需中央规划,由不同社群中的日常使用驱动。例如,洋泾浜语源于使用不同语言的群体之间的接触,不被视为完整语言,但可在相对较短的时期内发展为稳定的克里奥尔语。诸如海地克里奥尔语这样的克里奥尔语拥有自身的语法、词汇和文学,全球使用者超过1000万,并作为海地共和国的两种官方语言之一。这种对既有自然语言的综合体现了自然语言如何有机地标准化。
受控自然语言
受控自然语言是自然语言的子集,其语法和词典受到限制以减少歧义和复杂性。这可通过减少最高级或副词形式,或不规则动词的使用来实现。典型目的包括帮助非母语者理解或简化计算机处理。一个广泛使用的受控自然语言示例是简化技术英语,最初为航空航天和航空电子行业手册而开发。这些系统保留了自然语言的核心词汇和结构,但施加约束以满足特定实际需求。
与构造语言的关系
国际辅助语言,如世界语和国际语,属于构造语言而非自然语言,除非存在此类语言的真正母语使用者。世界语由波兰眼科医生L. L. 柴门霍夫于19世纪末创造,刻意与有机演变的自然语言形成对比。截至1996年,已有350个经证实的家庭拥有至少一位世界语母语使用者,表明在少数人群中存在一定程度的自然化。另一种国际辅助语言无屈折拉丁语已不再广泛使用。这一区别在语言学及自然语言理解中仍具有重要意义,其中自然语言是主要研究对象。
在技术中的作用
自然语言是人工智能和机器学习研究的核心。自然语言处理(NLP)专注于使计算机能够理解、解释和生成人类语言。现代方法通常使用神经网络和变换器架构,这些架构驱动着大型语言模型等系统。这些模型在大量自然语言文本上进行训练,学习句法和语义的模式。相关技术包括掩码语言建模和因果语言建模,它们帮助模型预测和生成文本。该领域还应对跨语言信息检索中的挑战,其中自然语言差异使搜索和翻译复杂化。尽管取得了进展,自然语言因其歧义性、文化背景和持续演变而仍然复杂,对自然语言理解系统构成持续挑战。
参见
- History of natural language processing - 语言计算方法的发展
- Natural Questions - 用于自然语言问答的数据集
- Vision-language model - 结合视觉和语言理解的模型
- Generative AI - 生成自然语言内容的人工智能系统