联结主义是一种研究人类心理过程与认知的方法，它利用被称为联结主义网络或人工神经网络的数学模型。其核心原则认为，心理现象可以通过由简单且通常一致的单元组成的互联网络来描述，其中连接和单元的形式因模型而异。例如，网络中的单元可以代表神经元，连接可以代表突触，如同在人脑中一样。这种方法被视为基于符号计算的经典心灵理论（通常称为老式人工智能，GOFAI）的替代方案，尽管自其诞生以来，这两种方法在多大程度上兼容一直存在争议。
自其诞生以来，联结主义经历了几个不同的发展阶段。第一波浪潮始于1943年，由沃伦·斯特吉斯·麦卡洛克和沃尔特·皮茨的工作推动，他们专注于通过形式化和数学方法理解神经回路。第二波浪潮在1980年代末蓬勃发展，引入了隐藏层和S型激活函数。当前的第三波浪潮以Deep learning的进展为标志，这使得创建大型语言模型成为可能。近年来，深度学习网络的成功极大地提升了这种方法的普及度，但此类网络的复杂性和规模也带来了日益严重的可解释性问题。
基本原则
联结主义的核心原则是，心理现象可以通过由简单且通常一致的单元组成的互联网络来描述。连接和单元的形式因模型而异。例如，网络中的单元可以代表神经元，连接可以代表突触，如同在人脑中一样。这一原则被视为GOFAI和基于符号计算的经典心灵理论的替代方案，但自其诞生以来，这两种方法在多大程度上兼容一直是大量争论的主题。
神经网络遵循两个基本原则。任何心理状态都可以描述为网络中神经单元上的数值激活值的n维向量。记忆和学习通过修改神经单元之间连接的权重来创建，通常表示为n×m矩阵。权重根据某种学习规则或算法进行调整，例如赫布学习。
联结主义模型的大部分多样性来自三个来源。单元的解释可以不同，单元可以解释为神经元或神经元组。激活的定义可以不同；例如，在玻尔兹曼机中，激活被解释为生成动作电位尖峰的概率，并通过单元输入总和的逻辑函数确定。学习算法也各不相同，任何随时间变化的连接权重的数学定义变化都被称为学习算法。
激活与学习
任何网络的内部状态都会随时间变化，因为神经元向前馈网络中的后续层或循环网络中的前一层发送信号。非线性激活函数的发现促成了联结主义的第二波浪潮。现代网络通常使用S型函数、ReLU或其变体等函数，这些函数允许网络建模复杂的非线性关系。
联结主义网络中的学习通常涉及根据学习规则调整连接权重。其中影响最大的是反向传播，它计算误差相对于权重的梯度并相应更新权重。诸如Adam (Optimizer)和其他Stochastic Gradient Descent Variants之类的优化技术已成为训练深度网络的标准。其他技术如Dropout、Batch Normalization和Layer Normalization有助于稳定和正则化训练。
生物现实性
联结主义工作通常不需要具有生物现实性。联结主义模型被认为在生物学上不可信的一个领域是支持学习所需的误差传播网络。然而，误差传播可以解释头皮上事件相关电位（如N400和P600）中观察到的一些生物电活动，为联结主义学习过程的关键假设之一提供了一些生物学支持。
许多循环联结主义模型也融入了动力系统理论。许多研究者，如联结主义者保罗·斯莫伦斯基，认为联结主义模型将演变为完全连续、高维、非线性、动态系统的方法。神经网络研究领域继续从神经科学中汲取灵感，同时也追求工程目标。
先驱
联结主义原则的先驱可以追溯到早期心理学工作，如威廉·詹姆斯的研究。基于对人类大脑知识的心理学理论在19世纪末很流行。早在1869年，神经学家约翰·休林斯·杰克逊就主张多层次的分布式系统。继此之后，赫伯特·斯宾塞的《心理学原理》第三版（1872年）和西格蒙德·弗洛伊德的《科学心理学计划》（写于1895年）提出了联结主义或原始联结主义理论。这些往往是推测性理论。到20世纪初，爱德华·桑代克撰写了关于人类学习的著作，提出了联结主义类型的网络。
霍普菲尔德网络在伊辛模型中有先驱，该模型由威廉·伦茨（1920年）和恩斯特·伊辛（1925年）提出，尽管他们设想的伊辛模型不涉及时间。伊辛模型的蒙特卡洛模拟需要20世纪50年代计算机的出现。
第一波浪潮
第一波浪潮始于1943年，由沃伦·斯特吉斯·麦卡洛克和沃尔特·皮茨推动，他们专注于通过形式化和数学方法理解神经回路。他们的经典论文《神经活动内在思想的逻辑演算》（1943年）展示了神经系统如何实现一阶逻辑。他们受到尼古拉斯·拉舍夫斯基在1930年代工作的影响。
弗兰克·罗森布拉特在康奈尔航空实验室工作期间，于1958年在《心理学评论》上发表了论文《感知器：大脑中信息存储和组织的概率模型》。感知器是一个简单的单层网络，可以对线性可分模式进行分类。第一波浪潮以1969年马文·明斯基和西摩·帕珀特合著的《感知器》一书结束，该书讨论了原始感知器思想的局限性，这促使美国主要资助机构减少对联结主义研究的投资。除少数显著例外，大多数联结主义研究进入了一段不活跃期，直到1980年代中期。联结主义模型这一术语在1982年杰罗姆·费尔德曼和达纳·巴拉德发表在《认知科学》期刊的一篇论文中被重新引入。
第二波浪潮
第二波浪潮在1980年代末蓬勃发展，继詹姆斯·L·麦克莱兰、大卫·E·鲁梅尔哈特及其同事于1987年出版的《并行分布式处理》一书之后，该书引入了对简单感知器思想的改进。这些改进包括中间处理器（现称为隐藏层）以及输入和输出单元，并使用S型激活函数代替旧的“全或无”函数。他们的工作建立在约翰·霍普菲尔德的研究基础上，后者是研究S型激活函数数学特性的关键人物。
从1980年代末到1990年代中期，联结主义呈现出近乎革命性的基调，当时施奈德、特伦斯·霍根和蒂恩森等研究者提出了联结主义是否代表心理学和所谓老式人工智能的根本转变的问题。第二波联结主义方法的一些优势包括其适用于广泛的功能、对生物神经元的结构近似、对先天结构需求低以及优雅退化的能力。其劣势包括难以解读人工神经网络如何处理信息或解释心理表征的组成性，以及由此导致的难以在更高层次解释现象的问题。
第三波浪潮与深度学习
当前的第三波浪潮以深度学习的进展为标志，这使得创建大型语言模型成为可能。过去十年中深度学习网络的成功极大地提升了这种方法的普及度，但此类网络的复杂性和规模也带来了日益严重的可解释性问题。诸如Transformer (architecture)之类的现代架构推动了Generative AI的进展，模型在包括OpenAI、Anthropic和Google DeepMind在内的组织中开发。这些系统建立在联结主义原则之上，但运行规模远超早期网络，拥有数十亿参数，并使用来自NVIDIA和AMD等公司的专用硬件在大型数据集上进行训练。