人工神经网络是受生物大脑结构和功能启发的计算模型。其历史是一系列热情与失望反复循环的故事，其间伴随着概念突破、技术限制，以及最终重塑人工智能的胜利。从简单的阈值单元到大规模的Transformer架构，神经网络的演变反映了计算能力、数据可用性和算法创新方面的更广泛趋势。
起源可追溯至20世纪40年代，当时沃伦·麦卡洛克和沃尔特·皮茨提出了一个将神经元建模为二元阈值单元的数学模型。1958年，弗兰克·罗森布拉特引入了感知机，这是一种能够进行二元分类的单层网络，引起了极大关注。然而，在1969年，马文·明斯基和西摩·帕珀特发表了一篇批评文章，展示了感知机的局限性，特别是其无法解决异或问题，这导致了第一次AI寒冬。20世纪80年代，随着反向传播算法的发展，兴趣得以复苏，该算法由戴维·鲁梅尔哈特、杰弗里·辛顿和罗纳德·威廉姆斯在1986年推广开来，使得多层网络的训练成为可能。这一时期还出现了霍普菲尔德网络和自组织映射，但进展受到计算限制和数据稀缺的制约。
早期基础与感知机时代
神经网络的概念基础在20世纪40年代和50年代奠定。麦卡洛克和皮茨1943年的模型表明，由简单逻辑单元组成的网络可以计算任何可计算函数。罗森布拉特的感知机在康奈尔航空实验室以硬件形式构建，能够识别简单模式，引发了广泛的媒体报道和政府资助。然而，感知机的单层架构只能分离线性可分的数据。明斯基和帕珀特1969年的著作《感知机》严格分析了这些局限性，导致神经网络研究的资金枯竭，标志着第一次重大挫折。
反向传播革命与AI寒冬
20世纪80年代带来了复兴。反向传播算法能够高效计算多层网络中的梯度，由包括保罗·韦尔博斯在内的多位研究人员独立发现，但通过鲁梅尔哈特、辛顿和威廉姆斯1986年的论文而广为人知。这使得深度网络能够用于模式识别和预测等任务。然而，在20世纪80年代末和90年代初的第二次AI寒冬中，资金再次减少，因为支持向量机和图模型等替代方法获得了青睐。尽管如此，基础性工作仍在继续，包括扬·勒昆用于手写数字识别的卷积神经网络，这为现代计算机视觉奠定了基础。
深度学习复兴与2012年突破
现代深度学习时代始于21世纪中期，由更快的GPU、更大的数据集和算法改进所推动。一个关键时刻是2012年的ImageNet竞赛，亚历克斯·克里热夫斯基、伊利亚·苏茨克弗和杰弗里·辛顿的AlexNet使用在GPU上训练的深度卷积网络实现了错误率的显著降低。这一成功引发了投资和研究的热潮。关键创新包括ReLU激活函数、用于正则化的dropout以及稳定训练的批归一化。到21世纪10年代中期，深度学习已经彻底改变了语音识别、图像分类和自然语言处理，Google DeepMind的AlphaGo在2016年击败了世界围棋冠军，展示了强化学习与神经网络结合的力量。
Transformer时代与大型语言模型
2017年，Vaswani等人发表的论文《注意力就是你所需要的一切》中引入了Transformer (architecture)架构，这标志着一个重大范式转变。Transformer依赖于Multi-Head Attention机制，支持并行处理并更好地处理长距离依赖。这一架构成为Large language model的基础。2018年，OpenAI发布了GPT-1，随后在2019年和2020年发布了GPT-2和GPT-3，展示了少样本学习并生成了大规模连贯文本。Anthropic和其他实验室开发了注重安全性和对齐的模型。2022年11月ChatGPT的发布将生成式AI带入主流，引发了广泛的采用和讨论。后续模型，如GPT-4和Google DeepMind的Gemini，进一步推动了能力边界，整合了多模态输入和推理。
当代发展与未来方向
当前研究聚焦于扩展模型规模、提高效率，以及解决幻觉、偏见和可解释性等挑战。诸如Reinforcement Learning from AI Feedback (RLAIF)（基于AI反馈的强化学习）和Curriculum Learning等技术被用于优化行为。硬件创新，包括AWS Trainium和Groq推理处理器等专用芯片，旨在降低成本。该领域还在探索替代架构，如混合专家模型和状态空间模型，以克服Transformer的局限性。伦理考量和监管讨论日益加剧，OpenAI和Anthropic等组织正引领负责任AI开发的工作。人工神经网络的历史仍在继续，每一次突破都建立在先前的洞见之上，未来有望进一步融入科学、医学和日常生活。
关键人物与机构
许多研究人员塑造了这一领域。杰弗里·辛顿常被称为“深度学习之父”，他开创了反向传播和深度信念网络。扬·勒昆推进了卷积网络，而约舒阿·本吉奥在序列建模和生成模型方面做出了贡献。在University of Toronto，辛顿的团队产出了有影响力的工作，Stanford AI Lab和BAIR (Berkeley AI Research)一直是创新中心。Google DeepMind、OpenAI和Anthropic等产业实验室推动了大规模应用。该领域的协作性质，跨越学术界和产业界，加速了进展，NeurIPS和ICML等会议是分享突破的关键场所。
结论
人工神经网络的历史证明了在面对挫折时坚持研究的力量。从感知机早期的前景到Transformer的主导地位，每个时代都贡献了基本的思想和工具。随着计算能力的持续增长和新算法的出现，神经网络很可能继续成为人工智能的核心，推动曾经是科幻小说的创新。理解这段历史为当前发展提供了背景，并凸显了技术进步循环往复的特性。