埃尔曼网络是一种由杰弗里·埃尔曼于1990年提出的循环神经网络类型。它旨在处理序列数据，如文本、语音和时间序列，其中元素的顺序至关重要。与前馈神经网络独立处理输入不同，埃尔曼网络利用循环连接来捕捉序列中的时间依赖性和模式。
其架构由输入层、隐藏层和输出层组成，并额外包含一组上下文单元。这些上下文单元存储隐藏层在前一个时间步的激活值，并在当前时间步将其反馈回隐藏层。这种反馈机制为网络提供了一种短期记忆形式，使其能够从过去的输入中学习，并将该知识融入当前处理中。埃尔曼网络通常被描述为简单循环网络（SRN），并作为机器学习和深度学习中序列建模研究的基础模型。
历史背景
埃尔曼网络出现于20世纪80年代至90年代初神经网络的复兴时期。它与其他有影响力的循环架构一同被提出，例如由迈克尔·I·乔丹于1986年提出的乔丹网络。乔丹网络使用存储输出层先前状态的上下文单元，而埃尔曼网络则存储隐藏层的状态，这在某些任务中被证明更为有效。该网络开发之际，研究人员正在探索人工智能如何建模时间依赖性，并从认知科学和神经科学中汲取灵感。杰弗里·埃尔曼的工作在心理语言学领域尤其具有影响力，该网络被用于模拟人类如何处理和学习语言。
架构与功能
与后来的循环模型相比，埃尔曼网络的架构相对简单。在每个时间步，网络接收一个输入向量，并将其与上下文向量（即前一个时间步隐藏层的激活值）结合。该组合输入通过隐藏层，隐藏层应用非线性激活函数，通常是S型函数或双曲正切函数。隐藏层的输出随后用于生成网络的输出，并将其副本存储在上下文单元中以供下一个时间步使用。
这种设计使网络能够维护随时间演变的状态，从而处理可变长度的序列。然而，埃尔曼网络存在梯度消失问题，这限制了其学习长距离依赖的能力。该问题后来由1997年提出的长短期记忆（LSTM）架构解决，该架构引入了门控机制来控制信息流。尽管存在这一局限，埃尔曼网络仍然是理解循环架构的宝贵教学工具和基线模型。
应用
埃尔曼网络已应用于多种涉及序列数据的任务。在其早期，它被用于语言建模，能够根据前文预测序列中的下一个词。它还在语音识别、手写识别及其他时间序列预测任务中找到了应用。该网络学习简单语法结构的能力使其成为认知科学研究中的热门选择，特别是在模拟儿童语言习得方面。
虽然现代架构如Transformer因其对长距离依赖的优越处理能力和可并行性而在许多序列处理任务中占据主导地位，但埃尔曼网络在计算效率和实时处理至关重要的场景中仍然具有相关性。其简单性使其易于实现和训练，并作为理解更复杂循环模型的构建块。
遗产与影响
埃尔曼网络对神经网络领域产生了持久影响。它帮助确立了循环连接在建模时间数据中的重要性，并影响了后续架构的发展，包括门控循环单元（GRU）和双向循环网络。上下文单元的概念启发了对记忆增强网络的研究，并促进了人们对神经网络如何维持内部状态的更广泛理解。
近年来，埃尔曼网络背后的原理已被纳入结合循环机制和注意力机制的混合模型中。尽管该网络本身如今很少用于大规模生产系统，但它仍是大学深度学习课程中的标准主题，并作为简单循环网络的基础示例在学术文献中被频繁引用。