回声状态网络（ESN）是一类主要用于处理时间序列数据和动态系统的循环神经网络。其显著特征是一个大规模、随机初始化的神经元储层，内部权重在训练期间保持固定。只有输出层（称为读出层）被训练，通常使用简单线性方法，如岭回归。与通过时间反向传播调整所有权重的传统循环网络相比，这种设计大幅降低了计算成本。ESN属于更广泛的储层计算家族，该家族还包括液态状态机，由Herbert Jaeger在2000年代初引入，基于早期随机循环网络的研究。名称“回声状态”反映了储层内部状态作为输入历史的回声、随时间衰减的特性，这使得网络无需显式记忆单元即可捕捉时间依赖关系。
ESN在涉及序列数据的预测、滤波和模式生成任务中尤为有效，例如语音识别、金融预测和机器人控制。其简单性和速度使其适用于嵌入式系统和实时应用，尽管在大型现代深度学习流程中较少使用，后者更青睐Transformer (architecture)和Large language model等架构。尽管如此，ESN仍是一个活跃的研究领域，特别是在物理储层计算和神经形态硬件实现方面。
架构与训练
ESN由三个主要组件构成：输入层、储层和读出层。输入层通过随机生成的输入权重矩阵将外部信号映射到储层。储层是一个稀疏的循环神经元网络（通常使用tanh或sigmoid激活函数），具有随机分配的连接权重，并按比例缩放以满足回声状态属性。该属性确保储层状态渐近独立于初始条件，仅依赖于输入历史，这对于稳定且有意义的表示至关重要。
读出层是一个线性或有时非线性的函数，将储层状态（通常与当前输入拼接）映射到期望输出。训练仅涉及调整读出权重，通常通过最小二乘法或岭回归求解线性系统。这避免了训练循环网络中常见的梯度消失和梯度爆炸问题，并允许快速、闭式求解。储层大小、权重矩阵的谱半径、输入缩放和稀疏度是需要针对特定任务调整的超参数。
历史发展
使用随机循环网络进行计算的概念可追溯到1980年代，早期研究者如Bernard Widrow等人探索了固定权重网络。然而，回声状态网络的形式化归功于Herbert Jaeger，他于2001年在弗劳恩霍夫自主智能系统研究所发表了奠基性论文。大约同一时期，Wolfgang Maass引入了液态状态机，这是一种计算神经科学中的并行方法。这两条脉络融合为储层计算领域，并在2000年代因其简单性和有效性而广受欢迎。后来的发展包括深度回声状态网络（堆叠多个储层）以及具有泄漏积分器神经元以处理较慢动态的变体。
应用与用例
ESN已应用于众多领域。在Machine learning和Artificial intelligence中，它们用于时间序列预测，如电力需求、股票价格或天气模式预测。在信号处理中，它们执行噪声滤波和信道均衡。在机器人技术中，它们支持电机控制和轨迹生成。ESN还用于语音识别和音乐生成，其建模时间序列的能力在此具有优势。在科学计算中，它们建模混沌系统（如Lorenz吸引子），并用于系统辨识。由于可在模拟硬件上实现，ESN被探索用于使用光学、电子或机械基底的物理储层计算，包括Nokia Bell Labs和MIT CSAIL等机构的研究。
与其他架构的比较
与完全训练的循环网络（如长短期记忆网络）相比，ESN提供更低的训练成本并避免基于梯度的优化。然而，它们可能需要更大的储层才能达到相当的精度，且性能高度依赖超参数选择。与Residual Network (ResNet)或U-Net等前馈网络相比，ESN本质上是序列性的，可处理可变长度输入。现代Deep learning方法，尤其是具有Multi-Head Attention和Positional Encoding的Transformer (architecture)，已在大型自然语言处理和生成任务中很大程度上取代了ESN，如OpenAI、Anthropic和Google DeepMind等公司的Large language model所示。尽管如此，ESN在低功耗、实时应用和动态系统理解方面仍具有价值。
局限性与未来方向
ESN的主要局限性包括难以设计最优储层、复杂任务需要大储层，以及缺乏设置超参数的原则性方法。回声状态属性是必要条件但非充分条件，通常需要经验性调参。研究继续关注自适应储层、在线学习规则以及将ESN与其他架构结合的混合方法。随着边缘计算以及AMD、Intel和Arm Holdings处理器的兴起，ESN正被部署在微控制器上进行传感器数据分析。此外，神经形态芯片和量子储层计算是新兴前沿，可能将回声状态网络的应用范围扩展到传统软件实现之外。