BiLSTM（双向长短期记忆网络）是一种用于序列建模的循环神经网络。它通过同时沿两个方向处理输入数据来扩展标准LSTM架构：一个层从序列开头读到结尾，另一个层从结尾读到开头。两个方向的输出随后被组合（通常通过拼接），以生成同时包含序列中前后元素上下文的表示。这种双向方法对于理解输入完整上下文至关重要的任务特别有效，例如自然语言处理和时间序列分析。
BiLSTM是作为LSTM的改进而引入的，而LSTM本身是为了解决早期循环网络中的梯度消失问题而开发的。通过双向处理序列，BiLSTM能够捕获单向LSTM可能遗漏的依赖关系，尤其是当未来上下文影响当前元素含义时。这种能力使BiLSTM成为许多深度学习架构中的基础组件，特别是在Transformer模型被广泛采用之前。
架构与机制
BiLSTM由两个独立的LSTM层组成。前向层按原始顺序处理输入序列，生成编码过去元素信息的隐藏状态。后向层按逆序处理序列，捕获未来元素的信息。在每个时间步，两个层的隐藏状态被组合（通常通过拼接）以形成该步的最终输出。这种组合表示使模型能够同时基于左右上下文进行预测或分类。
每个LSTM单元的内部结构包括细胞状态、输入门、遗忘门和输出门。这些门控制信息流，使网络能够在长序列中保留相关信息并丢弃无关细节。在BiLSTM中，两个层独立运行，但它们共享相同的输入并联合训练，这意味着损失函数的梯度在反向传播期间会通过两个方向传播。
在序列建模中的应用
BiLSTM已广泛应用于序列到序列任务。在自然语言处理中，它们用于词性标注、命名实体识别和情感分析，在这些任务中，理解两个方向的周围词可提高准确性。例如，在句子“The bank can guarantee loans”中，“bank”一词有歧义，但BiLSTM可以利用前后词语来确定它是指金融机构还是河岸。
在时间序列分析中，BiLSTM用于异常检测、语音识别和生物信息学（如蛋白质二级结构预测）等任务。双向处理使模型能够考虑未来数据点，这在整条序列可用的离线分析中可能具有优势。然而，在在线或实时应用中，后向传递会引入延迟，因为模型必须等待完整序列才能产生输出。
与Transformer的比较
随着使用自注意力机制的Transformer模型的兴起，BiLSTM在许多最先进系统中的主导地位有所下降。Transformer能更高效地捕获长距离依赖，并且高度可并行化，而BiLSTM则按顺序处理序列。然而，在计算资源有限或数据顺序性具有优势的场景中，BiLSTM仍然具有相关性。它们也用于混合架构，例如将BiLSTM与Transformer编码器结合用于语言建模或机器翻译等任务。
对于较短的序列，BiLSTM通常比Transformer更具参数效率，并且更容易在小数据集上训练。它们还能自然处理可变长度输入，无需Transformer所需的位置编码。然而，对于非常长的序列，BiLSTM的顺序计算会成为瓶颈，而Transformer可以并行处理所有位置。
训练与优化
训练BiLSTM涉及标准的深度学习技术。模型通常使用随时间反向传播进行训练，并采用Adam或随机梯度下降等优化算法。为防止过拟合，从业者常使用dropout和梯度裁剪，后者尤为重要，因为双向处理可能导致更大的梯度幅度。层归一化也可用于稳定训练。
前向和后向状态的组合方式（拼接、求和或平均）会影响模型性能。拼接最为常见，因为它保留了每个方向的独特信息。每个LSTM层的隐藏状态大小是一个超参数；将其加倍用于组合输出可增加模型容量，但也会增加计算成本。
遗产与影响
BiLSTM对人工智能领域产生了持久影响。它们是许多早期自然语言处理深度学习系统的关键组件，包括MIT CSAIL和斯坦福AI实验室等主要研究机构开发的系统。虽然现代大型语言模型主要采用Transformer架构，但BiLSTM仍在大学课程中教授，并用于语音识别和生物信息学等专业应用。其双向原理也影响了其他架构的设计，包括双向Transformer（如BERT），后者采用了类似的双向上下文处理思想。
总之，BiLSTM是一种强大的序列模型，通过双LSTM层利用过去和未来的上下文。其简单性和有效性使其成为机器学习工具包中的持久工具，即使更新架构已经出现。