教师强制是一种用于训练循环神经网络（RNN）权重的算法。它涉及在每一步之后将观测到的序列值（也称为真实样本）反馈回RNN，从而迫使RNN保持接近真实序列。该技术广泛用于序列到序列模型和大型语言模型中，以提高训练效率和稳定性。
“教师强制”这一术语可以通过将RNN比作一个参加多部分考试的人类学生来理解，其中每部分的答案（例如数学计算）依赖于前一部分的答案。在这个类比中，与其在最后统一评分所有答案（存在学生仅在第一部分犯错却导致所有部分都失败的风险），教师会记录每个单独部分的得分，然后告诉学生正确答案，供其在下一部分使用。这种外部教师信号帮助模型从正确的上下文中学习，而不是在训练过程中累积自身错误。
使用外部教师信号与实时循环学习（RTRL）形成对比。教师信号在振荡器网络中已知。其优势在于教师强制有助于减少训练时间。“教师强制”这一术语由Ronald J. Williams和David Zipser于1989年提出，他们报告称该技术在当时已被“频繁用于动态监督学习任务”。一篇NeurIPS 2016论文引入了相关的“教授强制”方法。
机制与训练
在典型的RNN训练设置中，网络处理输入序列并在每个时间步产生输出。如果没有教师强制，网络自身的先前输出会被作为下一步的输入，这可能导致如果网络早期犯错则误差累积。教师强制则用训练数据中的实际真实值替换网络先前的输出。这种方法类似于教师在练习中提供正确答案，防止学生偏离正确路径过远。
该算法通过修改损失函数和前向传播来实现。在训练期间，每一步模型接收真实标记作为输入，并根据预测分布计算损失。这在Encoder-Decoder Architecture架构中特别有效，其中解码器基于编码表示生成序列。教师强制通常与Curriculum Learning和Gradient Clipping等技术结合使用，以进一步稳定训练。
优势与局限性
教师强制具有多个优势。它通过提供即时反馈和防止误差传播显著减少训练时间。它还简化了优化景观，使基于梯度的方法（如Adam (Optimizer)）更容易收敛。然而，一个关键限制是暴露偏差问题：在推理期间，模型必须依赖自身预测，这可能与训练期间看到的真实分布不同。这种不匹配可能导致自回归生成任务中的性能下降。
为了缓解暴露偏差，研究人员开发了变体，如计划采样，其中模型逐渐从教师强制过渡到自由运行（使用自身输出）。另一种方法是教授强制，在2016年NeurIPS论文中引入，它使用对抗性判别器鼓励模型在训练和推理期间的隐藏状态相似。这些方法旨在弥合训练与推理条件之间的差距。
应用
教师强制是训练序列生成模型的标准组件，包括用于机器翻译、文本摘要和语音识别的机器学习系统。它在Transformer (architecture)基础模型中尤为重要，这些模型是许多现代生成式AI系统的基础。例如，OpenAI的GPT系列和Anthropic的Claude模型在预训练期间依赖教师强制来预测序列中的下一个标记。该技术也用于Sequence-to-Sequence (Seq2Seq)模型，用于图像描述和对话生成等任务。
除了自然语言处理，教师强制已应用于时间序列预测和控制系统，其中准确的序列预测至关重要。在这些领域中，真实信号帮助模型更可靠地学习动态，尤其是在数据嘈杂或高度非线性时。
与其他方法的关系
教师强制与实时循环学习（RTRL）不同，后者基于网络自身输出更新权重，无需外部纠正。虽然RTRL在生物学上更合理，但计算成本高，对大型模型不太实用。教师强制也不同于基于AI反馈的强化学习（RLAIF），后者使用奖励信号而非直接的真实输入。相比之下，教师强制是一种监督学习技术，假设可以访问标记的序列数据。
该方法与损失函数的概念密切相关，因为它定义了每一步如何测量误差。它还与Dropout和Batch Normalization技术交互，这些技术通常在训练期间应用以提高泛化能力。在实践中，教师强制通常与推理期间的Beam Search结合使用，以生成高质量序列。
参见
- 在线机器学习
- 强化学习