ELECTRA（高效学习编码器，通过精确替换标记分类）是一种用于预训练基于Transformer (architecture)的文本编码器的机器学习方法。该方法由Stanford AI Lab和Google DeepMind的研究人员于2020年提出，它将预训练重新定义为判别任务而非生成任务。与遮蔽输入标记并进行预测不同，ELECTRA通过一个小型生成器网络生成合理的替代标记来破坏输入，然后训练一个判别器来识别哪些标记被替换了。这种方法使预训练更具样本效率，并在问答和自然语言推理等下游任务上取得了更好的性能。
该方法在论文《ELECTRA：用判别器而非生成器预训练文本编码器》中提出，作者为Kevin Clark、Minh-Thang Luong、Quoc V. Le和Christopher D. Manning。原始实现以开源代码形式发布，预训练模型可供研究和商业使用。
架构与训练
ELECTRA在预训练期间采用双组件设置：一个生成器和一个判别器，两者均基于transformer架构。生成器是一个小型遮蔽语言模型，用于预测随机选择位置的原始标记。判别器是主要关注模型，接收被破坏的序列，并为每个位置输出一个二元标签，指示该标记是原始的还是被替换的。预训练结束后，生成器被丢弃，判别器在下游任务上进行微调。
训练目标结合了生成器的遮蔽语言建模损失和判别器的二元分类损失。生成器以较小的容量（通常为判别器大小的四分之一到二分之一）进行训练，以产生合理的替换，这迫使判别器学习更细微的表征。这种类似对抗的设置比遮蔽语言建模更高效，因为模型从所有输入标记中学习，而不仅仅是遮蔽的标记。
效率与性能
ELECTRA以显著更少的计算量取得了强劲的结果。在原始论文中，一个在13GB文本（与BERT相同的数据）上训练的ELECTRA-Small模型，在GLUE基准测试上优于BERT-Base模型，尽管两者具有相同的模型大小，但ELECTRA仅使用了约四分之一的计算量。ELECTRA-Large在更多数据和计算量下训练，其性能与RoBERTa和XLNet等最先进模型相当，而训练计算量不到它们的三分之一。
在SQuAD 1.1和2.0问答基准测试中，ELECTRA-Large的得分达到或超过了之前的模型，并且在MNLI等自然语言推理任务上也表现出色。效率提升归因于判别器从输入中的每个标记学习，而遮蔽语言模型仅从遮蔽位置的少量标记中学习。
变体与扩展
已提出了ELECTRA的多种变体。一个值得注意的变体是ELECTRA-Style，它引入了额外的训练目标，如句子级预测。另一个是DeBERTa，它基于ELECTRA的判别器思想，但引入了一种解耦的注意力机制，分别对内容和位置进行建模。DeBERTa在SuperGLUE基准测试上取得了最先进的结果，并被用于后来的模型，如Microsoft的Turing NLG。
在Large language model发展的背景下，ELECTRA的判别式预训练影响了后续关于高效训练的工作。一些后来的模型，如FNet等，探索了替代的标记破坏策略，但ELECTRA仍然是高效编码器预训练的参考点。
应用与影响
ELECTRA模型已在工业界和学术界被广泛采用。它们被用作各种自然语言处理任务的基础，包括文本分类、命名实体识别和语义相似度。预训练权重可通过Hugging Face Transformers等库获得，便于集成到生产系统中。
该方法也已应用于英语以外的语言，已有针对中文、德语和多语言设置的预训练ELECTRA模型。其效率使其对计算资源有限的组织特别有吸引力，因为它允许在适度的硬件上训练高质量的编码器。
与其他方法的比较
与GPT等专注于预测下一个标记的生成式预训练方法不同，ELECTRA是纯判别式的。这使其更适合需要理解而非生成的任务。与BERT中使用的遮蔽语言建模相比，ELECTRA的替换检测提供了更密集的学习信号，从而带来更快的收敛和更好的最终性能。
在预训练中使用判别器的思想与Generative AI和Deep learning研究中的对抗训练有相似之处，后者已在其他领域得到探索。然而，ELECTRA的公式比完整的对抗训练更简单、更稳定，因为它不需要极小极大优化。
局限性与未来方向
ELECTRA的主要局限性在于它专为编码器模型设计，不适合文本生成任务。对于生成应用，GPT或T5等模型更为合适。此外，双组件训练设置比单模型方法增加了复杂性，尽管生成器较小且不会带来显著开销。
未来的研究探索了将ELECTRA的判别目标与生成目标结合在单一模型中，这体现在一些统一的预训练框架中。截至2024年，ELECTRA仍是该领域的基础技术，其原理持续为新的高效表征学习方法提供启示。
参考文献与代码
原始ELECTRA代码和预训练模型已在GitHub上以Apache 2.0许可证发布。该论文已被引用数千次，被视为Artificial intelligence领域的重要贡献。该方法在许多大学的自然语言处理课程中教授，并被纳入现代机器学习标准教材。