ELECTRA（高效学习编码器，通过精确替换 token 分类）是一种用于预训练基于 Transformer (architecture) 的文本编码器的机器学习方法。该方法由 Stanford AI Lab 和 Google DeepMind 的研究人员于 2020 年提出，它将预训练重新构建为判别式任务，而非生成式任务。ELECTRA 不是遮蔽输入 token 并进行预测，而是通过一个小型生成器网络用合理的替代 token 来破坏输入，然后训练一个判别器来识别哪些 token 被替换了。这种方法使预训练更加样本高效，并在问答和自然语言推理等下游任务上取得了更好的性能。
该方法在论文《ELECTRA: Pre-training Text Encoders as Discriminators Rather Than Generators》中提出，作者为 Kevin Clark、Minh-Thang Luong、Quoc V. Le 和 Christopher D. Manning。原始实现以开源代码形式发布，预训练模型可供研究和商业使用。
架构
ELECTRA 在预训练期间采用双组件设置：一个生成器和一个判别器，两者均基于 transformer 架构。生成器是一个小型掩码语言模型，负责预测随机选定位置上的原始 token。判别器是主要关注的模型，它接收被破坏的序列，并为每个位置输出一个二元标签，指示该 token 是原始的还是被替换的。预训练完成后，生成器会被丢弃，判别器则在下游任务上进行微调。
训练目标
训练目标结合了生成器的掩码语言建模损失和判别器的二元分类损失。生成器被设计为较小的规模（通常为判别器大小的四分之一到二分之一），以产生逼真的替换 token，从而迫使判别器学习更细微的表示。这种类似对抗的设置比掩码语言建模更高效，因为模型能从所有输入 token 中学习，而不仅仅是那些被掩码的 token。
效率与性能
ELECTRA 在显著减少计算量的情况下取得了强劲的结果。在原始论文中，一个在 13 GB 文本（与 BERT 相同的数据）上训练的 ELECTRA-Small 模型，在 GLUE 基准测试上超越了 BERT-Base 模型，尽管两者模型大小相同，但 ELECTRA 仅使用了约四分之一的计算量。ELECTRA-Large 在更多数据和计算资源下训练，其性能与 RoBERTa 和 XLNet 等最先进模型相当，而训练计算量不到它们的三分之一。
在 SQuAD 1.1 和 2.0 问答基准测试中，ELECTRA-Large 的得分达到或超过了之前的模型，并且在 MNLI 等自然语言推理任务上也表现出色。这些效率优势归因于判别器能从输入中的每个 token 学习，而掩码语言模型只能从少量被掩码的位置学习。
变体与扩展
后续研究提出了 ELECTRA 的多种扩展。一个值得注意的变体是 ELECTRA-Style，它引入了句子级预测等额外训练目标。另一个是 DeBERTa，它基于 ELECTRA 的判别器思想，但引入了分离注意力机制，分别对内容和位置进行建模。DeBERTa 在 SuperGLUE 基准测试上取得了最先进的结果，并被用于微软的 Turing NLG 等后续模型中。
在大型语言模型的发展背景下，ELECTRA 的判别式预训练影响了后续关于高效训练的研究。一些后来的模型（如 FNet 等）探索了替代的 token 破坏策略，但 ELECTRA 仍然是高效编码器预训练的重要参考点。
应用与影响
ELECTRA 模型已在工业界和学术界被广泛采用。它们被用作各种自然语言处理任务的基础模型，包括文本分类、命名实体识别和语义相似度计算。预训练权重可通过 Hugging Face Transformers 等库获取，便于集成到生产系统中。
该方法也已应用于英语以外的语言，已有针对德语、中文以及多语言设置的预训练 ELECTRA 模型。其高效性使其对计算资源有限的机构尤其具有吸引力，因为可以在适中的硬件上训练高质量的编码器。
与其他方法的比较
与 GPT 等模型使用的生成式预训练方法（侧重于预测下一个 token）不同，ELECTRA 是纯判别式的。这使得它更适合需要理解而非生成的任务。与 BERT 使用的掩码语言建模相比，ELECTRA 的替换检测提供了更密集的学习信号，从而带来更快的收敛速度和更好的最终性能。
在预训练中使用判别器的想法与生成式人工智能和深度学习研究中的对抗训练有相似之处，后者已在其他领域得到探索。然而，ELECTRA 的公式比完整的对抗训练更简单、更稳定，因为它不需要极小极大优化。
局限性与未来方向
ELECTRA 的主要局限性在于它专为仅编码器模型设计，不适合文本生成任务。对于生成式应用，GPT 或 T5 等模型更为合适。此外，双组件训练设置比单一模型方法增加了复杂性，尽管生成器规模较小，不会带来显著的额外开销。
未来的研究探索了将 ELECTRA 的判别式目标与生成式目标结合在单一模型中的可能性，这体现在一些统一预训练框架中。截至 2024 年，ELECTRA 仍是该领域的基础技术，其原理持续为高效表示学习的新方法提供启示。
参考文献与代码
原始 ELECTRA 代码和预训练模型已在 GitHub 上以 Apache 2.0 许可证发布。该论文已被引用数千次，被认为是人工智能领域的重要贡献。该方法已被纳入许多大学的自然语言处理课程，并出现在现代机器学习标准教材中。