ULMFiT（通用语言模型微调）是一种用于自然语言处理（NLP）的迁移学习方法，由fast.ai和旧金山大学的研究人员于2018年开发。它证明了预训练语言模型可以针对各种文本分类任务进行有效微调，且只需相对较少的标注数据，在当时取得了最先进的结果。该方法引入了三项关键技术：判别式微调、斜三角学习率和逐步解冻，这些技术成为后续大型语言模型训练实践的基础。
该方法与早期NLP嵌入方法的不同之处在于，它微调整体预训练神经网络，而非仅使用静态词向量。ULMFiT的架构是一个三层深度学习长短期记忆（LSTM）网络，这是一种在transformer模型兴起之前流行的循环神经网络形式。它在六个基准任务（包括情感分析和问题分类）上的成功，帮助确立了迁移学习作为NLP核心范式的地位。
开发与发表
ULMFiT由Jeremy Howard和Sebastian Ruder创建，他们于2018年7月在计算语言学协会（ACL）第56届年会上发表了论文《用于文本分类的通用语言模型微调》。这项工作建立在早期计算机视觉迁移学习研究的基础上，并借鉴了ELMo等预训练嵌入的先前工作。论文报告称，在多个文本分类基准（如IMDb电影评论数据集和AG News语料库）上，相较于先前最先进结果，错误率降低了9-24%。
初始实现于2018年初作为fast.ai库的一部分发布，后来被移植到其他框架。代码和预训练模型在宽松的开源代码许可下公开，使研究人员和从业者得以广泛采用。这种开放性促进了学术界对该方法的快速复制和扩展。
核心技术
ULMFiT的微调协议由三项主要创新定义。判别式微调为网络每一层分配不同的学习率，较低层（捕捉更通用的语言特征）的更新速度慢于较高层（任务特定层）。这可以防止在适应过程中灾难性地遗忘机器学习知识。
斜三角学习率采用短期线性增加后线性衰减的方式，使模型能够快速收敛到合适的参数区域，然后进行细化。逐步解冻从最后一层开始，在多个轮次中逐步解冻较早的层，从而稳定训练过程。
这些策略经实证验证对性能至关重要。论文中的消融研究表明，移除这三个组件中的任何一个都会降低IMDb情感任务的准确率，凸显了它们的互补作用。
影响与遗产
ULMFiT标志着NLP的一个转折点，使该领域摆脱了为每个任务从头训练模型的做法。其迁移学习框架直接影响了后续关于大型语言模型的研究，并引起了主要技术组织的关注。例如，与Google DeepMind、OpenAI和Anthropic相关的研究团队在后续基于transformer的系统中采用了微调原则，尽管这些模型在架构上有所不同。
该方法还影响了软件生态系统。AWS Trainium和其他云AI基础设施提供商优化了训练流水线，这些流水线假设了与ULMFiT类似的预训练和微调工作流程。斯坦福AI实验室和MIT CSAIL等学术机构在早期迁移学习课程中纳入了其技术。在2020年代，对使用小数据集进行高效微调的重点仍然具有现实意义，因为大多数生产级NLP系统依赖微调的预训练模型。
局限性与过渡
尽管取得了成功，ULMFiT的LSTM架构仍有局限性。它按顺序处理序列，使得训练速度较慢且并行化程度低于后来的transformer模型。上下文表示是双向的，但不如使用自注意力机制的transformer所产生的那样深或灵活。
到2019年，基于transformer的模型（如BERT和GPT系列）在许多基准上超越了ULMFiT，利用了更大的语料库和更可扩展的架构。然而，ULMFiT的微调启发式方法，，判别式学习率、斜三角调度、逐步解冻，，被适配到transformer训练中并得以延续。其对稳定迁移学习流程的记录帮助标准化了Hugging Face的transformers库等框架中的工作流程，使其成为先驱而非过时的产物。
当前用途
ULMFiT仍具有历史和教学意义。在人工智能课程中，它常被引用为序列数据迁移学习的清晰示例。原始的fast.ai课程继续将其作为计算受限时文本分类的实用起点进行教学。一些针对小型、特定领域数据集的边缘应用仍在使用它，但主要的生产部署已大多转向大型transformer模型的参数高效微调。