PEGASUS（通过提取间隔句进行预训练以用于抽象式摘要）是由谷歌的研究人员为抽象式文本摘要任务开发的一种语言模型。它于2019年推出，利用了Transformer架构以及一种名为间隔句生成的新型自监督预训练目标。与逐字选择句子的抽取式方法不同，PEGASUS会生成对源文档进行改写的全新句子，旨在产生简洁且连贯的摘要。
该模型在包含网络文本和新闻文章的大规模语料库上进行了预训练，期间它学会了根据上下文预测被掩蔽的句子。这种方法与摘要任务高度契合，使模型能够捕捉关键信息并生成流畅的摘要。PEGASUS在多个基准测试上取得了最先进的结果，包括CNN/Daily Mail数据集和XSum数据集，并展现了强大的跨语言能力。
架构与预训练
PEGASUS基于标准的Transformer编码器-解码器架构构建，与其他序列到序列模型类似。编码器处理输入文档，而解码器逐词生成摘要。其关键创新在于预训练目标：间隔句生成。在预训练过程中，模型会随机选择并掩蔽文档中的完整句子，然后训练自身利用剩余文本来重建这些句子。这迫使模型理解文档的整体含义并识别最重要的信息，而这些能力可直接迁移到摘要任务中。
预训练语料库包含超过5亿个句子，来源涵盖新闻文章、网页和科学论文。模型采用大批量训练和动态掩蔽策略，其中被掩蔽句子的数量和位置会有所变化。这种设置使PEGASUS能够学习到稳健的文本表示，并生成既具抽象性又忠实于原文的摘要。
性能与基准测试
PEGASUS在广泛的摘要数据集上进行了评估，包括CNN/Daily Mail、XSum以及多语言WikiHow数据集。在CNN/Daily Mail上，其ROUGE-1得分为44.17，超越了BART和T5等先前模型。在XSum上，该任务要求高度抽象的摘要，PEGASUS取得了25.57的ROUGE-1得分，展示了其生成全新句子而非直接抽取原文的能力。该模型在低资源任务上也表现出色，表明在大规模语料库上的预训练能够实现在标注数据有限的情况下的有效微调。
除了英语之外，PEGASUS还通过多语言预训练适配了多种语言，包括法语、西班牙语和德语。这一多语言版本被称为mPEGASUS，在跨语言摘要基准测试中取得了有竞争力的结果，凸显了该模型的通用性。
应用与影响
PEGASUS已在学术研究和工业界得到广泛应用。其生成流畅且信息丰富摘要的能力已被应用于新闻聚合、文档摘要和问答系统。该模型的预训练方法也影响了后续在生成式AI领域的研究，特别是在开发更高效、更有效的摘要模型方面。研究人员常将PEGASUS作为基准，用于比较新的架构和预训练策略。
PEGASUS以开源模型的形式通过TensorFlow和PyTorch库发布，促进了其在不同应用中的集成。公司和研究机构已利用它构建处理长文档的摘要工具，例如法律合同和医学报告。通过微调，该模型在特定领域数据集上的性能得到了进一步提升，使其成为许多实际应用场景中的实用选择。
局限性与未来方向
尽管PEGASUS具有诸多优势，它也存在一定的局限性。它偶尔会生成与源文档事实不一致的摘要，这是抽象式摘要中的一个常见问题。此外，该模型的预训练需要大量的计算资源，尽管微调相对轻量。后续模型，例如基于OpenAI的GPT系列和Anthropic的Claude的模型，探索了其他摘要方法，包括强化学习和指令微调。
未来的研究重点在于提高事实准确性并减少生成摘要中的幻觉现象。对比学习和事实核查模块等技术已被提出以应对这些挑战。此外，将PEGASUS与检索增强生成和神经搜索相结合的研究也在进行中，以处理超长文档和实时摘要需求。
遗产
PEGASUS代表了抽象式摘要模型发展中的一个重要里程碑。其间隔句生成目标提供了一种简单而有效的预训练策略，与摘要任务高度契合。该模型的成功证明了任务特定预训练的重要性，并影响了T5和BART等后续模型。截至2020年代初期，PEGASUS仍是摘要研究的重要参考点，也是跨领域生成高质量摘要的实用工具。