PEGASUS（通过提取式句子间隙进行预训练的抽象式摘要模型）是由谷歌深度思维的研究人员开发的一种语言模型，用于抽象式文本摘要任务。该模型于2019年提出，利用了Transformer架构以及一种名为“间隙句子生成”的新型自监督预训练目标。与提取式方法直接选取原文句子不同，PEGASUS生成的是对源文档进行改写的全新句子，旨在生成简洁且连贯的摘要。
该模型在大规模网页文本和新闻文章语料库上进行预训练，学习根据上下文预测被遮蔽的句子。这种预训练方式与摘要任务高度契合，使模型能够捕捉关键信息并生成流畅的摘要。PEGASUS在多个基准测试中取得了最先进的结果，包括CNN/Daily Mail数据集和XSum数据集，并展现出强大的跨语言能力。
架构与预训练
PEGASUS采用标准的Transformer编码器-解码器架构，与其他序列到序列模型类似。编码器处理输入文档，解码器逐词生成摘要。其核心创新在于预训练目标：间隙句子生成。在预训练阶段，模型从文档中随机选择并遮蔽完整句子，然后利用剩余文本重建这些句子。这一过程迫使模型理解文档的整体含义并识别重要信息，而这些能力直接迁移到摘要任务中。
预训练语料库包含超过5亿个句子，来源涵盖新闻文章、网页和科学论文等多种类型。模型采用大批量训练和动态遮蔽策略，其中遮蔽句子的数量和位置会发生变化。这种设置使PEGASUS能够学习到稳健的文本表示，并生成既具有抽象性又忠实于原文的摘要。
性能与基准测试
PEGASUS在广泛的摘要数据集上进行了评估，包括CNN/Daily Mail、XSum以及多语言WikiHow数据集。在CNN/Daily Mail上，其ROUGE-1得分达到44.17，超越了BART和T5等先前模型。在XSum上，该数据集要求高度抽象的摘要，PEGASUS获得了25.57的ROUGE-1得分，展示了其生成新颖句子而非简单提取原文的能力。该模型在低资源任务上也表现优异，表明大规模预训练能够有效支持标注数据有限场景下的微调。
此外，PEGASUS还被适配到多种语言，包括法语、西班牙语和德语，通过多语言预训练实现。这一多语言版本被称为mPEGASUS，在跨语言摘要基准上取得了有竞争力的结果，凸显了该模型的通用性。
应用与影响
PEGASUS在学术研究和工业应用中均得到广泛采用。其生成流畅且信息丰富摘要的能力已被应用于新闻聚合、文档摘要和问答系统等多个领域。该模型的预训练方法也影响了后续生成式人工智能研究，特别是在开发更高效、更有效的摘要模型方面。研究人员常将PEGASUS作为基准，用于比较新的架构和预训练策略。
PEGASUS以开源模型形式发布，并通过TensorFlow和PyTorch库实现，促进了其在不同应用中的集成。公司和研究机构利用该模型构建了能够处理长文档的摘要工具，例如法律合同和医学报告。通过微调，该模型在特定领域数据集上的性能得到进一步提升，使其成为许多实际应用场景中的实用选择。
局限性与未来方向
尽管PEGASUS具有诸多优势，它也存在一定的局限性。该模型偶尔会生成与源文档事实不一致的摘要，这是抽象式摘要中的常见问题。此外，预训练过程需要大量的计算资源，尽管微调阶段相对轻量。后续模型，如基于OpenAI的GPT系列和Anthropic的Claude，探索了替代性的摘要方法，包括强化学习和指令微调。
未来的研究重点在于提高摘要的事实准确性并减少生成内容中的幻觉现象。为此，研究人员提出了对比学习和事实核查模块等技术。此外，将PEGASUS与检索增强生成和神经网络搜索相结合，也被探索用于处理超长文档和实时摘要需求。
遗产
PEGASUS是抽象式摘要模型发展中的一个重要里程碑。其间隙句子生成预训练目标提供了一种简单而有效的策略，与摘要任务高度契合。该模型的成功证明了任务特定预训练的重要性，并影响了T5和BART等后续模型。截至2020年代初期，PEGASUS仍然是摘要研究的重要参考点，也是生成跨领域高质量摘要的实用工具。