在机器学习中，知识截止（或数据截止）是指大型语言模型未再接受新数据训练的时间点。由于大型语言模型是在从互联网、书籍和其他来源收集的静态数据快照上进行预训练的，因此任何模型的知识都固定在其部署前所训练的内容上。此日期之后的事件信息不在模型的训练数据中，如果没有实时数据访问系统（如检索增强生成，它从外部数据库获取新信息），模型无法访问这些信息。
知识截止可能引入局限性，如幻觉（模型生成自信但虚假的陈述）、信息缺口，以及对不断演变的知识准确性降低。研究表明，知识截止在医疗保健等领域具有安全关键性影响，过时的知识可能导致有害建议。在临床领域，知识截止日期较晚的模型在反映较新指南的问题上具有更高的准确性。
描述
大型语言模型在部署前基于截至特定知识截止日期收集的静态数据快照进行训练。在训练期间，LLM可以学习语言模式、语义和上下文含义。然后，模型被训练为估计给定句子后每个候选词出现的概率，并利用这些概率生成文本。由于模型的知识在训练时被冻结，具有固定知识截止的模型无法仅凭预训练知识提供关于后来出现的事实或发展的信息。一些模型可以通过搜索工具检索较新的信息，但其判断仍受训练数据的影响。因此，关于截止日期后发展的提示可能会收到不完整、过时或不正确的答案。
训练最先进的AI系统变得越来越昂贵；2024年，斯坦福大学和Epoch AI的研究人员的一项研究预测，到2027年，训练最大AI系统的成本将达到数十亿美元。GPT-4模型的知识截止日期为2021年9月，GPT-4 Turbo模型的知识截止日期为2023年12月，GPT-5模型的知识截止日期为2024年9月。GPT-OSS-120B的知识截止日期为2024年5月，Llama 4 Maverick的知识截止日期为2024年8月。
信息缺口
知识截止造成信息缺口。LLM缺乏对其训练数据中未包含的事件或发现的知识。由于这些模型被训练为基于其训练模式生成最可能的词序列，当被询问超出该信息范围的问题时，它们可能产生自信但不正确的输出。Cacioli等人进行的一项研究基于美国传染病学会的COVID-19治疗指南的两个版本创建了一个363个问题的基准。知识截止日期早于较新指南的模型，如GPT-3.5-Turbo和Llama-2，在这些问题上的表现较差（分别为76.03%和35.26%），而截止日期较晚的模型，如GPT-4o和Llama 3.3，准确率超过90%。该研究得出结论，信息的时效性必须被视为与对齐或可解释性同等重要的安全关键属性，突显了知识截止在临床决策中的安全担忧。
有效日期与报告日期
罗兹大学Pęzik等人进行的一项研究表明，模型的知识不一定与其截止日期相符。有效截止日期（模型能够可靠知道信息的日期）通常因主题而异，并受训练数据中信息分布的影响；某些主题可能反映较晚的知识，而早于截止日期的知识可能缺失。训练数据在不同主题上的信息分布不均。由于重新训练大型语言模型的成本高昂，模型很少被重新训练以延长其知识截止。一些模型可以使用集成的搜索工具访问较新的信息，这使得不清楚答案来自模型的原始训练还是实时搜索；GPT-4可以访问其搜索工具并提供实时信息。
检索增强生成
检索增强生成通过外部来源的更新数据增强大型语言模型，使其能够生成信息更充分的响应。在RAG中，语言模型连接到外部知识库或搜索引擎以检索实时数据。这允许模型找到与查询相关的当前信息，并将其纳入响应中，并附有引用。将模型扎根于外部数据（将模型的答案与其检索到的来源联系起来）有助于减少幻觉的频率并提高输出准确性。然而，外部知识库可能过时或包含偏见，这可能导致不正确的信息（或幻觉）。Google的AI Overviews曾做出虚假声明并提供不可靠的结果，因为模型可能误解其获取的来源或未能检索到高质量来源。仅靠检索无法完全弥补过时的知识截止；模型的基本理解植根于其训练数据。这可以通过诸如基于人类反馈的强化学习等技术来缓解，该技术使AI模型与人类偏好对齐；这种技术可以提高大型语言模型响应的质量和可靠性。
增量学习
另一种方法是增量学习（或持续学习），这是一种机器学习方法，其中新数据被持续用于扩展现有模型的知识。它旨在防止灾难性遗忘（AI突然忘记所学内容）。然而，在实践中，它通常无法完全防止灾难性遗忘。该技术允许对模型进行高效的增量更新，而无需完整的重新训练周期。一种持续学习技术是微调，它允许AI实验室精确调整模型的行为。一种更高效的微调方法涉及诸如低秩适应之类的方法。然而，这并不提供实时感知，因为向系统添加模块可能导致灾难性遗忘，因为模型中的权重会偏向新数据集。