幻觉，在人工智能语境下，指的是生成模型（尤其是大型语言模型）倾向于生成自信且流畅，但事实上不正确、虚构或未被其训练数据或给定来源支持的陈述。这一术语松散地借用自人类心理学，在研究人员中存在一些争议，因为它暗示了一种感知错误，而非语言模型生成文本时更为机械化的过程。
原因
语言模型被训练用于预测文本的合理续接，而非验证事实，因此模型没有内置机制来区分有充分依据的陈述与流畅但虚构的陈述。当提示询问在训练数据中出现频率低或不一致的信息、问题超出模型的上下文窗口或知识截止日期、或要求模型引用其从未被训练精确记忆的具体来源、日期或数字（如法律案件引用或学术参考文献）时，幻觉更可能发生。一些研究人员将部分问题归因于基于人类反馈的强化学习，认为训练模型听起来自信并满足人类评分者，可能会奖励流畅的猜测而非承认不确定性。幻觉与更广泛的接地问题密切相关：纯粹基于文本训练的模型在其输出与世界状态之间没有直接联系，因此其训练过程中没有任何机制保证事实准确性。
显著事件
在ChatGPT公开推出于2022年末将大型语言模型带给大众之后，幻觉从学术关注变成了公众话题。在2023年一个被广泛报道的案件中，纽约联邦诉讼中的律师提交了一份包含ChatGPT编造的虚假案件引用的简报，导致制裁，并引起人们对未经验证就信任模型输出的风险的广泛关注。汇总网页结果的搜索引擎和助手也产生了幻觉摘要，促使公司为AI生成的答案添加引用和信心声明。
缓解措施
最广泛部署的缓解措施是检索增强生成，系统在查询时检索相关文档，并指示模型基于这些文档作答，从而减少但并未消除虚构陈述的发生率。其他方法包括微调模型以专门表达校准后的不确定性、要求模型引用来源或通过思维链展示推理过程的提示技术，以及在向用户展示前将声明与外部数据库核对的后期事实核查流水线。基准和评估套件越来越多地将幻觉率作为与一般能力并行的追踪指标，一些实验室在评估过程中报告新模型发布的幻觉统计数据。
持续争论
研究人员对于幻觉是可解决的工程问题还是自回归语言模型生成文本的固有属性存在分歧。一些人认为扩大规模和改进训练数据将稳步降低幻觉率，并指出跨连续模型代际测得的改善。另一些人则认为，由于语言模型在生成每个标记时没有内置的真实性验证步骤，没有外部工具就不可避免某种程度的虚构，实际目标应该是构建假设幻觉会发生并设计用于捕捉幻觉的界面和工作流程。