零样本提示是一种在人工智能和机器学习中的技术，其中模型被要求执行任务，而无需提供任何示例或演示。模型必须仅依靠其预训练知识和提示中的指令来生成正确的输出。这与少样本提示形成对比，后者在提示中包含一些示例以引导模型。零样本提示是现代大型语言模型（LLMs）的基本能力，使其能够以最少的任务特定数据处理广泛的任务。
这一概念源于零样本学习（ZSL），这是机器学习中的一个问题设置，其中学习器观察到训练期间未见过的类别的样本，，必须预测其类别。这个名称是基于计算机视觉中早期概念的一次性学习的双关语。零样本方法通常通过辅助信息将观察到的和未观察到的类别关联起来，，这些辅助信息编码了可观察的区分属性例如，一个训练过识别马但从未见过斑马的模型，，如果知道斑马看起来像有条纹的马，，仍然可以识别斑马在提示的背景下，，零样本提示利用模型的内部表示和语义理解来泛化到未见过的任务上
背景和历史
自然语言处理中关于零样本学习的第一篇论文出现在2008年，，由Chang、Ratinov、Roth和Srikumar在AAAI'08上发表，，名为“无数据分类”计算机视觉中关于零样本学习的第一篇论文出现在同一会议上，，名为“零数据学习”术语“零样本学习”本身首次出现在2009年由Palatucci、Hinton、Pomerleau和Mitchell在NIPS'09发表的论文中这一术语迅速流行起来，，作为对计算机视觉中多年前引入的一次性学习的引申
在计算机视觉中，，零样本学习模型为已见类别及其类别表示学习参数，，依赖于类别标签之间的表示相似性，，以便在推理时，，实例可以被分类到新类别中在自然语言处理中，，关键技术方向建立在“理解标签”的能力上，，将标签表示在与待分类文档相同的语义空间中这支持了对单个示例进行分类，，而无需任何标注数据，，这是零样本分类的最纯粹形式原始论文使用了显式语义分析（ESA）表示，，但后来的论文使用了密集表示这种方法被扩展到多语言领域、细粒度实体类型化和其他问题除了仅依赖表示外，，计算方法还被扩展到依赖于从其他任务的迁移，，如文本蕴含和问答
零样本类别的先决信息
零样本学习需要关于未见类别的辅助信息存在几种类型的辅助信息：
- 基于属性的学习：类别伴随有预定义的结构化描述例如，，鸟类描述可以包括“红头”或“长喙”这些属性通常以结构化的组合方式组织，，考虑这种结构可以提高学习效果这种方法主要用于计算机视觉，，在自然语言处理中也有一些例子
- 从文本描述学习：类别标签被认为具有意义，，并且通常用定义或自由文本的自然语言描述来增强，，例如类别的维基百科描述这已成为自然语言处理中的关键方向
- 类别-类别相似性：类别嵌入在连续空间中零样本分类器可以预测样本对应于该空间中的某个位置，，并且最近的嵌入类别被用作预测类别，，即使在训练期间没有观察到这样的样本
在零样本提示的背景下，，辅助信息在预训练期间隐式编码在模型的参数中模型已经看到了大量的文本并学习了概念之间的关联，，使其能够理解指令并生成适当的响应，，而无需显式示例
广义零样本学习
标准的零样本学习设置假设在测试时，，只给出零样本样本（来自未见类别）在广义零样本学习中，，来自新类别和已知类别的样本都可能在测试时出现这带来了挑战，，因为难以估计给定样本是新类别还是已知类别处理这一问题的方法包括：
- 一个门控模块，，训练用于决定给定样本是来自新类别还是旧类别，，并在推理时输出硬或软的概率决策
- 一个生成模块，，训练用于生成未见类别的特征表示，，允许标准分类器在来自所有类别（已见和未见）的样本上进行训练
对于零样本提示，，广义零样本学习不太相关，，因为模型通常被要求执行单个任务，，而无需区分已见和未见类别然而，，泛化的潜在挑战对于稳健性能仍然重要
应用领域
零样本学习和零样本提示已应用于广泛领域：
- 图像分类：识别训练期间未见过的对象或场景
- 语义分割：为图像中的像素分配标签，，包括未见类别
- 图像生成：生成未明确训练过的概念的图像
- 对象检测：检测来自未见类别的对象
- 自然语言处理：文本分类、情感分析和问答，，无需任务特定的训练数据
- 计算生物学：预测生物实体的属性，，如蛋白质功能，，无需标记示例
- 抽象推理：解决需要泛化到新颖情况的推理任务
在大型语言模型时代，，零样本提示已成为标准评估方法由OpenAI、Anthropic和Google DeepMind等开发的模型经常在跨多样基准的零样本性能上进行测试这一能力是训练于大规模语料库和transformer架构的直接结果，，这使得模型能够内化大量知识并遵循指令
挑战和限制
尽管其强大，，零样本提示也有局限性模型可能产生看似合理但错误的答案，，尤其是对于需要专业知识或推理的任务提示的质量至关重要；措辞不当的指令可能导致次优结果此外，，零样本性能通常低于少样本或微调性能，，因为模型没有显式示例来校准其输出研究人员继续探索改进零样本能力的方法，，如更好的提示工程、思维链推理和指令调优