零样本分类是机器学习中的一种问题设定，其中学习器在测试时观察到训练中未曾见过的类别样本，并需要预测其类别。这一名称是基于计算机视觉中较早出现的单样本学习概念的双关语，在单样本学习中，分类可以从仅一个示例中习得。零样本方法通常通过编码可观察的区分属性，将已见类别与未见类别联系起来。例如，给定一组待分类的动物图像，以及关于动物外观的辅助文本描述，一个经过训练能识别马的模型，即使从未见过斑马，也能在知道斑马是带条纹的马的情况下识别出斑马。这一问题在计算机视觉、自然语言处理和机器感知中被广泛研究。
背景与历史
关于自然语言处理中零样本学习的第一篇论文出现在2008年，由Chang、Ratinov、Roth和Srikumar在AAAI'08会议上发表，但当时该学习范式被称为“无数据分类”。计算机视觉中零样本学习的第一篇论文出现在同一会议上，名为“零数据学习”。而“零样本学习”这一术语本身首次出现在2009年Palatucci、Hinton、Pomerleau和Mitchell在NIPS'09的论文中。这一术语后来在另一篇计算机视觉论文中被沿用，并逐渐流行起来，作为对多年前计算机视觉中引入的单样本学习的引申。
在计算机视觉中，零样本学习模型为已见类别学习参数及其类别表示，并依赖类别标签之间的表示相似性，从而在推理时能将实例分类到新类别中。在自然语言处理中，关键技术方向建立在“理解标签”的能力上、、即将标签表示在与待分类文档相同的语义空间中。这支持了无需任何标注数据即可对单个示例进行分类，这是零样本分类的最纯粹形式。原始论文使用了显式语义分析（ESA）表示，但后续论文使用了其他表示方法，包括稠密表示。这一方法也被扩展到多语言领域、细粒度实体分类等问题中。此外，除了仅依赖表示之外，计算方法还被扩展到依赖其他任务的迁移，例如文本蕴含和问答。
原始论文还指出，除了对单个示例进行分类的能力外，当给定一组示例并假设它们来自同一分布时，可以通过半监督的方式提升性能（即转导学习）。与机器学习中的标准泛化不同、、标准泛化要求分类器能正确地将新样本分类到训练中已观察过的类别、、在零样本分类中，训练分类器时没有来自目标类别的样本。因此，它可以被视为域适应的极端情况。
零样本类别的先验信息
自然地，关于这些零样本类别必须提供某种形式的辅助信息，这类信息可以有多种类型。
基于属性的学习：类别伴随有预定义的结构化描述。例如，对于鸟类描述，可能包括“红色头部”、“长喙”等。这些属性通常以结构化的组合方式组织，利用这种结构有助于改进学习。虽然这种方法主要用于计算机视觉，但在自然语言处理中也有一些应用实例。
基于文本描述的学习：如上所述，这是自然语言处理中追求的关键方向。在这里，类别标签被认为具有含义，并通常通过定义或自由文本的自然语言描述来增强。例如，这可能包括类别的维基百科描述。
类别间相似性：在这里，类别被嵌入到一个连续空间中。零样本分类器可以预测样本对应于该空间中的某个位置，并将最近的嵌入类别作为预测类别，即使训练中未观察到此类样本。
广义零样本学习
上述零样本分类设定假设在测试时只给出零样本样本，即来自新类别的样本。而在广义零样本学习中，测试时可能同时出现新类别和已知类别的样本。这给分类器在测试时带来了新的挑战，因为判断给定样本是新类别还是已知类别非常困难。处理这一问题的一些方法包括：
- 门控模块，首先训练以判断给定样本来自新类别还是旧类别，然后在推理时输出硬决策或软概率决策。
- 生成模块，训练以生成未见类别的特征表示、、然后可以在所有类别（包括已见和未见）的样本上训练标准分类器。
应用领域
零样本学习已被应用于以下领域：
- 图像分类
- 语义分割
- 图像生成
- 目标检测
- 自然语言处理
- 计算生物学
- 抽象推理
与现代AI的关系
随着大型语言模型和Transformer架构的兴起，零样本分类已成为现代人工智能系统中的一项突出能力。由OpenAI、Anthropic和Google DeepMind等机构开发的模型，可以通过利用预训练的语言理解能力，在无需任务特定微调的情况下对文本进行零样本分类。这代表了从早期基于属性和基于嵌入的方法，转向利用神经网络权重中编码的语义知识。在计算机视觉中，通过对齐图像和文本表示也取得了类似进展，使模型能够仅通过自然语言描述来分类图像。这一技术也是生成式AI中许多应用的基础，在这些应用中，模型必须理解并对新颖输入进行分类。
参见
- 少样本学习
- 迁移学习
- 快速映射
- 基于解释的学习