少样本学习是指在仅看到该任务的少量示例（通常少至一个到几十个）后，就能正确执行新任务的能力。在大语言模型的语境中，该术语最常指一种具体实践：将若干输入-输出示例直接放入提示中，紧接在实际查询之前，使模型能够推断出模式并加以应用，而无需改变其底层权重。这使少样本学习有别于传统监督式方法，后者学习新任务需要收集带标签的数据集并运行诸如微调之类的优化过程。
这一框架由GPT-3论文《语言模型是少样本学习者》推广开来，该论文由汤姆·布朗及其在OpenAI的合著者于2020年发表。论文表明，一个足够大的自回归模型，仅通过在大规模文本上进行下一词元预测训练，就能在上下文中获得少量演示的情况下，相当不错地完成翻译、问答和算术任务，且完全无需梯度更新。这一结果是最早的清晰展示之一，表明仅凭规模，结合通用预训练目标，就能替代任务特定的训练数据。
机制
少样本提示之所以有效，是因为预训练模型的参数已编码了关于多种任务结构如何组织的广泛统计知识；提示中的示例并非教给模型新事实，而是指定在模型已能生成的众多任务中，应采用哪一任务、格式和风格。这种能力通常在上下文学习这一更广泛标题下研究，即基于Transformer的模型纯粹根据其上下文窗口的内容调整行为。所需示例的数量、顺序、与目标查询的相似度以及演示的格式，都已证明会影响准确性，有时影响显著，这使得提示设计本身成为一门经验性技艺，与提示工程密切相关。
与零样本和微调的关系
少样本学习介于另外两种模式之间：零样本学习，即模型仅获得指令而无示例；以及微调，即模型权重在带标签数据集上更新。随着模型规模增大并经过更重的指令调优，许多常见任务的零样本与少样本性能差距已缩小，因为良好对齐的模型通常能在无演示的情况下正确遵循清晰指令。然而，少样本示例仍有用处，用于指定不寻常的输出格式、特殊的分类方案或难以用语言描述但易于展示的风格。与微调相比，少样本提示的优势在于无需训练基础设施且立即可用，但它在每次调用时消耗上下文窗口空间，且其收益通常不会像微调模型那样持久或累积。
反响与遗产
GPT-3的少样本结果重新塑造了该领域对泛化的思考方式：与其为每个任务构建窄模型，更可行的是构建一个大型通用模型，并仅通过推理时的提示进行特化。这一转变支撑了OpenAI及后来竞争对手采用的API优先商业模式，并直接预示了向通用聊天助手（如ChatGPT）的更广泛转变。后续研究质疑了这种表面“学习”中有多少反映了真正的新任务获取，而非检索模型在预训练中已见过的类似任务，这一争论持续影响着研究者如何解读与涌现能力和少样本基准相关的能力主张。