贪心解码是自回归语言模型中使用的一种基础解码策略，包括基于Transformer (architecture)架构的模型。在每个生成步骤中，模型会计算词汇表中下一个词元的概率分布，而贪心解码会选择概率最高的词元。这一过程会重复进行，直到生成结束符或达到预设的最大长度。由于总是选择最可能的词元，贪心解码是确定性的：给定相同的输入和模型权重，它每次都会产生相同的输出。它计算效率高且易于实现，因此常作为自然语言处理任务中的基线方法。然而，它往往会导致重复或次优的文本，因为它不考虑当前选择对未来生成的影响；一个在早期步骤中概率稍低的词元，可能会在后续生成中带来更连贯的文本。贪心解码与随机性方法（如top-k采样和top-p采样）形成对比，后者引入随机性；同时也有别于束搜索，后者维护多个候选序列以寻找更全局最优的输出。
贪心解码的工作原理
在自回归模型中，词元序列 \(x_1, x_2, \ldots, x_T\) 的概率被分解为条件概率的乘积：\(P(x_1, \ldots, x_T) = \prod_{t=1}^T P(x_t | x_1, \ldots, x_{t-1})\)。贪心解码通过在每个时间步 \(t\) 选择使 \(P(x_t | x_1, \ldots, x_{t-1})\) 最大化的词元 \(x_t\) 来近似最可能的序列。这是一种局部最大化，而非全局最大化。算法很简单：从提示或起始词元开始，将其输入模型，获取下一个词元的概率分布，选择概率最高的词元（即argmax），将其附加到输入中，然后重复此过程。这种方法有时也被称为“argmax解码”或“最大似然解码”。
优点与缺点
贪心解码的主要优点是简单和快速。它不需要额外的参数或搜索结构，因此适用于对延迟敏感的应用，例如交互式聊天机器人或代码补全。它还能产生确定性的输出，这在调试或需要可复现结果时很有用。然而，贪心解码也有显著缺点。由于它从不回溯，可能会陷入循环，生成重复的短语（例如，“我爱你我爱你我爱你”）。它还倾向于产生平淡或通用的文本，因为它总是选择最常见的词，这可能不是最具信息量或创造性的选择。研究表明，在故事生成或对话等开放式生成任务中，贪心解码通常比束搜索或采样方法产生更低质量的输出。
与束搜索的比较
束搜索是一种更复杂的解码策略，它在每个步骤维护 \(k\) 个部分假设（即束）。在每个时间步，它扩展所有束，考虑所有可能的下一个词元，然后保留累积对数概率最高的 \(k\) 个序列。这使得模型能够探索多条路径，避免贪心解码可能陷入的局部最优。束搜索通常比贪心解码产生更连贯、得分更高的序列，但计算成本更高，因为每个步骤需要评估 \(k\) 倍多的候选。在实践中，束搜索常用于机器翻译等任务，其中输出长度受限且全局连贯性很重要。贪心解码可以看作是束大小为 \(k=1\) 的束搜索。然而，即使束搜索也可能出现重复和缺乏多样性的问题，因此对于创造性生成任务，基于采样的方法往往更受青睐。
使用场景与实现
贪心解码广泛用于对速度要求高于输出质量的生产系统中，例如某些大型语言模型推理流程。例如，当用户提出简单的事实性问题时，贪心解码可能足以提供正确答案。它也常作为研究中的基线，用于与其他方法进行比较。在大多数深度学习框架中，实现贪心解码非常简单：从模型获取logits后，在词汇维度上应用argmax即可。许多库（如Hugging Face的Transformers）提供了do_sample=False参数来触发贪心解码。尽管有局限性，贪心解码仍然是人工智能领域的基础技术，通常是学生学习文本生成时首先接触的方法。
局限性与替代方案
贪心解码的主要局限性在于它无法从早期错误中恢复。例如，在句子“The cat sat on the...”中，如果模型预测“mat”的概率很高，而“floor”的概率略低，贪心解码会选择“mat”。如果后续上下文本应更自然地搭配“floor”，模型就无法回头修正。这就是为什么会使用温度采样、top-k采样或核采样（即top-p采样）等替代方法，它们通过引入随机性来增加多样性。这些方法从概率分布中采样，而不是直接取argmax，从而允许选择概率较低但可能更合适的词元。另一种替代方案是对比搜索，它在模型的置信度与生成文本的多样性之间取得平衡。在实践中，解码策略的选择取决于具体任务：对于事实性生成，贪心解码或束搜索更合适；而对于创意写作，采样方法通常效果更好。
参考文献
- 贪心解码在标准自然语言处理教材中有描述，例如Daniel Jurafsky和James H. Martin所著的《Speech and Language Processing》。
- 贪心解码的局限性在神经机器翻译的相关论文中有所讨论，例如Sutskever等人（2014年）和Bahdanau等人（2015年）的研究。
- 关于解码策略的全面比较，可参考Holtzman等人（2019年）的论文《The Curious Case of Neural Text Degeneration》，该文指出了贪心解码和束搜索的缺陷，并提出了核采样方法。
---
注：本文聚焦于现代神经语言模型中使用的贪心解码概念，不应与一般的贪心算法混淆，后者是一类更广泛的优化技术。