温度缩放是机器学习中常用的一种技术，尤其在大型语言模型中，用于控制生成输出的随机性。其原理是在应用softmax函数之前，将logits（模型最后一层产生的原始未归一化分数）除以一个温度值。这种调整改变了所得概率分布的锐度，直接影响模型预测的置信度或多样性。该方法广泛应用于生成式AI系统中，以在文本补全、对话生成和代码合成等任务中平衡连贯性与创造性。
该概念源于统计力学，其中温度控制系统的熵，后被改编用于神经网络以管理预测不确定性。在实践中，温度缩放是一个简单而强大的超参数，从业者通过调整它来实现所需的输出特性。它不同于top-k采样或top-p采样等其他采样策略，但常与它们结合使用。该技术几乎在所有现代基于Transformer的架构中都有实现，包括由OpenAI、Anthropic和Google DeepMind开发的系统。
数学公式
在神经网络中，输出层为词汇表中的每个可能词元生成一个logits向量\( z_i \)。标准softmax函数将这些logits转换为概率\( p_i \)，公式为：
\[ p_i = \frac{e^{z_i}}{\sum_j e^{z_j}} \]
通过温度缩放，引入温度参数\( T \)，修改公式为：
\[ p_i = \frac{e^{z_i / T}}{\sum_j e^{z_j / T}} \]
当\( T = 1 \)时，函数不变。对于\( T < 1 \)，logits除以一个小于1的数，这会放大它们之间的差异，使分布更尖锐且更具确定性。对于\( T > 1 \)，logits除以一个更大的数，减少差异并使分布平坦化，从而增加随机性。当\( T \)趋近于零时，分布收敛为one-hot向量（argmax），而当\( T \)趋近于无穷大时，则趋近于均匀分布。
对输出质量的影响
温度的选择对生成文本的质量和性质有显著影响。低温（例如0.1到0.3）常用于需要高准确性和事实一致性的任务，如代码生成或数学推理，这些场景期望单一正确答案。高温（例如0.8到1.5）则更受创意写作、头脑风暴或对话代理的青睐，这些场景重视多样性和新颖性。然而，过高的温度可能导致输出不连贯或无意义，因为模型可能选择不太可能的词元。
在ChatGPT和Claude等系统的实证研究和实际使用中，温度约为0.7是平衡响应的常见默认值。在机器学习研究中，温度缩放也用于校准，即应用学习到的温度来改善模型预测的置信度准确性，如Guo等人2017年发表的论文《On Calibration of Modern Neural Networks》所述。
与其他采样方法的关系
温度缩放常与其他采样技术结合使用，以细化输出生成。Top-k采样将候选词元池限制为最可能的k个，而top-p采样（也称为核采样）选择累积概率超过阈值p的最小词元集。温度在这些过滤器之前应用，改变词元的相对概率。例如，高温可以增加选择不太常见词元的几率，但top-p仍可防止选择极不可能的词元。这种组合允许对多样性和质量之间的权衡进行细粒度控制。
相比之下，束搜索等确定性解码方法不使用温度，因为它们旨在找到最高概率的序列。温度缩放主要与随机采样相关，而随机采样更适用于开放式生成任务。
实际实现
在现代深度学习框架中，温度缩放通常实现为softmax层之前对logits的简单除法操作。例如，在PyTorch或TensorFlow中，可以计算logits / temperature，然后应用softmax。温度值是一个超参数，可以全局设置或根据上下文动态调整。一些系统，如OpenAI和Anthropic的系统，将温度作为API参数暴露，允许用户按请求指定。
NVIDIA GPU等硬件加速器以及Groq或SambaNova等专用芯片能高效处理这些操作，因为计算是逐元素且可并行的。在大规模部署中，温度缩放在服务器端应用，所得词元概率用于采样。
跨领域应用
除了文本生成，温度缩放还用于其他深度学习应用。在计算机视觉中，它有助于校准分类模型。在强化学习中，它控制策略网络中的探索-利用权衡。在语音识别中，它调整声学模型输出的置信度。该技术也与神经网络中的序列到序列任务相关，影响翻译或摘要的多样性。
在人工智能安全背景下，温度缩放是调整模型行为的工具。例如，设置低温可以降低生成有害或有偏见内容的可能性，因为模型倾向于更安全、更可能的响应。然而，它并非完整解决方案，通常还需结合RLHF（基于人类反馈的强化学习）等其他方法。
历史发展
神经网络中温度的使用可追溯到1980年代，早期工作涉及玻尔兹曼机和模拟退火。1990年代，研究人员将温度应用于神经网络中的softmax，以控制分类决策边界。温度缩放在语言模型中的现代流行随着2010年代Transformer的出现而增长，特别是在2019年GPT-2发布后，其强调了采样参数的重要性。此后，它已成为所有主要大型语言模型API的标准功能。
斯坦福AI实验室和伯克利AI研究的研究人员研究了温度的校准特性，将其与模型不确定性联系起来。该技术也在课程学习和数据增强的背景下被讨论，其中温度可以随时间退火，以逐渐增加确定性。
局限性与考虑因素
温度缩放并非万能。它不改变底层模型的知识或推理能力，只影响采样分布。低温无法修复模型学到的错误事实，高温也无法使模型更智能。此外，温度与其他超参数（如生成词元数量）相互作用，其最优值可能因任务和数据集而异。
另一个考虑是温度缩放均匀应用于所有词元，而某些上下文可能需要不同级别的随机性。例如，在对话系统中，响应的第一个词元可能受益于较高温度，而后续词元可能需要较低温度以保持连贯性。动态温度调整等高级技术是当前研究的一个领域。
未来方向
随着生成式AI的持续发展，温度缩放仍是一个基本工具。研究人员正在探索从数据中学习最优值的自适应温度方法，以及上下文相关的温度调度。随着开放面板模型以及AMD和Intel硬件的兴起，温度缩放的实现变得更加可及。该技术也被集成到AWS Trainium和Azure AI服务中，使开发者更容易部署。
总之，温度缩放是控制神经网络输出随机性的一个简单而重要的机制。其数学优雅性和实际实用性确保了它在机器学习及其他领域的持续相关性。