Temperatura de amostragem é um parâmetro usado ao gerar texto ou outro conteúdo a partir de um modelo probabilístico que controla quão aleatório ou determinístico é o resultado, ao reescalar a distribuição de probabilidade da qual o modelo amostra o próximo token antes de extrair um valor. É uma das configurações mais comumente expostas em APIs e interfaces para modelos de linguagem de grande porte e outros modelos autorregressivos.
Como funciona
Um modelo de linguagem autorregressivo produz, a cada etapa, uma distribuição de probabilidade sobre possíveis tokens seguintes, tipicamente calculada com uma função softmax sobre as pontuações brutas de saída do modelo, ou logits. Esse processo ocorre no momento da inferência, após os pesos do modelo terem sido fixados pelo treinamento. A temperatura é aplicada dividindo esses logits por um valor de temperatura antes da etapa de softmax. Uma temperatura de 1,0 deixa a distribuição inalterada em relação ao que o modelo calculou. Uma temperatura abaixo de 1,0 afina a distribuição, tornando os tokens mais prováveis ainda mais propensos a serem escolhidos e reduzindo as chances de um token de baixa probabilidade aparecer; uma temperatura próxima de 0 aproxima-se de sempre escolher o token de maior probabilidade, às vezes chamado de decodificação gulosa. Uma temperatura acima de 1,0 achata a distribuição, dando aos tokens de menor probabilidade uma chance comparativamente melhor de serem selecionados, o que aumenta a variedade e a imprevisibilidade do resultado, mas também pode aumentar a chance de alucinação, já que um token menos provável, porém incorreto, torna-se mais provável de ser amostrado.
Relação com outros controles de amostragem
A temperatura geralmente é combinada com outros controles de decodificação em vez de usada isoladamente. A amostragem top-p, também chamada de amostragem de núcleo, restringe o modelo a escolher a partir do menor conjunto de tokens cuja probabilidade cumulativa excede um limite p, o que impede que a temperatura selecione ocasionalmente um token extremamente improvável, mesmo quando elevada. A amostragem top-k restringe de forma semelhante a amostragem a um número fixo dos tokens mais prováveis. Essas configurações interagem: uma temperatura alta combinada com uma restrição top-p ou top-k frouxa pode produzir texto que se torna incoerente, enquanto temperatura em ou perto de zero combinada com restrições rígidas produz saída altamente repetitiva e determinística, o que às vezes é desejável para tarefas como geração de código ou extração de dados, onde uma resposta única e consistente é preferida em vez de variação criativa.
Uso prático
Configurações de temperatura baixa ou zero são tipicamente usadas para tarefas que se beneficiam de consistência e correção, como resposta a perguntas factuais, extração de dados estruturados, cálculo matemático e geração de código, onde a variação na formulação não é valiosa e pode introduzir erros. Modelos de raciocínio que geram longas cadeias de raciocínio intermediário são frequentemente executados em temperatura baixa para manter esse processo estável. Configurações de temperatura mais alta são usadas para tarefas que se beneficiam de variedade, como brainstorming, escrita criativa, diálogo para chatbots ou personagens de jogos, e algumas aplicações de geração de texto para imagem, onde múltiplas saídas distintas do mesmo insumo podem ser úteis. Como a temperatura troca diretamente previsibilidade por variedade, é um assunto frequente em orientações de engenharia de prompts, e suítes de avaliação e benchmarks tipicamente fixam a temperatura em ou perto de zero para tornar os resultados reproduzíveis entre execuções. A temperatura não afeta o conhecimento subjacente ou a capacidade de raciocínio de um modelo; ela apenas muda como o modelo seleciona entre as saídas que seu treinamento já tornou plausíveis, razão pela qual aumentar a temperatura pode produzir respostas mais variadas, mas não mais precisas.