Compute em tempo de teste refere-se à quantidade de computação que um modelo realiza ao produzir uma resposta, em contraste com a computação gasta durante o treinamento. Durante a maior parte da era do aprendizado profundo, os ganhos de capacidade vieram quase inteiramente do aumento do treinamento: mais parâmetros, mais dados, mais computação de treinamento, conforme descrito pelas leis de escala. O compute em tempo de teste trata a inferência em si como uma segunda alavanca. Um modelo pode ser levado a pensar por mais tempo, explorar mais respostas candidatas ou verificar o próprio trabalho antes de retornar uma resposta, e cada uma dessas ações custa computação adicional no momento do uso, em vez de no momento do treinamento.
A abordagem entrou no uso mainstream com o OpenAI o1, lançado pela OpenAI em setembro de 2024. Diferentemente dos chatbots anteriores, ajustados para responder rapidamente em uma única passagem, o o1 foi treinado para gerar uma cadeia estendida e amplamente oculta de raciocínio interno antes de produzir uma resposta final, e sua precisão em benchmarks de matemática, programação e lógica melhorou de forma mensurável à medida que mais tokens de raciocínio eram permitidos. Isso estabeleceu o modelo de raciocínio como uma categoria distinta de modelo de linguagem de grande porte, e concorrentes, incluindo o DeepSeek-R1 e as variantes "Thinking" do Gemini do Google, seguiram dentro de aproximadamente um ano.
Mecanismos
O compute em tempo de teste pode ser gasto de várias maneiras. A mais simples é a geração mais longa de cadeia de pensamento: o modelo escreve etapas intermediárias de raciocínio como tokens de texto antes de se comprometer com uma resposta, e permitir mais tokens geralmente melhora o desempenho em tarefas com uma resposta correta clara, como aritmética ou correção de código. Uma segunda família de técnicas amostra múltiplas respostas independentes e seleciona a melhor, seja por votação majoritária (autoconsistência) ou pela pontuação de candidatos com um verificador separado ou modelo de recompensa, às vezes organizada como uma busca em árvore sobre soluções parciais. Uma terceira abordagem revisa: o modelo produz um rascunho, critica-o e o regenera, gastando passagens extras para capturar erros em vez de se comprometer com a primeira saída.
Esses métodos diferem das técnicas de aprendizado em contexto e de prompting que vieram antes principalmente em quem controla o compute extra. Técnicas de prompting, como exemplos de aprendizado com poucos exemplos, pedem que um modelo use seus pesos existentes de forma mais eficaz; métodos de compute em tempo de teste, especialmente em modelos treinados com aprendizado por reforço em recompensas verificáveis, permitem que o próprio modelo decida quanta deliberação interna um determinado problema exige, em princípio gastando pouco compute em questões fáceis e muito mais em questões difíceis.
Economia e trade-offs
Como os modelos de raciocínio podem consumir muitas vezes mais tokens por resposta do que um modelo de chat padrão, o compute em tempo de teste reintroduz um trade-off de custo e latência que a escala de pré-treinamento havia empurrado em grande parte para o lado: laboratórios e usuários agora podem comprar precisão diretamente, no momento da inferência, pagando por mais pensamento. Isso tem consequências práticas para o design de produtos, já que um agente de programação ou assistente de pesquisa construído sobre um modelo de raciocínio pode levar dezenas de segundos ou minutos para responder a uma consulta difícil, e o preço da API para esses modelos normalmente reflete tanto o comprimento da saída quanto um prêmio por token.
Recepção e questões em aberto
Pesquisadores têm debatido como o compute em tempo de teste se relaciona com o raciocínio genuíno versus uma forma mais cara de correspondência de padrões, e resultados em benchmarks como o ARC-AGI foram usados em ambos os lados desse argumento: modelos de raciocínio melhoraram as pontuações substancialmente em relação às gerações anteriores, mas o desempenho ainda degrada em problemas que exigem padrões de raciocínio não bem representados nos dados de treinamento. Alguns laboratórios descrevem o escalonamento do compute em tempo de teste como um novo eixo comparável em importância às leis de escala originais, com a expectativa de que ganhos adicionais virão de busca e verificação mais eficientes, em vez de cadeias de pensamento puramente mais longas. Outros observam que os ganhos do compute de inferência adicional mostram retornos decrescentes após um certo ponto, e que a técnica é melhor compreendida como um complemento, e não um substituto, para a escala de pré-treinamento e o ajuste fino. Até 2025, o compute em tempo de teste também se tornou central para alegações competitivas sobre cronogramas de inteligência artificial geral, já que ganhos de precisão específicos de problemas a partir de "pensar por mais tempo" deram aos laboratórios um novo dial de capacidade facilmente comercializável, distinto das contagens de parâmetros de destaque.