Um modelo de raciocínio é um modelo de linguagem de grande porte treinado, tipicamente com aprendizado por reforço, para gerar uma sequência interna estendida de etapas de raciocínio antes de produzir uma resposta final, em vez de responder imediatamente como faziam os modelos de gerações anteriores. A categoria se distingue do encadeamento de pensamento comum, que pede a um modelo treinado convencionalmente que raciocine passo a passo por meio de instruções no prompt, porque um modelo de raciocínio é treinado especificamente para produzir e melhorar seu próprio processo de raciocínio, e frequentemente gera muito mais texto intermediário do que um modelo orientado por prompt geraria.
Origens
A OpenAI introduziu o primeiro modelo de raciocínio amplamente conhecido, o OpenAI o1, em setembro de 2024, descrevendo-o como treinado para "pensar" antes de responder, usando aprendizado por reforço em problemas com respostas verificáveis, como matemática e programação, onde uma resposta final correta pode ser verificada automaticamente. A OpenAI manteve em grande parte oculta a cadeia interna de raciocínio do o1 dos usuários, mostrando apenas uma versão resumida, uma decisão que a empresa disse ter como objetivo preservar a capacidade do modelo de raciocinar livremente, incluindo explorar caminhos incorretos, sem que esse raciocínio não refinado fosse tomado como uma resposta final e endossada. A abordagem produziu ganhos substanciais de precisão em benchmarks que exigem raciocínio de múltiplas etapas, incluindo matemática competitiva e tarefas de codificação, como o SWE-bench.
DeepSeek-R1 e modelos de raciocínio abertos
Em janeiro de 2025, o laboratório chinês DeepSeek lançou o DeepSeek-R1, um modelo de raciocínio de pesos abertos treinado com aprendizado por reforço em larga escala que igualou ou se aproximou do desempenho dos modelos de raciocínio da OpenAI em vários benchmarks a uma fração do custo de treinamento relatado e, ao contrário do o1, expôs toda a sua cadeia de raciocínio aos usuários. O lançamento desencadeou o que ficou conhecido como choque de mercado da DeepSeek, provocando uma grande liquidação em ações de infraestrutura de IA e uma reavaliação mais ampla das suposições sobre o poder computacional necessário para treinar um modelo de raciocínio de nível de fronteira. A DeepSeek também lançou versões destiladas menores do R1, tornando o comportamento de estilo de raciocínio disponível em modelos baratos o suficiente para rodar em hardware modesto.
Computação em tempo de teste
A troca definidora dos modelos de raciocínio é que eles podem converter computação adicional em tempo de teste, ou seja, mais computação gasta no momento de responder em vez de durante o treinamento, em maior precisão em problemas difíceis. Isso difere da relação de escalonamento tradicional descrita pelas leis de escalonamento, que se concentravam no tamanho do modelo, nos dados de treinamento e na computação de treinamento; os modelos de raciocínio adicionaram um eixo adicional ao longo do qual a capacidade poderia ser melhorada sem treinar um modelo novo e maior. Pesquisadores, incluindo Noam Brown, que trabalhou em sistemas de raciocínio e jogos estratégicos antes de se juntar ao esforço de modelo de raciocínio da OpenAI, enquadraram isso como análogo à maneira como um especialista humano com mais tempo para pensar produz melhores respostas do que alguém forçado a responder instantaneamente.
Avaliação e limites
Os modelos de raciocínio têm desempenho especialmente bom em tarefas com respostas objetivamente verificáveis, o que direcionou sua avaliação para benchmarks como ARC-AGI e matemática competitiva, em vez de tarefas mais subjetivas de escrita ou conversação, onde o benefício do raciocínio estendido é menos consistente e o tempo de inferência e o custo adicionais são mais difíceis de justificar. Os modelos de raciocínio também permanecem sujeitos ao mesmo risco de alucinação que outros modelos de linguagem, já que um raciocínio mais longo não garante uma resposta final factualmente correta e, ocasionalmente, pode produzir traços de raciocínio que soam rigorosos enquanto incorporam uma etapa incorreta.