Um modelo autorregressivo é um modelo generativo que produz uma sequência um elemento por vez, com cada novo elemento condicionado a tudo que foi gerado antes dele. No processamento de linguagem natural, isso significa prever o próximo token dada a sequência de tokens já produzida e, em seguida, realimentar esse token para prever o próximo. O termo origina-se na estatística, onde modelos autorregressivos preveem um valor em uma série temporal a partir de seus próprios valores passados; os modernos modelos de linguagem de grande escala aplicam a mesma fatoração da esquerda para a direita ao texto.
A geração autorregressiva é a estratégia de decodificação padrão por trás da maioria dos assistentes de chat modernos construídos sobre modelos de linguagem de grande escala, desde a série GPT da OpenAI até o Claude da Anthropic e o Llama da Meta. Não é a única maneira de gerar sequências, mas, em 2025, continua sendo o paradigma dominante para texto, e variantes dela são usadas para áudio, código e até mesmo alguns modelos de imagem.
História
O modelo AR estatístico remonta a trabalhos da década de 1920 sobre séries temporais, muito antes de a computação existir. Na modelagem de linguagem, os modelos de n-gramas das décadas de 1980 e 1990 eram autorregressivos em espírito, prevendo uma palavra a partir de uma janela fixa de palavras anteriores usando probabilidades contadas. Modelos neurais autorregressivos de linguagem surgiram com redes neurais recorrentes e, posteriormente, com redes LSTM, que processavam uma sequência passo a passo e previam a próxima palavra em cada etapa. O paradigma foi transferido em grande parte sem alterações para a arquitetura transformer: o GPT-2 e seus sucessores são transformers somente decodificadores treinados para prever o próximo token, um objetivo às vezes chamado de modelagem de linguagem causal.
Como funciona
Durante o treinamento, um modelo autorregressivo é exposto a um corpus de texto e, em cada posição, é solicitado a prever o token seguinte dados todos os tokens anteriores, uma abordagem conhecida como aprendizado autossupervisionado porque os rótulos vêm do próprio texto, e não de anotação humana. A função de perda do modelo é tipicamente a entropia cruzada entre a distribuição prevista do próximo token e o token real seguinte. Na inferência, estratégias de amostragem como decodificação gulosa, top-k ou amostragem por núcleo determinam como o próximo token é escolhido a partir da distribuição de probabilidade prevista pelo modelo, e o token escolhido é anexado ao contexto antes da próxima previsão, um processo repetido até que um token de fim de sequência ou um limite de comprimento seja alcançado.
Autorregressivo versus outras abordagens
Modelos autorregressivos contrastam com abordagens não autorregressivas e baseadas em difusão. Modelos de difusão, usados para a maioria da geração de imagens e vídeos, produzem uma saída inteira de uma vez e a refinam iterativamente removendo ruído, em vez de gerar elemento por elemento. Alguns sistemas de pesquisa exploraram a geração de texto não autorregressiva por velocidade e, em meados da década de 2020, alguns laboratórios experimentaram modelos de texto baseados em difusão, mas nenhum havia deslocado a decodificação autorregressiva como abordagem mainstream para linguagem até 2025. Modelos de espaço de estados, como o Mamba, também são autorregressivos no sentido de prever sequencialmente, mas substituem o mecanismo de atenção do transformer por uma estrutura computacional diferente.
Limitações
A geração autorregressiva é inerentemente sequencial: cada token depende do anterior, o que limita o paralelismo na inferência em comparação com o treinamento, onde todas as posições podem ser calculadas de uma vez usando o teacher forcing. Esse gargalo sequencial motivou técnicas como decodificação especulativa, que usa um modelo rascunho menor para propor vários tokens que o modelo maior verifica em paralelo. Modelos autorregressivos também podem acumular pequenos erros: um token improvável ou incorreto no início de uma geração torna-se parte do contexto para todos os tokens subsequentes, uma dinâmica ligada à alucinação e à degradação da qualidade da saída em gerações muito longas.
Impacto
O objetivo autorregressivo de previsão do próximo token é central para a história da IA moderna: é simples, não requer dados rotulados e escala de forma previsível com dados e computação, uma relação estudada sob as leis de escala. Sua simplicidade é parte do motivo pelo qual um único objetivo de treinamento pôde produzir modelos capazes de tradução, codificação e raciocínio sem arquiteturas específicas para tarefas, uma generalidade posteriormente formalizada na ideia do modelo de fundação.