Um modelo de linguagem de grande porte (LLM) é uma rede neural, tipicamente construída sobre a arquitetura transformador, treinada com quantidades muito grandes de texto para prever a próxima unidade de texto, ou token, em uma sequência. Apesar desse objetivo de treinamento restrito, LLMs treinados em escala suficiente exibem amplas habilidades em compreensão de linguagem, geração, tradução, sumarização e raciocínio, e formam a base técnica de assistentes como ChatGPT, Claude (AI model family) e Gemini.
História
Modelos de linguagem baseados em transformadores surgiram logo após a introdução da arquitetura em 2017. O BERT (2018) demonstrou o valor do pré-treinamento em larga escala para tarefas de compreensão de linguagem, enquanto a série GPT da OpenAI buscou treinamento generativo e autorregressivo em escala crescente, culminando no GPT-3 (2020), cujos 175 bilhões de parâmetros e forte desempenho em aprendizado de poucos exemplos atraíram ampla atenção. O GPT-4 (2023) estendeu o paradigma com entrada multimodal e capacidade muito maior, e o lançamento do ChatGPT em novembro de 2022, construído sobre o modelo GPT-3.5, trouxe LLMs conversacionais ao uso mainstream, impulsionando a entrada rápida de concorrentes, incluindo a família Gemini do Google e a série Llama de pesos abertos da Meta.
Como funcionam
Os LLMs são treinados em uma fase de pré-treinamento em corpora de texto vastos e em grande parte não curados, usando um objetivo autossupervisionado, aprendendo a prever o próximo token dado o contexto anterior. Isso produz um modelo autorregressivo capaz de gerar texto fluente um token por vez. Modelos "base" pré-treinados são tipicamente adaptados ainda mais por meio de ajuste fino e aprendizado por reforço a partir de feedback humano para seguir instruções e conversar com segurança, um processo central para modelos como ChatGPT e Claude. A quantidade de texto que um modelo pode processar em uma interação é limitada por sua janela de contexto, que cresceu de cerca de alguns milhares de tokens nos primeiros modelos para mais de um milhão em alguns sistemas da era de 2025.
Escala e capacidade
Relações empíricas conhecidas como leis de escala descrevem como a perda de um modelo melhora de forma previsível à medida que seu número de parâmetros, dados de treinamento e computação aumentam juntos. Algumas capacidades, como aritmética de múltiplas etapas ou seguir instruções complexas, parecem emergir de forma relativamente abrupta além de certos limiares de escala, um fenômeno chamado habilidades emergentes, embora pesquisadores disputem quanto disso é uma propriedade real dos modelos versus um artefato de como as capacidades são medidas.
Limitações
Os LLMs são propensos a alucinação, produzindo declarações fluentes, mas factualmente incorretas, sem nenhum sinal para o usuário de que a saída não é confiável. Como geram texto com base em padrões estatísticos aprendidos, em vez de conhecimento verificado, também podem reproduzir vieses presentes nos dados de treinamento e permanecem vulneráveis a técnicas de prompting adversário, como jailbreaks. As mitigações incluem fundamentar as saídas em documentos externos recuperados, uma técnica conhecida como geração aumentada por recuperação, e, cada vez mais, "modelos de raciocínio" que usam computação adicional em tempo de teste para verificar seu próprio trabalho antes de responder.