Pré-treinamento é a primeira e tipicamente a fase mais cara computacionalmente do treinamento de um modelo de IA moderno, na qual um modelo aprende padrões estatísticos amplos a partir de um corpus geral e extenso usando um objetivo de treinamento genérico, antes de qualquer adaptação para uma tarefa downstream específica ocorrer. Para modelos de linguagem de grande porte, o pré-treinamento quase sempre significa aprendizado autossupervisionado: o modelo recebe quantidades massivas de texto e é treinado para prever um token dado seu contexto circundante, mais comumente o próximo token em uma sequência, um objetivo que não requer rótulos fornecidos por humanos, já que a "resposta" é simplesmente a próxima palavra no texto existente.
Por que o pré-treinamento funciona
A percepção por trás do pré-treinamento é que prever o próximo token com precisão em um corpus enorme e variado força um modelo a aprender implicitamente gramática, fatos, padrões de raciocínio e até mesmo algum conhecimento rudimentar de mundo, porque todos esses elementos são úteis para reduzir o erro de previsão. Um modelo treinado dessa forma é chamado de modelo base ou modelo fundacional e, antes de qualquer adaptação adicional, comporta-se em grande parte como um mecanismo de conclusão de texto altamente capaz, em vez de um assistente que segue instruções. A terminologia modelo fundacional, cunhada por pesquisadores de Stanford em 2021, reflete o fato de que um único modelo pré-treinado pode servir como ponto de partida para muitas aplicações downstream diferentes por meio de ajuste fino ou aprendizado em contexto.
Escala e custo
O pré-treinamento é dominado por leis de escala, relações empíricas que mostram que a perda de um modelo diminui de forma previsível à medida que a quantidade de computação de treinamento, dados e parâmetros aumenta em conjunto, seguindo a estrutura estabelecida por pesquisadores da OpenAI em 2020 e refinada pelo artigo Chinchilla da DeepMind em 2022, que argumentou que muitos modelos anteriores eram subtreinados em relação ao seu tamanho e que dados e parâmetros deveriam escalar juntos. Execuções de pré-treinamento para os maiores modelos de fronteira consomem na ordem de milhares de GPUs ou TPUs rodando por semanas ou meses, com custos relatados na casa das dezenas ou centenas de milhões de dólares, e exigem corpora de treinamento construídos a partir de fontes como Common Crawl e conjuntos de dados licenciados ou proprietários.
Do pré-treinamento a um assistente utilizável
Um modelo base recém-pré-treinado ainda não é adequado como assistente conversacional: ele continuará um prompt no estilo que parecer estatisticamente provável, em vez de responder a uma pergunta diretamente ou recusar uma solicitação insegura. Transformar um modelo base em um produto como ChatGPT ou Claude requer estágios adicionais de pós-treinamento, tipicamente ajuste fino supervisionado em pares curados de instrução-resposta, seguido por uma etapa de alinhamento de preferência, como RLHF ou otimização direta de preferência. O pré-treinamento, no entanto, fornece a grande maioria do conhecimento bruto e da capacidade de um modelo; o pós-treinamento principalmente molda como essa capacidade é expressa e controlada.
Tendências e questões em aberto
Como o pré-treinamento depende de quantidades cada vez maiores de texto, pesquisadores levantaram preocupações sobre uma iminente "parede de dados", o ponto em que o fornecimento de texto de alta qualidade gerado por humanos se esgota em relação ao que as leis de escala exigem, gerando interesse crescente em dados sintéticos gerados pelos próprios modelos e em pré-treinamento multimodal que incorpora imagens, áudio e vídeo junto com texto. Os objetivos de pré-treinamento também se diversificaram além da simples previsão do próximo token, com algumas abordagens incorporando denoising, previsão de token mascarado como usado pelo BERT, ou objetivos contrastivos multimodais semelhantes ao CLIP. Apesar dessas variações, a previsão do próximo token sobre texto em escala web permanece a receita dominante de pré-treinamento por trás da maioria dos modelos de linguagem de grande porte implantados em meados da década de 2020.