Em Machine learning, um corte de conhecimento (ou corte de dados) é o ponto no tempo além do qual um modelo de linguagem de grande porte não foi treinado com novos dados. Como os modelos de linguagem de grande porte são pré-treinados em instantâneos estáticos de dados coletados da internet, livros e outras fontes, o conhecimento de qualquer modelo é fixado naquilo em que foi treinado antes da implantação. Informações sobre eventos após essa data estão ausentes dos dados de treinamento do modelo, e o modelo não pode acessá-las sem um sistema de acesso a dados em tempo real, como a geração aumentada por recuperação, que busca novas informações em um banco de dados externo.
Os cortes de conhecimento podem introduzir limitações como alucinações, em que o modelo gera declarações confiantes, mas falsas, lacunas de informação e precisão reduzida em conhecimentos em evolução. Pesquisas mostraram que os cortes de conhecimento têm implicações críticas de segurança em domínios como saúde, onde conhecimento desatualizado pode levar a recomendações prejudiciais. No domínio clínico, modelos com um corte de conhecimento mais recente tiveram maior precisão em perguntas que refletiam diretrizes mais novas.
Descrição
Um modelo de linguagem de grande porte é treinado antes da implantação em instantâneos estáticos de dados coletados até uma data específica de corte de conhecimento. Durante o treinamento, um LLM pode aprender padrões linguísticos, semântica e significados contextuais. O modelo é então treinado para estimar a probabilidade de cada palavra candidata que poderia seguir uma frase dada, e usa essas probabilidades para gerar texto. Como seu conhecimento é congelado no ponto do treinamento, um modelo com um corte de conhecimento fixo não pode fornecer informações sobre fatos ou desenvolvimentos que surgiram depois, apenas com base em seu conhecimento pré-treinado. Alguns modelos podem recuperar informações mais recentes por meio de ferramentas de busca, mas seu julgamento permanece moldado pelos dados em que foram treinados. Perguntas sobre desenvolvimentos após o corte podem, portanto, receber respostas incompletas, desatualizadas ou incorretas.
Treinar os sistemas de IA mais avançados tornou-se cada vez mais caro; um estudo de 2024 de pesquisadores da Universidade de Stanford e da Epoch AI projetou que o custo de treinar os maiores sistemas de IA alcançaria bilhões até 2027. O modelo GPT-4 tem um corte de conhecimento de setembro de 2021, o modelo GPT-4 Turbo tem um corte de conhecimento de dezembro de 2023, e o modelo GPT-5 tem um corte de conhecimento de setembro de 2024. O GPT-OSS-120B tem um corte de conhecimento de maio de 2024, e o Llama 4 Maverick tem um corte de conhecimento de agosto de 2024.
Lacunas de Informação
Os cortes de conhecimento criam lacunas de informação. Os LLMs não têm conhecimento de eventos ou descobertas não incluídos em seus dados de treinamento. Como esses modelos são treinados para gerar a sequência de palavras mais provável com base em seus padrões de treinamento, eles podem produzir saídas confiantes, mas incorretas, quando consultados além dessa informação. Um estudo de Cacioli et al. criou um benchmark de 363 perguntas baseado em duas versões das diretrizes de tratamento da COVID-19 da Sociedade de Doenças Infecciosas da América. Modelos cujos cortes de conhecimento antecederam a diretriz mais nova, como GPT-3.5-Turbo e Llama-2, tiveram desempenho pior nessas perguntas (76,03 por cento e 35,26 por cento, respectivamente), enquanto modelos com cortes posteriores, como GPT-4o e Llama 3.3, tiveram mais de 90 por cento de precisão. O estudo concluiu que a atualidade da informação deve ser tratada como um atributo crítico de segurança, em pé de igualdade com alinhamento ou interpretabilidade, destacando as preocupações de segurança dos cortes de conhecimento na tomada de decisão clínica.
Datas Efetivas vs. Reportadas
Um estudo de Pęzik et al. na Universidade de Łódź indicou que o conhecimento de um modelo não corresponde necessariamente à sua data de corte. O corte efetivo, a data até a qual ele pode conhecer informações de forma confiável, muitas vezes difere por assunto e é influenciado pela distribuição de informações nos dados de treinamento; alguns tópicos podem refletir conhecimento posterior a outros, e conhecimento que antecede o corte pode estar ausente. Os dados de treinamento têm informações desiguais entre tópicos. Devido ao alto custo de retreinar modelos de linguagem de grande porte, os modelos raramente são retreinados para estender seu corte de conhecimento. Alguns modelos podem usar ferramentas de busca integradas para acessar informações mais recentes, o que torna incerto se uma resposta vem do treinamento original do modelo ou de uma busca ao vivo; o GPT-4 pode acessar sua ferramenta de busca e fornecer informações em tempo real.
Geração Aumentada por Recuperação
A geração aumentada por recuperação aumenta um modelo de linguagem de grande porte com dados atualizados de fontes externas, permitindo que ele gere respostas mais bem informadas. Na RAG, o modelo de linguagem é conectado a uma base de conhecimento externa ou mecanismo de busca para recuperar dados ao vivo. Isso permite que o modelo encontre informações atuais relevantes para uma consulta e as incorpore em sua resposta, com citações. Fundamentar um modelo em dados externos, que vincula as respostas do modelo às suas fontes recuperadas, ajuda a reduzir a frequência de alucinações e melhora a precisão da saída. A base de conhecimento externa pode estar desatualizada ou conter vieses, no entanto, o que pode levar a informações incorretas (ou alucinações). As Visões Gerais de IA do Google fizeram declarações falsas e forneceram resultados não confiáveis, pois o modelo pode interpretar mal as fontes que buscou ou falhar em recuperar fontes de alta qualidade. A recuperação sozinha não pode compensar totalmente um corte de conhecimento desatualizado; a compreensão fundamental do modelo está enraizada em seus dados de treinamento. Isso pode ser mitigado com técnicas como aprendizado por reforço com feedback humano, que alinha um modelo de IA com preferências humanas; essa técnica pode melhorar a qualidade e a confiabilidade das respostas de um modelo de linguagem de grande porte.
Aprendizado Incremental
Outra abordagem é o aprendizado incremental (ou aprendizado contínuo), um método de aprendizado de máquina no qual novos dados são usados continuamente para estender o conhecimento do modelo existente. Ele visa prevenir o esquecimento catastrófico, em que a IA esquece abruptamente o que aprendeu. Na prática, no entanto, muitas vezes falha em prevenir completamente o esquecimento catastrófico. Essa técnica permite atualizações incrementais e eficientes em um modelo sem o custo de um ciclo completo de retreinamento. Uma técnica de aprendizado contínuo é o ajuste fino, que permite que laboratórios de IA ajustem precisamente o comportamento de um modelo. Um método mais eficiente de ajuste fino envolve métodos como a Adaptação de Baixa Classificação. Isso não fornece consciência em tempo real, no entanto, pois adicionar módulos ao sistema pode resultar em esquecimento catastrófico à medida que os pesos no modelo se tornam enviesados em favor do novo conjunto de dados.