Alucinação, no contexto da inteligência artificial, refere-se à tendência de um modelo generativo, especialmente um modelo de linguagem de grande porte, de produzir afirmações que são confiantes e fluentes, mas factualmente incorretas, fabricadas ou sem suporte em seus dados de treinamento ou em qualquer fonte que lhe foi fornecida. O termo é emprestado de forma livre da psicologia humana e é objeto de algum debate entre pesquisadores, pois implica um erro perceptual em vez do processo mais mecânico pelo qual um modelo de linguagem gera texto.
Causas
Modelos de linguagem são treinados para prever continuações plausíveis de texto, não para verificar fatos, então um modelo não tem mecanismo embutido para distinguir uma afirmação bem fundamentada de uma inventada, mas fluente. A alucinação é mais provável quando um prompt pergunta sobre informações que apareceram raramente ou de forma inconsistente nos dados de treinamento, quando uma pergunta está fora da janela de contexto ou do corte de conhecimento de um modelo, ou quando um modelo é solicitado a citar fontes, datas ou números específicos que nunca foi treinado para memorizar com precisão, como citações de casos jurídicos ou referências acadêmicas. Alguns pesquisadores atribuem parte do problema ao RLHF, argumentando que treinar um modelo para soar confiante e satisfazer avaliadores humanos pode recompensar palpites fluentes em vez de admitir incerteza. A alucinação está intimamente relacionada ao problema mais amplo de fundamentação: um modelo treinado puramente em texto não tem conexão direta entre suas saídas e o estado do mundo, então nada em seu processo de treinamento garante precisão factual.
Incidentes notáveis
A alucinação passou de uma preocupação acadêmica para uma questão pública após o lançamento público do ChatGPT no final de 2022, que trouxe modelos de linguagem de grande porte para um público em massa. Em um caso amplamente noticiado em 2023, advogados em um processo federal de Nova York apresentaram uma petição contendo citações de casos fabricadas que o ChatGPT havia inventado, levando a sanções e chamando ampla atenção para o risco de confiar nas saídas do modelo sem verificação. Mecanismos de busca e assistentes que resumem resultados da web também produziram resumos alucinados, levando empresas a adicionar citações e ressalvas de confiança às respostas geradas por IA.
Mitigação
A mitigação mais amplamente implantada é a geração aumentada por recuperação, na qual um sistema recupera documentos relevantes no momento da consulta e instrui o modelo a basear sua resposta neles, reduzindo, mas não eliminando, a taxa de afirmações fabricadas. Outras abordagens incluem ajuste fino de um modelo especificamente para expressar incerteza calibrada, técnicas de prompting que pedem a um modelo para citar fontes ou mostrar seu raciocínio via cadeia de pensamento, e pipelines de verificação de fatos pós-hoc que verificam afirmações contra bancos de dados externos antes de mostrá-las a um usuário. Benchmarks e suítes de avaliação incluem cada vez mais a taxa de alucinação como uma métrica acompanhada junto com a capacidade geral, e alguns laboratórios relatam estatísticas de alucinação para novos lançamentos de modelos como parte de seu processo de avaliação.
Debate em andamento
Pesquisadores discordam sobre se a alucinação é um problema de engenharia solucionável ou uma propriedade inerente de como modelos de linguagem autorregressivos geram texto. Alguns argumentam que o escalonamento e melhores dados de treinamento reduzirão continuamente as taxas de alucinação, apontando para melhorias medidas em gerações sucessivas de modelos. Outros argumentam que, como um modelo de linguagem não tem uma etapa de verificação de verdade fundamental embutida em como gera cada token, alguma taxa de fabricação é inevitável sem ferramentas externas, e que o objetivo prático deve ser construir interfaces e fluxos de trabalho que assumam que a alucinação acontecerá e sejam projetados para detectá-la.