Geração aumentada por recuperação, comumente abreviada como RAG, é uma técnica na qual um modelo de linguagem de grande porte é emparelhado com um sistema de recuperação que busca texto relevante de uma fonte externa antes de o modelo gerar sua resposta. Em vez de depender apenas do conhecimento codificado em seus parâmetros durante o pré-treinamento, o modelo recebe passagens recuperadas no momento da consulta, tipicamente inseridas em seu contexto de entrada, e é solicitado a responder usando esse material fornecido. A abordagem permite que um modelo de propósito geral responda a perguntas sobre conteúdo no qual nunca foi treinado, incluindo documentos privados, eventos recentes ou grandes corpora grandes demais para caber de uma vez em um contexto de janela.
A técnica foi introduzida sob o nome RAG em um artigo de 2020 por pesquisadores da Meta AI (então Facebook AI Research), que combinou um modelo de linguagem sequência-a-sequência pré-treinado com um recuperador denso de passagens, mostrando que a recuperação melhorava a precisão factual em tarefas intensivas em conhecimento em comparação com um modelo puramente paramétrico. A ideia baseou-se em pesquisas mais antigas de recuperação de informação e resposta a perguntas, mas o enquadramento RAG a vinculou especificamente a modelos generativos de transformadores e tornou-se o termo padrão na indústria à medida que assistentes de chat e produtos de busca empresarial adotaram o padrão a partir de 2022.
Arquitetura
Um pipeline RAG típico tem dois estágios. No estágio de recuperação, uma consulta é convertida em uma representação numérica, um vetor de incorporação, e comparada contra um índice pré-computado de vetores para uma coleção de documentos, mais frequentemente armazenado em um banco de dados vetorial para busca eficiente de vizinhos mais próximos; este estágio está intimamente relacionado à busca semântica, que recupera por significado em vez de correspondência exata de palavras-chave. No estágio de geração, as passagens mais bem classificadas são inseridas no contexto do modelo junto com a pergunta original do usuário, e o modelo produz uma resposta condicionada a esse contexto recuperado, usando sua habilidade geral de linguagem enquanto é direcionado para os fatos específicos fornecidos. Muitos sistemas de produção adicionam etapas adicionais, como reclassificar passagens recuperadas com um modelo separado, dividir documentos em segmentos sobrepostos ou emitir múltiplas consultas de recuperação para perguntas complexas.
Motivação: alucinação e atualidade
RAG é amplamente usado como uma mitigação para alucinação, a tendência de modelos de linguagem de gerar afirmações plausíveis, mas falsas ou sem suporte. Como o conhecimento paramétrico de um modelo é fixado no final do pré-treinamento e pode estar desatualizado, incompleto ou simplesmente ausente para tópicos de nicho e privados, fundamentar uma resposta em texto-fonte recuperado permite que o modelo cite passagens específicas e reduz (embora não elimine) a taxa de afirmações fabricadas. Também permite que o mesmo modelo seja aplicado a muitos conjuntos de dados privados, como a documentação interna de uma empresa ou os arquivos de um cliente, sem qualquer ajuste fino, já que o índice de recuperação pode ser trocado ou atualizado independentemente do próprio modelo.
Aplicações e limitações
RAG sustenta a maioria dos produtos empresariais de "converse com seus documentos", assistentes de suporte ao cliente fundamentados em uma base de conhecimento e assistentes de codificação que recuperam arquivos ou documentação relevantes antes de responder. Também é um componente arquitetural comum de sistemas de agentes de IA, onde um agente pode emitir chamadas de recuperação como uma de várias ações disponíveis durante uma tarefa de múltiplas etapas. As limitações incluem sensibilidade à qualidade da recuperação, já que um modelo ainda pode alucinar ou responder incorretamente se as passagens recuperadas forem irrelevantes ou incompletas; a latência e a infraestrutura adicionais de manter um índice; e o fato de que a recuperação só ajuda quando a informação necessária existe em algum lugar no corpus indexado. À medida que as janelas de contexto cresceram para centenas de milhares de tokens, alguns profissionais debateram se simplesmente fornecer documentos inteiros diretamente no contexto pode substituir a recuperação em certos casos, embora RAG permaneça a abordagem padrão para corpora grandes demais para caber no contexto e para manter grandes coleções de documentos pesquisáveis e atualizadas sem reprocessamento repetido.