Melhores Práticas de Engenharia de Aplicações LLM

- Trate prompts como código: mantenha-os em arquivos versionados com nomes, versões e responsáveis, não em strings inline espalhadas pelo código. - Construa um conjunto de avaliação a partir de entradas reais de usuários antes de ajustar prompts, e execute-o novamente a cada mudança de prompt ou modelo. - Solicite saída estruturada com um esquema JSON ou chamadas de ferramenta e valide-a com uma biblioteca de esquema antes de usá-la. - Coloque um gateway ou wrapper fino em torno dos provedores de modelo, para que trocar de modelo ou adicionar fallbacks seja uma mudança de configuração. - Fixe versões exatas de modelos em produção e atualize-as deliberadamente após os evals passarem. - Transmita respostas ao usuário sempre que a saída for maior que uma frase ou duas. - Comece a recuperação com busca híbrida simples (palavras-chave mais embeddings) e adicione re-ranking antes de recorrer a pipelines RAG complexos. - Divida documentos ao longo de sua estrutura natural (títulos, seções) e mantenha metadados de origem para que as respostas possam citá-los. - Mantenha o contexto pequeno e relevante; mais texto recuperado muitas vezes piora as respostas, não melhora. - Dê aos agentes uma lista curta de ferramentas estreitas e bem descritas com esquemas de entrada rígidos, em vez de uma ferramenta que faz tudo. - Coloque limites rígidos nos loops de agentes: máximo de passos, máximo de tokens e um timeout de tempo real. - Exija confirmação humana antes de qualquer chamada de ferramenta que envie, exclua, pague ou altere dados fora do aplicativo. - Trate todos os documentos recuperados, páginas da web e resultados de ferramentas como entrada não confiável que pode conter injeção de prompt. - Registre cada chamada de modelo com versão do prompt, modelo, latência, contagens de tokens e custo, com dados do usuário redigidos. - Armazene em cache chamadas determinísticas e use cache de prompt para prompts de sistema longos e estáveis. - Use o menor modelo que passe nos evals, e roteie apenas casos difíceis para o modelo caro. - Repita em limites de taxa e erros transitórios com backoff exponencial e jitter, nunca em falhas de validação em um loop apertado. - Mantenha a temperatura baixa para extração e classificação, e mais alta apenas para geração criativa. - Mostre aos usuários de onde uma resposta veio e facilite relatar uma resposta ruim. - Colete feedback de positivo e negativo e alimente os casos ruins de volta ao conjunto de avaliação. - Não faça fine-tuning até que prompting, recuperação e evals tenham claramente atingido seus limites.