Avaliações de IA Explicadas: Do Básico aos Agentes de Autoaperfeiçoamento

Modo Fácil: O que é um eval - Um eval é um teste para ver se o que um agente de IA fez está certo - O segredo em 'certo' é codificar o que você / sua organização acha que é certo em software - Exemplo: agente de GTM que registra a reunião com o cliente, escreve o rascunho do follow-up e para antes de enviar - Nesse contexto, um eval pode verificar se a reunião com o cliente foi registrada, se o rascunho do follow-up foi escrito, se o agente pausou antes de enviar - Evals não são realmente novos, são apenas uma versão evoluída de testes de unidade, algo que sempre existiu em software - A receita para configurar um eval é na verdade bem simples: agente + sistema + tarefas + verificador - No exemplo do agente de GTM, você tem seu agente, acesso de leitura/escrita ao Salesforce, um conjunto de tarefas (como atualizar status do lead, registrar chamada, escrever follow-up) e um verificador (ferramenta cujo trabalho é determinar se a tarefa foi feita certo ou errado) - Verificadores podem ser uma função simples em Python ou verificações de conteúdo/prosa - Rubricas são uma ótima maneira de codificar o que é bom para tarefas não verificáveis, para que os verificadores ainda funcionem - Uma vez criadas as rubricas, se o agente não performar, a causa raiz pode ser: checklist incompleto, modelo não inteligente o suficiente, contexto ruim/incompleto ou prompt não bom o suficiente Modo Difícil: O que são Ambientes de Agente - Ambiente = lugar onde um agente faz trabalho e medimos como ele performa - Ambientes se tornaram necessários à medida que mudamos da era ChatGPT de texto entra, texto sai para a era agêntica de prompt entra, trabalho no mundo real sai - Exemplo: para Claude Code/Codex, quando eles trabalham no seu computador, o ambiente são arquivos, navegador, e-mail, apps, permissões - Quando você constrói ambientes de agente hoje = recriações/simulações de ferramentas existentes que parecem reais para o agente, mas não são reais (não vão sobrescrever produção) - Basicamente, você quer testar quão performáticos seus agentes são sem mexer em sistemas/dados ao vivo da sua empresa - Necessidades ao construir agentes + evals: (1) gerenciar tarefas por time (GTM ≠ SWE), (2) ambientes específicos por time, (3) rodar em escala sem construir toda a infraestrutura você mesmo - Ferramenta popular para configurar ambientes de agente é um framework open source chamado Harbor, que fornece todas as abstrações de ambiente de agente necessárias para rodar evals, para que você não gerencie tudo, mas possa ir a baixo nível quando necessário - Primitivas do Harbor cobrem: construção de ambiente, construção de verificador, construção de instrução, infraestrutura de sandbox - Caminho para iniciantes: pegue um eval existente no formato Harbor → peça ao Claude Code/Codex para explicar → ajuste para seu agente - LangSmith Engine: faça evals em escala; UI para pessoas que podem julgar saídas boas/ruins e querem dar feedback sem viver em código - Valide ambientes rodando múltiplos agentes/modelos reais neles (ex: frontier + GLM + Qwen pequeno) e procurando padrões estranhos - Engenharia de ambiente é iterativa como engenharia de agente; humanos constroem e revisam saídas - Para fazer evals em escala, você precisa de uma suíte de evals. Uma suíte de evals é uma coleção de tarefas de agente que você roda como empresa. Cada tarefa é composta por um prompt de entrada, um verificador e o ambiente. - Sempre que um novo modelo sair, você roda sua suíte de evals (ou uma seleção de tarefas da suíte) e pondera os tradeoffs de custo vs. velocidade vs. inteligência Modo Deus: O que é um agente auto-melhorável - Ciclo contínuo de agente no mundo real → dados de produção → transformar produção em evals (e usar evals para melhorar) → melhorar continuamente o agente - Opinião forte: se seu time é muito bom em transformar dados de produção em evals, você pode melhorar agentes continuamente - Evals existem para encontrar falhas; depois mude o agente para que essa falha nunca mais aconteça - Dois baldes de melhoria: engenharia de harness & fine-tuning de um modelo pequeno - Engenharia de harness: (lugar barato para começar): ajustar prompts, definições/descrições de ferramentas, escolha de modelo, combinações de modelo (ex: Sol+Opus, GLM+Opus) - Fine-tune (na sua tarefa de produção estreita): modelos abertos + infraestrutura de fine-tune existem; pode igualar Opus *naquela* tarefa por ~10x mais barato; agente de GTM não precisa de matemática de fronteira - Modo Deus = coletar dados reais de produção → transformar em evals/ambientes → escolher como melhorar (harness primeiro; depois ter inteligência fine-tunada própria para tarefas específicas) - Gargalo muitas vezes é humano atualizando verificadores/rubricas - Duas perguntas para autonomia: como girar mais rápido; pode rodar sem humano no loop? - Objetivo: minimizar pontos de contato humano no loop - Agent Traces são o primeiro passo prático para organizações usando agentes - Trace = log de cada ação: chamadas de ferramenta - Humanos não conseguem raciocinar bem sobre o que um agente *vai* fazer; olhar comportamento ao vivo (também conhecido como traces) torna certo/errado óbvio - Ver um resultado ruim → ler traces (recibos) → encontrar o passo errado → mudar o agente para que não repita - Pontos de contato humano diminuem a cada lançamento de modelo mais inteligente - Papel humano nº 1 hoje (no início): explicar ao agente de mineração/melhoria o que é bom vs. ruim (prompt de comportamentos para procurar); principalmente no início com algumas edições ao longo do tempo - Então um agente pode encontrar chamadas de ferramenta falhas, falhas de seguir instruções, etc., e propor melhorias (novo prompt, ferramenta nova/diferente, etc.) - Com uma boa suíte de evals ou boa medição de mau comportamento em produção, um agente rodando durante a noite pode ser muito bom em propor correções - Papel humano nº 2: ao transformar produção em evals/ambientes, revisar o que a *empresa* considera importante - Ação organizacional de maior alavancagem: humanos escrevendo o que é bom