Fluxo de Otimização de Custos de IA: Cache, Roteamento e Lote

1/ Traduza este corpo de IA para o português brasileiro. Mantenha espaços reservados como [X]/{x}, parâmetros de flags (--ar 16:9), código e nomes de marcas VERBATIM; para prompts JSON, mantenha a estrutura e as chaves e traduza apenas os valores legíveis por humanos. NUNCA use travessões (use hífen - ). Produza SOMENTE a tradução. 2/ Armazene em cache a parte do seu prompt que nunca muda. Se você enviar o mesmo prompt de sistema ou base de conhecimento em todas as chamadas, você paga o preço total para reler texto que nunca mudou. A Anthropic permite armazenar em cache esse prefixo estável. Leituras de cache custam 10% da entrada normal. Isso é 90% de desconto na parte repetida de cada chamada. 3/ Mas o cache só funciona se o prefixo for idêntico. Mude uma palavra, até um único timestamp, e você paga o preço total novamente. Solução: coloque o conteúdo estático primeiro (instruções, ferramentas, documentos) e o conteúdo variável por último. A ordem importa mais do que as pessoas pensam. 4/ Pare de reenviar a conversa inteira. A maioria dos aplicativos reenvia todo o histórico do chat a cada turno. Seu custo aumenta a cada mensagem. Resuma turnos antigos em um resumo curto e contínuo. Mantenha apenas as últimas mensagens palavra por palavra. Um thread de 40 mensagens pode rodar com 5 linhas mais as últimas 3 mensagens. 5/ Recupere, não acumule. Colar sua base de conhecimento inteira "por precaução" é como as contas explodem. Puxe apenas os 3 a 5 trechos que realmente correspondem à pergunta. Você vai de 50.000 tokens de contexto para cerca de 2.000, e as respostas ficam mais precisas. 6/ Use o menor modelo que consiga fazer o trabalho. A maioria das solicitações não precisa do seu maior modelo. Envie classificação, roteamento e respostas curtas para um modelo mais barato como o Haiku. Reserve o modelo caro para os casos difíceis, que são cerca de 10%. 7/ Limite a saída. Tokens de saída geralmente custam mais que os de entrada. Defina max_tokens e peça o formato exato que você quer. "Responda em uma frase" é uma alavanca de custo, não apenas de estilo. 8/ Armazene em cache a resposta, não apenas o prompt. Se 500 usuários fazem a mesma pergunta frequente, você não precisa de 500 chamadas de modelo. Guarde respostas comuns e sirva-as diretamente do seu próprio cache. O token mais barato é aquele que você nunca envia. 9/ Agrupe tudo que não é em tempo real. Relatórios noturnos, processamento de filas, avaliações, migrações. Nada disso precisa de resposta instantânea. A API Batch da Anthropic custa 50% menos em entrada e saída, e a maioria dos lotes termina em menos de uma hora. Combine com cache de prompt e a economia de entrada pode chegar a cerca de 95%. 10/ Meça antes de otimizar. Conte tokens antes de enviar. Registre o uso por recurso. Você quase sempre vai encontrar um único prompt inchado consumindo a maior parte da conta. Mate esse primeiro. Fechamento: Acesso ilimitado nunca foi o objetivo. Obter o mesmo resultado por um décimo dos tokens é. Esse é o jogo inteiro.