Flujo de trabajo de optimización de costos de IA: caché, enrutamiento y procesamiento por lotes

1/ Cachea la parte de tu prompt que nunca cambia. Si envías el mismo system prompt o base de conocimiento en cada llamada, pagas el precio completo por releer texto que nunca se movió. Anthropic te permite cachear ese prefijo estable. Las lecturas de caché cuestan el 10% de la entrada normal. Eso es un 90% de descuento en la parte repetitiva de cada llamada. 2/ Pero el caché solo funciona si el prefijo es idéntico. Cambia una palabra, incluso una marca de tiempo, y pagas el precio completo otra vez. Solución: pon lo estático primero (instrucciones, herramientas, documentos) y lo cambiante al final. El orden importa más de lo que la gente cree. 3/ Deja de reenviar toda la conversación. La mayoría de las apps reenvían todo el historial del chat en cada turno. Tu costo sube con cada mensaje. Resume turnos antiguos en un resumen breve y continuo. Mantén solo los últimos mensajes palabra por palabra. Un hilo de 40 mensajes puede funcionar con 5 líneas más los últimos 3 turnos. 4/ Recupera, no rellenes. Pegar toda tu base de conocimiento 'por si acaso' es como explotan las facturas. Extrae solo los 3 a 5 fragmentos que realmente coinciden con la pregunta. Pasas de 50,000 tokens de contexto a unos 2,000, y las respuestas se vuelven más precisas. 5/ Usa el modelo más pequeño que pueda hacer el trabajo. La mayoría de las solicitudes no necesitan tu modelo más grande. Envía clasificación, enrutamiento y respuestas cortas a un modelo más barato como Haiku. Guarda el modelo caro para el 10% difícil. 6/ Limita la salida. Los tokens de salida suelen costar más que los de entrada. Establece max_tokens y pide el formato exacto que quieres. 'Responde en una oración' es una palanca de costo, no solo una elección de estilo. 7/ Cachea la respuesta, no solo el prompt. Si 500 usuarios preguntan lo mismo en el FAQ, no necesitas 500 llamadas al modelo. Almacena respuestas comunes y sírvelas directamente desde tu propio caché. El token más barato es el que nunca envías. 8/ Procesa por lotes todo lo que no sea en tiempo real. Informes nocturnos, etiquetado de backlog, evaluaciones, migraciones de modelos. Nada de eso necesita respuesta instantánea. La API de Batch de Anthropic ofrece un 50% de descuento en entrada y salida, y la mayoría de los lotes terminan en menos de una hora. Combínalo con el caché de prompts y los ahorros de entrada pueden llegar a alrededor del 95%. 9/ Mide antes de optimizar. Cuenta los tokens antes de enviar. Registra el uso por función. Casi siempre encontrarás un prompt inflado que se come la mayor parte de la factura. Elimina ese primero. Cierre: El acceso ilimitado nunca fue el punto. Obtener el mismo resultado por una décima parte de los tokens lo es. Ese es todo el juego.