Mejores prácticas de ingeniería de aplicaciones LLM

- Trata los prompts como código: mantenlos en archivos controlados por versiones con nombres, versiones y propietarios, no como cadenas dispersas en el código. - Construye un conjunto de evaluación a partir de entradas reales de usuarios antes de ajustar prompts, y vuelve a ejecutarlo en cada cambio de prompt o modelo. - Solicita salida estructurada con un esquema JSON o llamadas a herramientas y valídala con una biblioteca de esquemas antes de usarla. - Coloca una pasarela o envoltorio delgado alrededor de los proveedores de modelos para que cambiar de modelo o agregar respaldos sea un cambio de configuración. - Fija versiones exactas de modelos en producción y actualízalas deliberadamente después de que las evaluaciones pasen. - Transmite respuestas al usuario siempre que la salida sea más larga que una o dos frases. - Comienza la recuperación con búsqueda híbrida simple (palabras clave más incrustaciones) y agrega reordenamiento antes de recurrir a pipelines RAG complejos. - Divide los documentos según su estructura natural (encabezados, secciones) y mantén metadatos de origen para que las respuestas puedan citarlos. - Mantén el contexto pequeño y relevante; más texto recuperado a menudo empeora las respuestas, no las mejora. - Da a los agentes una lista corta de herramientas estrechas y bien descritas con esquemas de entrada estrictos en lugar de una herramienta que haga todo. - Pon límites duros en los bucles de agentes: pasos máximos, tokens máximos y un tiempo de espera de reloj de pared. - Requiere confirmación humana antes de cualquier llamada a herramienta que envíe, elimine, pague o cambie datos fuera de la aplicación. - Trata todos los documentos recuperados, páginas web y resultados de herramientas como entrada no confiable que puede contener inyección de prompts. - Registra cada llamada al modelo con versión de prompt, modelo, latencia, recuentos de tokens y costo, con datos de usuario redactados. - Almacena en caché llamadas deterministas y usa caché de prompts para prompts de sistema largos y estables. - Usa el modelo más pequeño que pase las evaluaciones, y enruta solo casos difíciles al modelo caro. - Reintenta en límites de tasa y errores transitorios con retroceso exponencial y jitter, nunca en fallos de validación en un bucle cerrado. - Mantén la temperatura baja para extracción y clasificación, y más alta solo para generación creativa. - Muestra a los usuarios de dónde proviene una respuesta y facilita informar una respuesta mala. - Recopila comentarios de pulgar arriba y pulgar abajo y alimenta los casos malos de vuelta al conjunto de evaluación. - No ajustes finamente hasta que los prompts, la recuperación y las evaluaciones hayan alcanzado claramente sus límites.