Meilleures pratiques d'ingénierie d'applications LLM

- Traitez les invites comme du code : conservez-les dans des fichiers versionnés avec des noms, versions et propriétaires, et non comme des chaînes en ligne dispersées. - Construisez un ensemble d'évaluation à partir de saisies utilisateur réelles avant d'ajuster les invites, et réexécutez-le à chaque modification d'invite ou de modèle. - Demandez une sortie structurée avec un schéma JSON ou des appels d'outils, et validez-la avec une bibliothèque de schémas avant de l'utiliser. - Placez une passerelle fine ou un wrapper autour des fournisseurs de modèles pour que changer de modèle ou ajouter des replis soit un changement de configuration. - Épinglez des versions de modèles exactes en production et mettez-les à niveau délibérément après que les évaluations réussissent. - Diffusez les réponses à l'utilisateur chaque fois que la sortie est plus longue qu'une phrase ou deux. - Commencez la récupération avec une recherche hybride simple (mots-clés plus embeddings) et ajoutez un reclassement avant d'atteindre des pipelines RAG complexes. - Segmentez les documents selon leur structure naturelle (titres, sections) et conservez les métadonnées de source afin que les réponses puissent les citer. - Gardez le contexte petit et pertinent ; plus de texte récupéré rend souvent les réponses pires, pas meilleures. - Donnez aux agents une courte liste d'outils étroits et bien décrits avec des schémas d'entrée stricts au lieu d'un outil qui fait tout. - Mettez des limites strictes sur les boucles d'agents : nombre maximal d'étapes, nombre maximal de jetons et un délai d'expiration en temps réel. - Exigez une confirmation humaine avant tout appel d'outil qui envoie, supprime, paie ou modifie des données en dehors de l'application. - Traitez tous les documents récupérés, pages web et résultats d'outils comme des entrées non fiables pouvant contenir une injection d'invite. - Journalisez chaque appel de modèle avec la version d'invite, le modèle, la latence, les comptes de jetons et le coût, avec les données utilisateur masquées. - Mettez en cache les appels déterministes et utilisez la mise en cache d'invites pour les invites système longues et stables. - Utilisez le plus petit modèle qui réussit les évaluations, et routez uniquement les cas difficiles vers le modèle coûteux. - Réessayez sur les limites de débit et les erreurs transitoires avec un backoff exponentiel et de la gigue, jamais sur les échecs de validation dans une boucle serrée. - Gardez la température basse pour l'extraction et la classification, et plus élevée uniquement pour la génération créative. - Montrez aux utilisateurs d'où vient une réponse et facilitez le signalement d'une mauvaise réponse. - Collectez les retours pouce vers le haut et pouce vers le bas et réinjectez les mauvais cas dans l'ensemble d'évaluation. - Ne faites pas de fine-tuning jusqu'à ce que l'invitation, la récupération et les évaluations aient clairement atteint leurs limites.