Workflow d'optimisation des coûts IA : Cache, routage et traitement par lots

1/ Mettez en cache la partie de l'invite qui ne change jamais. Si vous envoyez le même système ou la même base de connaissances à chaque appel, activez la mise en cache des invites. Anthropic met automatiquement en cache le préfixe le plus long (jusqu'à 1 000 invites), donc mettez d'abord tout ce qui est statique, puis ce qui change. Les lectures en cache coûtent 10 % du prix normal, et les écritures en cache coûtent 25 % de plus. Vous économisez 90 % sur ces jetons. 2/ Mais la mise en cache ne fonctionne que si le préfixe est identique. Changez un mot, même un horodatage, et vous payez le prix fort. Correctif : mettez d'abord les éléments statiques (instructions, outils, documents), et les éléments dynamiques (questions, historique) en dernier. L'ordre compte plus que les gens ne le pensent. 3/ Arrêtez de renvoyer toute la conversation. La plupart des applications renvoient tout l'historique du chat à chaque tour. Votre coût augmente à chaque message. Résumez les tours précédents en un bref résumé. Ne conservez que les derniers messages mot pour mot. Une conversation de 40 messages peut tenir sur 5 lignes plus les 3 derniers tours. 4/ Récupérez, ne stockez pas. Coller toute votre base de connaissances « au cas où » fait exploser les factures. Récupérez uniquement les 3 à 5 passages qui correspondent réellement à la question. Vous passez de 50 000 jetons de contexte à environ 2 000, et les réponses s'améliorent. 5/ Utilisez le plus petit modèle capable de faire le travail. La plupart des requêtes n'ont pas besoin du plus gros modèle. Envoyez la classification, le routage et les réponses courtes à un modèle moins cher comme Haiku. Réservez le modèle coûteux aux 10 % de cas vraiment difficiles. 6/ Limitez la sortie. Les jetons de sortie coûtent généralement plus cher que l'entrée. Définissez max_tokens et demandez explicitement le format souhaité. « Répondez en une phrase » est un levier de coût, pas seulement un choix de style. 7/ Mettez en cache la réponse, pas seulement l'invite. Si 500 utilisateurs posent la même question fréquente, vous n'avez pas besoin de 500 appels de modèle. Stockez les réponses courantes et servez-les depuis votre propre cache. Le jeton le moins cher est celui que vous n'envoyez jamais. 8/ Traitez par lots tout ce qui n'est pas urgent. Rapports de nuit, étiquetage, migrations de modèles : rien ne nécessite une réponse instantanée. L'API Batch d'Anthropic offre 50 % de réduction sur l'entrée et la sortie, et la plupart des lots sont terminés en moins d'une heure. Cumulez cela avec la mise en cache des invites et les économies d'entrée atteignent environ 95 %. 9/ Mesurez avant d'optimiser. Comptez les jetons avant d'envoyer. Journalisez l'utilisation par fonctionnalité. Vous découvrirez presque toujours qu'une seule invite gonflée consomme l'essentiel de la facture. Éliminez celle-ci en premier. Conclusion : L'accès illimité n'a jamais été le but. Obtenir le même résultat pour un dixième des jetons, voilà le vrai jeu.