KI-Kostenoptimierungs-Workflow: Cache, Routing und Batching

1/ Cache den Teil deines Prompts, der sich nie ändert. Wenn du bei jedem Aufruf denselben System-Prompt oder dieselbe Wissensbasis sendest, zahlst du den vollen Preis, um Text erneut zu lesen, der sich nie bewegt hat. Anthropic ermöglicht es dir, dieses stabile Präfix zu cachen. Cache-Lesezugriffe kosten 10% des normalen Inputs. Das sind 90% Rabatt auf den sich wiederholenden Teil jedes Aufrufs. 2/ Aber Caching funktioniert nur, wenn das Präfix identisch ist. Ändere ein Wort, sogar einen einzelnen Zeitstempel, und du zahlst wieder den vollen Preis. Lösung: Setze das statische Zeug zuerst (Anweisungen, Tools, Dokumente) und das sich ändernde Zeug zuletzt. Die Reihenfolge ist wichtiger, als die Leute denken. 3/ Höre auf, die gesamte Konversation erneut zu senden. Die meisten Apps senden bei jeder Runde den gesamten Chat-Verlauf erneut. Deine Kosten steigen mit jeder Nachricht. Fasse alte Runden zu einer kurzen laufenden Zusammenfassung zusammen. Behalte nur die letzten paar Nachrichten wörtlich. Ein Thread mit 40 Nachrichten kann mit 5 Zeilen plus den letzten 3 Runden laufen. 4/ Rufe ab, statt zu stopfen. Deine gesamte Wissensbasis 'nur für den Fall' einzufügen, ist der Weg, wie Rechnungen explodieren. Ziehe nur die 3 bis 5 Chunks heraus, die wirklich zur Frage passen. Du gehst von 50.000 Token Kontext auf etwa 2.000, und die Antworten werden schärfer. 5/ Verwende das kleinste Modell, das die Aufgabe erledigen kann. Die meisten Anfragen brauchen nicht dein größtes Modell. Sende Klassifikation, Routing und kurze Antworten an ein günstigeres Modell wie Haiku. Spare das teure Modell für die schweren 10%. 6/ Begrenze den Output. Output-Token kosten normalerweise mehr als Input. Setze max_tokens und fordere das genaue Format an, das du willst. 'Antworte in einem Satz' ist ein Kostenhebel, nicht nur eine Stilwahl. 7/ Cache die Antwort, nicht nur den Prompt. Wenn 500 Nutzer dieselbe FAQ fragen, brauchst du keine 500 Modellaufrufe. Speichere häufige Antworten und liefere sie direkt aus deinem eigenen Cache. Das günstigste Token ist das, das du nie sendest. 8/ Bündle alles, was nicht Echtzeit ist. Nächtliche Berichte, das Taggen eines Backlogs, Evaluierungen, Modellmigrationen. Nichts davon braucht eine sofortige Antwort. Die Batch-API von Anthropic ist 50% günstiger bei Input und Output, und die meisten Batches sind in unter einer Stunde fertig. Kombiniere es mit Prompt-Caching und die Input-Ersparnis kann bei etwa 95% liegen. 9/ Messe, bevor du optimierst. Zähle Token, bevor du sendest. Protokolliere die Nutzung pro Feature. Du wirst fast immer einen aufgeblähten Prompt finden, der den Großteil der Rechnung frisst. Töte zuerst diesen. Abschluss: Unbegrenzter Zugriff war nie der Punkt. Das gleiche Ergebnis für ein Zehntel der Token zu bekommen, ist es. Das ist das ganze Spiel.