Bewährte Praktiken für die Entwicklung von LLM-Anwendungen

- Behandle Prompts wie Code: Halte sie in versionsverwalteten Dateien mit Namen, Versionen und Verantwortlichen, nicht als Inline-Strings, die überall verstreut sind. - Baue einen Evaluierungssatz aus echten Benutzereingaben, bevor du Prompts abstimmst, und führe ihn bei jeder Prompt- oder Modelländerung erneut aus. - Fordere strukturierte Ausgaben mit einem JSON-Schema oder Tool-Aufrufen an und validiere sie mit einer Schema-Bibliothek, bevor du sie verwendest. - Platziere eine dünne Gateway- oder Wrapper-Schicht um Modellanbieter, sodass das Wechseln von Modellen oder das Hinzufügen von Fallbacks eine Konfigurationsänderung ist. - Pinne exakte Modellversionen in der Produktion fest und upgrade sie bewusst, nachdem die Evaluierungen bestanden sind. - Streame Antworten an den Benutzer, wann immer die Ausgabe länger als ein oder zwei Sätze ist. - Beginne die Abfrage mit einfacher hybrider Suche (Keywords plus Embeddings) und füge Re-Ranking hinzu, bevor du zu komplexen RAG-Pipelines greifst. - Teile Dokumente entlang ihrer natürlichen Struktur (Überschriften, Abschnitte) und behalte Quell-Metadaten, damit Antworten darauf verweisen können. - Halte den Kontext klein und relevant; mehr abgerufener Text macht Antworten oft schlechter, nicht besser. - Gib Agenten eine kurze Liste schmaler, gut beschriebener Tools mit strengen Eingabeschemas, statt eines Alleskönner-Tools. - Setze harte Grenzen für Agenten-Schleifen: maximale Schritte, maximale Tokens und ein Echtzeit-Timeout. - Verlange menschliche Bestätigung vor jedem Tool-Aufruf, der Daten außerhalb der App sendet, löscht, bezahlt oder ändert. - Behandle alle abgerufenen Dokumente, Webseiten und Tool-Ergebnisse als nicht vertrauenswürdige Eingaben, die Prompt-Injection enthalten können. - Protokolliere jeden Modell-Aufruf mit Prompt-Version, Modell, Latenz, Token-Anzahl und Kosten, mit geschwärzten Benutzerdaten. - Cache deterministische Aufrufe und verwende Prompt-Caching für lange, stabile System-Prompts. - Verwende das kleinste Modell, das die Evaluierungen besteht, und leite nur schwierige Fälle an das teure Modell weiter. - Wiederhole bei Ratenbegrenzungen und transienten Fehlern mit exponentiellem Backoff und Jitter, niemals bei Validierungsfehlern in einer engen Schleife. - Halte die Temperatur niedrig für Extraktion und Klassifikation und höher nur für kreative Generierung. - Zeige Benutzern, woher eine Antwort stammt, und mache es einfach, eine schlechte Antwort zu melden. - Sammle Daumen-hoch- und Daumen-runter-Feedback und speise die schlechten Fälle zurück in den Evaluierungssatz. - Feintune nicht, bis Prompting, Abfrage und Evaluierungen klar ihre Grenzen erreicht haben.