KI-Technik-Meisterschafts-Checkliste

Ingenieurwesen für Systeme, nicht nur Prompt-Engineering Kontext-Engineering, nicht nur lange Prompts Prompt-Caching vs. semantisches Caching – Kompromisse KV-Cache-Verwaltung, Verdrängung, Wiederverwendung und Speicherdruck im großen Maßstab Prefill- vs. Decode-Latenz und warum sie unterschiedlich optimiert werden Kontinuierliches Batching, Paged Attention und Durchsatzoptimierung Spekulative Dekodierung vs. Quantisierung vs. Destillation – Kompromisse INT8, INT4, FP8, AWQ, GPTQ und wann Quantisierung die Qualität beeinträchtigt Fehler bei strukturierten Ausgaben, Schema-Validierung, Reparaturschleifen und Fallback-Ketten Zuverlässigkeit von Funktionsaufrufen, Tool-Verträge, Argumentvalidierung und Idempotenz Agenten-Schutzmaßnahmen, Schleifenbudgets, Tool-Budgets und Abbruchbedingungen Modell-Routing, elegante Fallback-Logik und UX im Degradationsmodus RAG-Architektur: Chunking, Embeddings, hybride Suche, Re-Ranking und Aktualität Retrieval-Evaluierungen: Recall, Präzision, Fundierung, Attribution und Zitierqualität Evaluierungen: Goldene Datensätze, Regressionstests, Adversarial-Tests, LLM-als-Richter und menschliche Evaluierungen LLM-Beobachtbarkeit als erstklassige Disziplin: Traces, Spans, Tokens, Latenz, Fehler und Drift Kostenattribution pro Feature, Workflow, Mandant und Nutzerreise – nicht nur pro Modell Sicherheits-Engineering: Prompt-Injection-Abwehr, Datenleck-Prävention und Berechtigungsgrenzen Multi-Mandanten-Isolation, Cache-Sicherheit und Verhinderung von Kontextkontamination zwischen Nutzern Feinabstimmung vs. In-Context-Lernen vs. RAG vs. Destillation und wann jedes das falsche Werkzeug ist Latenz-, Qualitäts-, Kosten- und Zuverlässigkeits-Kompromisse über den gesamten Inferenz-Stack Produktionsfehlermodi: halluzinierte Tool-Aufrufe, fehlerhaftes JSON, veraltetes Retrieval, außer Kontrolle geratene Agenten und stille Evaluierungs-Regressionen