LLM-Engineering-Meister-Checkliste

Als KI-Ingenieur. Bitte lernen Sie >Engineering nutzen, nicht nur Prompt-Engineering >Kontext-Engineering, nicht nur lange Prompts >Prompt-Caching vs. semantisches Caching - Kompromisse >KV-Cache-Verwaltung, Verdrängung, Wiederverwendung und Speicherdruck im großen Maßstab >Prefill- vs. Decode-Latenz und warum sie sich unterschiedlich optimieren lassen >Kontinuierliches Batching, Paged Attention und Durchsatzoptimierung >Spekulatives Decoding vs. Quantisierung vs. Destillation - Kompromisse >INT8, INT4, FP8, AWQ, GPTQ und wann Quantisierung die Qualität beeinträchtigt >Strukturierte Ausgabefehler, Schema-Validierung, Reparaturschleifen und Fallback-Ketten >Zuverlässigkeit von Funktionsaufrufen, Tool-Verträge, Argumentvalidierung und Idempotenz >Agent-Schutzmaßnahmen, Schleifenbudgets, Tool-Budgets und Abbruchbedingungen >Modell-Routing, elegante Fallback-Logik und UX im Degraded-Mode >RAG-Architektur: Chunking, Embeddings, hybride Suche, Re-Ranking und Aktualität >Retrieval-Evaluierungen: Recall, Präzision, Grounding, Attribution und Zitierqualität >Evaluierungen: Goldene Sets, Regressionstests, Adversarial-Tests, LLM-als-Judge und menschliche Evaluierungen >LLM-Beobachtbarkeit als erstklassige Disziplin: Traces, Spans, Tokens, Latenz, Fehler und Drift >Kostenzuordnung pro Feature, Workflow, Mandant und Nutzerreise - nicht nur pro Modell >Sicherheits-Engineering: Prompt-Injection-Abwehr, Verhinderung von Datenlecks und Berechtigungsgrenzen >Multi-Tenant-Isolation, Cache-Sicherheit und Verhinderung von Cross-User-Kontextkontamination >Feinabstimmung vs. In-Context-Lernen vs. RAG vs. Destillation und wann jedes das falsche Werkzeug ist >Latenz-, Qualitäts-, Kosten- und Zuverlässigkeits-Kompromisse über den gesamten Inferenz-Stack >Produktionsfehlermodi: Halluzinierte Tool-Aufrufe, fehlerhaftes JSON, veraltetes Retrieval, außer Kontrolle geratene Agenten und stille Evaluierungs-Regressionen