Vier eiserne Regeln für den Aufbau echter Evals

1. Baue deinen Fragenkatalog nicht auf den heutigen Schwächen des Modells auf: Modellfähigkeiten sind ungleichmäßig. Wenn du gezielt Fragen auswählst, die das Modell heute falsch beantwortet, misst du die Fingerabdruckfehler dieser spezifischen Version, nicht die Aufgabenschwierigkeit. Wenn die nächste Modellgeneration erscheint, ist dein Katalog nutzlos. 2. Selbst das stärkste Modell mit maximalem Denkaufwand muss weit unter 100 Punkten liegen: Wenn dein Testsatz es dem stärksten Modell leicht macht, volle Punktzahl zu erreichen, sind die Fragen zu einfach, und du kannst nicht erkennen, ob spätere Änderungen Verbesserungen oder Verschlechterungen gebracht haben. 3. Bevorzuge Programme als Bewerter, dann LLMs: Alles, was mit Code überprüft werden kann (Unit-Tests, JSON-Schema-Validierung), darf keinen LLM-Bewerter verwenden. Wenn ein LLM-Bewerter erforderlich ist, verwende keine vagen 1-5-Bewertungen; schreibe faktenprüfbare Checklisten oder führe blinde A/B-Vergleiche durch. 4. Muss echte Verbesserung von zufälligem Rauschen unterscheiden: Wenn die Ergebnisse bei jedem Durchlauf variieren, sind die Fragen mehrdeutig oder die Umgebung hinterlässt Restdateien, die der KI das Schummeln ermöglichen.