KI-Evaluierungen erklärt: Von den Grundlagen bis zu selbstverbessernden Agenten

Einfacher Modus: Was ist ein Eval - Ein Eval ist ein Test, um zu sehen, ob das, was ein KI-Agent getan hat, richtig ist - Der Kern bei 'richtig' ist, das, was du / dein Unternehmen für richtig hält, in Software zu kodieren - Beispiel: GTM-Agent, der das Kundengespräch protokolliert, einen Follow-up-Entwurf schreibt und vor dem Senden stoppt - In diesem Kontext kann ein Eval prüfen, ob das Kundengespräch protokolliert wurde, ob der Follow-up-Entwurf geschrieben wurde, ob der Agent vor dem Senden pausiert hat - Evals sind eigentlich nicht neu, sie sind nur eine weiterentwickelte Version von Unit-Tests, die es in der Software schon immer gab - Das Rezept zum Einrichten eines Evals ist eigentlich recht einfach: Agent + System + Aufgaben + Verifizierer - Im GTM-Agent-Beispiel hast du deinen Agenten, Lese-/Schreibzugriff auf Salesforce, eine Reihe von Aufgaben (wie Lead-Status aktualisieren, Anruf protokollieren, Follow-up schreiben) und einen Verifizierer (ein Tool, dessen Aufgabe es ist, zu bestimmen, ob die Aufgabe richtig oder falsch erledigt wurde) - Verifizierer können eine einfache Python-Funktion oder Inhalts-/Textprüfungen sein - Rubriken sind eine großartige Möglichkeit, um zu kodieren, wie gut für nicht verifizierbare Aufgaben aussieht, damit Verifizierer trotzdem funktionieren können - Sobald Rubriken erstellt sind und der Agent nicht gut abschneidet, könnte die Ursache sein: Checkliste unvollständig, Modell nicht intelligent genug, schlechter/unvollständiger Kontext oder Prompt nicht gut genug Schwerer Modus: Was sind Agent-Umgebungen - Umgebung = ein Ort, an dem ein Agent Arbeit verrichtet und wir messen, wie er abschneidet - Umgebungen wurden notwendig, als wir von der ChatGPT-Ära mit Text rein, Text raus zur Agenten-Ära mit Prompt rein, reale Arbeit raus übergingen - Beispiel: Für Claude Code/Codex, wenn sie auf deinem Computer arbeiten, ist die Umgebung Dateien, Browser, E-Mail, Apps, Berechtigungen - Wenn du heute Agent-Umgebungen baust, sind das Nachbildungen/Simulationen bestehender Tools, die für den Agenten real aussehen, aber nicht real sind (überschreiben keine Produktion) - Grundsätzlich willst du testen können, wie leistungsfähig deine Agenten sind, ohne die Live-Systeme/Daten in deinem Unternehmen zu beeinträchtigen - Anforderungen beim Bauen von Agenten und Evals: (1) Aufgaben nach Team verwalten (GTM ≠ SWE), (2) team-spezifische Umgebungen, (3) in großem Maßstab ausführen, ohne die gesamte Infrastruktur selbst zu bauen - Beliebte Tools zum Einrichten von Agent-Umgebungen sind ein Open-Source-Framework namens Harbor, das alle Abstraktionen für Agent-Umgebungen bietet, die zum Ausführen von Evals benötigt werden, sodass du nicht alles verwalten musst, aber bei Bedarf auf niedriger Ebene arbeiten kannst - Harbor-Primitive umfassen: Umgebungsbau, Verifiziererbau, Anweisungsbau, Sandbox-Infrastruktur - Anfängerpfad: ein vorhandenes Harbor-Format-Eval nehmen → Claude Code/Codex bitten, es zu erklären → für deinen Agenten anpassen - LangSmith Engine: Evals in großem Maßstab erstellen; UI für Personen, die gute/schlechte Ausgaben beurteilen können und Feedback geben möchten, ohne im Code zu leben - Umgebungen validieren, indem du mehrere echte Agenten/Modelle in ihnen ausführst (z. B. Frontier + GLM + kleines Qwen) und nach seltsamen Mustern suchst - Umgebungsentwicklung ist iterativ wie Agentenentwicklung; Menschen bauen und überprüfen Ausgaben - Um Evals in großem Maßstab durchzuführen, brauchst du eine Eval-Suite. Eine Eval-Suite ist eine Sammlung von Agentenaufgaben, die du als Unternehmen ausführst. Jede Aufgabe besteht aus einem Eingabe-Prompt, einem Verifizierer und der Umgebung. - Wann immer ein neues Modell herauskommt, führst du deine Eval-Suite (oder eine Auswahl von Aufgaben aus der Suite) aus und gewichtest die Abwägungen von Kosten vs. Geschwindigkeit vs. Intelligenz Gott-Modus: Was ist ein selbstverbessernder Agent - Kontinuierlicher Zyklus von Agent in der realen Welt → Produktionsdaten → Produktion in Evals umwandeln (und Evals zur Verbesserung nutzen) → den Agenten kontinuierlich verbessern - Kühne These: Wenn dein Team wirklich gut darin ist, Produktionsdaten in Evals umzuwandeln, kannst du Agenten kontinuierlich verbessern - Evals existieren, um Fehler zu finden; dann den Agenten so ändern, dass dieser Fehler nie wieder passiert - Zwei Verbesserungsbereiche: Harness-Engineering und Feintuning eines kleinen Modells - Harness-Engineering: (günstiger Einstiegspunkt): Prompts anpassen, Tool-Definitionen/-Beschreibungen, Modellwahl, Modellkombinationen (z. B. Sol+Opus, GLM+Opus) - Feintuning (auf deine enge Produktionsaufgabe): offene Modelle + Feintuning-Infrastruktur existieren; kann Opus bei *dieser* Aufgabe zu etwa 10x günstigeren Kosten erreichen; ein GTM-Agent braucht keine Frontier-Mathematik - Gott-Modus = echte Produktionsdaten sammeln → in Evals/Umgebungen umwandeln → entscheiden, wie verbessert werden soll (zuerst Harness; später eigene feinabgestimmte Intelligenz für spezifische Aufgaben) - Engpass ist oft, dass Menschen Verifizierer/Rubriken aktualisieren - Zwei Fragen zur Autonomie: wie schneller drehen; kann es ohne Menschen im Kreislauf laufen? - Ziel: menschliche Kontaktpunkte im Kreislauf minimieren - Agent-Traces sind der erste praktische Schritt für Organisationen, die Agenten nutzen - Trace = Protokoll jeder Aktion: Tool-Aufrufe - Menschen können nicht gut darüber nachdenken, was ein Agent *tun wird*; das Ansehen von Live-Verhalten (auch Traces genannt) macht richtig/falsch offensichtlich - Schlechtes Ergebnis sehen → Traces (Belege) lesen → den falschen Schritt finden → Agenten so ändern, dass er es nicht wiederholt - Menschliche Berührungspunkte schrumpfen mit jeder intelligenteren Modellveröffentlichung - Heutige menschliche Rolle Nr. 1 (im Voraus): dem Mining-/Verbesserungsagenten erklären, was gut vs. schlecht aussieht (Prompt mit Verhaltensweisen, nach denen gesucht werden soll); hauptsächlich im Voraus mit einigen Änderungen im Laufe der Zeit - Dann kann ein Agent fehlgeschlagene Tool-Aufrufe, Anweisungsbefolgungsfehler usw. finden und Verbesserungen vorschlagen (neuer Prompt, neues/anderes Tool usw.) - Mit einer guten Eval-Suite oder einer guten Messung von schlechtem Produktionsverhalten kann ein über Nacht laufender Agent sehr gut darin sein, Fixes vorzuschlagen - Menschliche Rolle Nr. 2: Wenn Produktion in Evals/Umgebungen umgewandelt wird, überprüfen, was das *Unternehmen* wichtig findet - Organisatorische Handlung mit höchster Hebelwirkung: Menschen schreiben auf, wie gut aussieht