BBH 2024 ist ein Benchmark zur Bewertung großer Sprachmodelle (LLMs) anhand einer Reihe anspruchsvoller Denkaufgaben. Es handelt sich um eine weiter aktualisierte Version des BIG-Bench Hard (BBH)-Benchmarks, der selbst eine kuratierte Teilmenge der größeren BIG-Bench-Suite war. BBH 2024 wurde im Jahr 2024 veröffentlicht, um die Einschränkungen des ursprünglichen BBH zu beheben, insbesondere die Sättigung der Leistung durch neuere Modelle und den Bedarf an robusteren Bewertungsprotokollen.
Der Benchmark besteht aus 23 Aufgaben, die aus BIG-Bench ausgewählt wurden und als besonders schwierig für Sprachmodelle identifiziert wurden. Diese Aufgaben decken eine Reihe von Denkfähigkeiten ab, darunter kausale Urteilsbildung, Datumsverständnis, Disambiguierung und logische Deduktion. BBH 2024 führt überarbeitete Prompts, aktualisierte Antwortformate und eine neue Bewertungsmethodik ein, die teilweise korrekte Antworten strenger bestraft als der ursprüngliche BBH. Der aktualisierte Benchmark zielt darauf ab, ein zuverlässigeres Maß für die Modellfähigkeiten an der Spitze der KI-Forschung zu liefern.
Aufgabenkomposition und -auswahl
Die 23 Aufgaben in BBH 2024 sind dieselben wie im ursprünglichen BBH, jedoch mit erheblichen Modifikationen. Beispielsweise enthält die Aufgabe 'Causal Judgment' nun 100 zusätzliche kontrafaktische Szenarien, und die Aufgabe 'Date Understanding' wurde erweitert, um eine größere Bandbreite an Kalenderformaten abzudecken. Die Aufgabe 'Logical Deduction' verlangt nun von den Modellen, eine Sequenz von Denkschritten auszugeben, anstatt nur die endgültige Antwort. Diese Änderungen wurden vorgenommen, um die Wirksamkeit einfachen Musterabgleichs zu verringern und echtes Denken zu fördern.
Jede Aufgabe enthält einen Few-Shot-Prompt mit 3 bis 5 Beispielen, wie im ursprünglichen BBH. BBH 2024 bietet jedoch aktualisierte Beispiele, die den neueren Sprachgebrauch widerspiegeln und Erklärungen für die korrekten Antworten enthalten. Der Benchmark führt außerdem einen 'Chain-of-Thought'-Bewertungsmodus ein, bei dem die Modelle aufgefordert werden, Zwischenschritte des Denkens vor der endgültigen Antwort zu erzeugen, sowie einen 'direkten' Modus ohne eine solche Aufforderung.
Bewertung und Auswertung
BBH 2024 verwendet ein Bewertungssystem, das nur für exakte Übereinstimmungen mit der Grundwahrheitsantwort die volle Punktzahl vergibt. Teilpunkte werden für Antworten vergeben, die die korrekte endgültige Antwort enthalten, aber zusätzlichen Text aufweisen. Der Benchmark berichtet sowohl die durchschnittliche Genauigkeit über alle Aufgaben als auch die Standardabweichung. Für den Chain-of-Thought-Modus wird die Genauigkeit anhand der endgültigen Antwort nach den Denkschritten berechnet, und eine separate Metrik, 'Reasoning Coherence', wird eingeführt, um die logische Konsistenz der generierten Schritte zu bewerten.
Im ursprünglichen BBH erreichten Modelle wie GPT-3 eine durchschnittliche Genauigkeit von etwa 40% bei den Aufgaben. Bis 2024 haben modernste Modelle wie GPT-4 und Claude 3 auf dem ursprünglichen BBH über 80% erreicht, was die Notwendigkeit einer anspruchsvolleren Version aufzeigte. BBH 2024 enthält einen neuen 'Hard Mode', bei dem die Prompts adversariell gestört werden, und der Benchmark berichtet Ergebnisse für sowohl den Standard- als auch den Hard Mode.
Modellleistung und Sättigung
Erste Ergebnisse auf BBH 2024, die Mitte 2024 veröffentlicht wurden, zeigen, dass die besten Modelle, darunter GPT-4 Turbo und Claude 3 Opus, etwa 70% durchschnittliche Genauigkeit im Standard Mode und etwa 50% im Hard Mode erreichen. Dies ist ein signifikanter Rückgang gegenüber ihrer nahezu vollständigen Sättigung auf dem ursprünglichen BBH, was darauf hindeutet, dass der aktualisierte Benchmark eine diskriminierendere Bewertung bietet. Der Benchmark wurde von mehreren KI-Forschungslabors übernommen, darunter OpenAI, Anthropic und Google DeepMind, als Standardbewertungswerkzeug für ihre Modelle.
BBH 2024 enthält auch eine 'Human Baseline'-Studie, bei der 100 menschliche Teilnehmer über eine Crowdsourcing-Plattform rekrutiert wurden. Die menschliche Basisgenauigkeit im Standard Mode beträgt 85% und im Hard Mode 75%, was zeigt, dass der Benchmark weiterhin Raum für Verbesserungen bei KI-Systemen lässt.
Beziehung zu anderen Benchmarks
BBH 2024 ist Teil eines breiteren Ökosystems von KI-Benchmarks. Es ergänzt andere Suiten wie MMLU (Massive Multitask Language Understanding) und HellaSwag, konzentriert sich jedoch speziell auf Aufgaben, die mehrstufiges Denken erfordern. Im Gegensatz zu MMLU, das eine breite Palette von Wissensdomänen abdeckt, betont BBH 2024 Aufgaben, die für Menschen einfach, aber für KI schwer sind, wie ursprünglich von BIG-Bench definiert. Die aktualisierte Version behält diese Philosophie bei, während sie die Schwierigkeit und Robustheit der Bewertung erhöht.
Der Benchmark ist öffentlich auf GitHub verfügbar, und die Autoren stellen eine Leaderboard mit Ergebnissen verschiedener Modelle bereit. Die Leaderboard wird regelmäßig aktualisiert, und Stand Ende 2024 ist der Spitzenplatz ein Modell von Google DeepMind mit einer durchschnittlichen Genauigkeit von 72,3% im Standard Mode.
Zukünftige Richtungen
Die Ersteller von BBH 2024 haben angekündigt, jährliche Updates zu veröffentlichen, um mit den Modellverbesserungen Schritt zu halten. Sie untersuchen auch die Aufnahme von Aufgaben, die multimodales Denken erfordern, wie die Interpretation von Diagrammen und Schaubildern. Es wird erwartet, dass der Benchmark auf absehbare Zeit ein zentraler Referenzpunkt für die Bewertung von Denkfähigkeiten in großen Sprachmodellen bleibt.
Siehe auch
- BIG-Bench
- MMLU
- Chain-of-Thought
- Bewertung von KI-Systemen