HellaSwag 2024 ist ein Benchmark-Datensatz, der dazu dient, die Fähigkeiten von Systemen der künstlichen Intelligenz, insbesondere von großen Sprachmodellen, im Bereich des gesunden Menschenverstands (Commonsense Reasoning) zu bewerten. Es handelt sich um eine aktualisierte Version des ursprünglichen HellaSwag-Benchmarks, der im Jahr 2019 eingeführt wurde. Die Überarbeitung von 2024 zielt darauf ab, Einschränkungen des früheren Datensatzes zu beheben, wie etwa die Fähigkeit von Modellen, statistische Regelmäßigkeiten auszunutzen, anstatt die Szenarien wirklich zu verstehen. Der Benchmark präsentiert Multiple-Choice-Fragen, bei denen ein Modell die plausibelste Fortsetzung einer gegebenen Situation auswählen muss, wobei die richtige Antwort ein Verständnis von physikalischem und sozialem Alltagswissen erfordert.
Der ursprüngliche HellaSwag wurde von Forschern der University of Washington und des Allen Institute for AI erstellt. Er wurde mithilfe eines adversarischen Filterprozesses konstruiert, bei dem von Menschen geschriebene Enden mit maschinell erzeugten, plausibel erscheinenden, aber falschen Enden gepaart wurden. Das Update von 2024 behält diese Kernstruktur bei, führt jedoch mehrere Verfeinerungen ein. Dazu gehören ein größerer Fragensatz, vielfältigere Szenarien und eine neu ausbalancierte Verteilung der Antwortmöglichkeiten, um zu verhindern, dass Modelle aufgrund von Position oder Länge raten. Die Bewertungsmethodik wurde ebenfalls überarbeitet, um sie robuster gegenüber Modellen zu machen, die Heuristiken verwenden, wie etwa die Wahl der längsten oder komplexesten Antwort.
Design und Konstruktion
Die Konstruktion von HellaSwag 2024 folgt dem gleichen adversarischen Filteransatz wie sein Vorgänger. Menschliche Annotatoren schrieben korrekte Enden für eine Reihe von Aktivitätsbeschreibungen, während ein separates Set falscher Enden von einem Sprachmodell generiert wurde. Die falschen Enden wurden so entworfen, dass sie oberflächlich plausibel, aber semantisch falsch sind, oft mit subtilen Verstößen gegen physikalische Gesetze oder soziale Normen. Der endgültige Datensatz enthält nur die Fragen, bei denen die falschen Enden nicht leicht durch einfache statistische Hinweise zu unterscheiden waren, um sicherzustellen, dass der Benchmark echtes Denken und nicht Mustererkennung misst.
Die Version von 2024 erweitert den ursprünglichen Datensatz von etwa 10.000 Fragen auf über 15.000 Fragen. Die Szenarien decken ein breites Spektrum alltäglicher Aktivitäten ab, wie Kochen, Sport und Hausarbeiten, sowie abstraktere Situationen, die soziale Interaktionen betreffen. Jede Frage enthält vier Antwortmöglichkeiten, von denen genau eine richtig ist. Der Datensatz ist in Trainings-, Validierungs- und Testsets unterteilt, wobei das Testset für die offizielle Bewertung zurückgehalten wird.
Bewertung und Punktevergabe
Modelle werden auf HellaSwag 2024 anhand ihrer Genauigkeit bei der Auswahl der richtigen Antwort bewertet. Die primäre Metrik ist die Top-1-Genauigkeit, die den Prozentsatz der Fragen misst, bei denen das Modell der richtigen Wahl die höchste Wahrscheinlichkeit zuweist. Um den Einfluss einer Antwortlängen-Verzerrung zu verringern, führt das Update von 2024 eine normalisierte Bewertungsmethode ein. Diese Methode passt die Wahrscheinlichkeit jeder Antwort an ihre Länge an und verhindert so, dass Modelle längere oder wortreichere Antworten bevorzugen.
Zusätzlich zur Genauigkeit berichtet der Benchmark einen Kalibrierungswert, der misst, wie gut die Konfidenz des Modells mit seiner Korrektheit übereinstimmt. Ein gut kalibriertes Modell sollte bei richtigen Antworten eine höhere Konfidenz und bei falschen Antworten eine niedrigere Konfidenz aufweisen. Die Überarbeitung von 2024 enthält auch eine menschliche Basislinie, bei der die menschliche Leistung anhand einer Teilmenge der Fragen gemessen wird, was einen Referenzpunkt für Modellvergleiche bietet.
Leistung aktueller Modelle
Stand 2024 erreichen die besten großen Sprachmodelle, wie die von OpenAI, Anthropic und Google DeepMind entwickelten, Genauigkeitswerte im mittleren bis hohen 90-Prozent-Bereich auf HellaSwag 2024. Dies ist eine deutliche Verbesserung gegenüber früheren Modellen, die beim ursprünglichen HellaSwag etwa 80 % erreichten. Die menschliche Leistung bei dem Benchmark bleibt jedoch höher, typischerweise über 95 %, was darauf hindeutet, dass es immer noch eine Lücke zwischen maschinellem und menschlichem Denken mit gesundem Menschenverstand gibt.
Der Benchmark ist zu einem Standardwerkzeug in der Artificial intelligence-Community geworden, um Fortschritte beim Denken mit gesundem Menschenverstand zu verfolgen. Er wird oft zusammen mit anderen Benchmarks wie Winogrande und ARC verwendet, um eine umfassende Bewertung der Denkfähigkeiten eines Modells zu ermöglichen. Das Update von 2024 wurde von Forschungslabors und Industrie-Teams weithin übernommen, einschließlich der Teams bei Amazon Web Services, Microsoft Azure und Google Cloud, als Teil ihrer Modellbewertungspipelines.
Einschränkungen und Kritik
Trotz seiner Verbesserungen ist HellaSwag 2024 auf einige Kritik gestoßen. Einige Forscher argumentieren, dass der Benchmark immer noch stark auf statistischen Mustern in der Sprache beruht und dass Modelle hohe Punktzahlen erzielen können, indem sie allgemeine Wissensfakten auswendig lernen, anstatt flexibel zu denken. Andere weisen darauf hin, dass der Datensatz auf Englisch und auf Szenarien aus westlichen kulturellen Kontexten beschränkt ist, was möglicherweise nicht auf andere Sprachen oder Kulturen übertragbar ist.
Eine weitere Einschränkung ist, dass der Benchmark statisch ist, was bedeutet, dass seine Leistung keine echte Generalisierung mehr widerspiegelt, sobald ein Modell auf dem Testset trainiert wurde (entweder absichtlich oder versehentlich durch Datenkontamination). Um dies zu mildern, enthält die Version von 2024 ein verstecktes Testset, das nicht öffentlich freigegeben wird, und Forscher werden ermutigt, dieses versteckte Set über ein Einreichungssystem zu bewerten. Dieser Ansatz ist jedoch nicht narrensicher, und das Risiko einer Kontamination bleibt ein Anliegen im weiteren Feld.
Zukünftige Richtungen
Die Entwicklung von HellaSwag 2024 spiegelt einen breiteren Trend in der Machine learning-Community hin zur Erstellung anspruchsvollerer und robusterer Bewertungs-Benchmarks wider. Zukünftige Updates könnten die dynamische Generierung von Fragen beinhalten, bei der neue Fragen spontan erstellt werden, um das Auswendiglernen zu verhindern. Es gibt auch Interesse daran, den Benchmark auf multimodale Szenarien auszuweiten, in denen Modelle sowohl über Text als auch über Bilder nachdenken müssen, und Fragen einzubeziehen, die mehrschrittiges Denken oder kausale Schlussfolgerungen erfordern.
Da sich Large language model weiterhin verbessern, müssen sich Benchmarks wie HellaSwag 2024 wahrscheinlich weiterentwickeln, um Schritt zu halten. Das Ziel ist es, Bewertungen zu erstellen, die nicht nur aktuelle Fähigkeiten messen, sondern auch die Entwicklung eines menschenähnlicheren Denkens in KI-Systemen vorantreiben. Das Update von 2024 ist ein Schritt in diese Richtung und bietet einen strengeren Test des Verständnisses von Alltagswissen als sein Vorgänger.