ScienceQA ist ein groß angelegter Benchmark-Datensatz, der dazu dient, die Fähigkeiten von Systemen der künstlichen Intelligenz bei der Beantwortung von Wissenschaftsfragen zu bewerten. Er wurde 2022 von einem Forscherteam der University of California, Los Angeles, und anderen Institutionen eingeführt. Der Datensatz umfasst über 21.000 Multiple-Choice-Fragen aus Fächern wie Physik, Chemie, Biologie und Geowissenschaften, wobei jede Frage von einem Bild oder Diagramm sowie kontextuellen Informationen begleitet wird. ScienceQA zeichnet sich durch seinen multimodalen Charakter aus, der von Modellen verlangt, textuelles und visuelles Verständnis zu integrieren, um zu korrekten Antworten zu gelangen.
Der Benchmark wurde erstellt, um Einschränkungen früherer Frage-Antwort-Datensätze zu beheben, die sich oft entweder auf reine Text- oder reine Bildaufgaben konzentrierten. ScienceQA bietet eine realistischere und anspruchsvollere Umgebung, da Wissenschaftsfragen häufig die Interpretation von Diagrammen, Schaubildern und Versuchsaufbauten beinhalten. Die Fragen stammen aus naturwissenschaftlichen Lehrplänen der Grund- und Sekundarstufe, was sie für eine breite Palette von KI-Modellen zugänglich macht, während sie dennoch echte Denkfähigkeiten erfordern. Jede Frage ist mit Multiple-Choice-Optionen, der korrekten Antwort und einer für Menschen verständlichen Erklärung annotiert, was sowohl die Bewertung als auch die Analyse der Modellargumentation ermöglicht.
Datenstruktur und Annotationen
ScienceQA enthält 21.208 Fragen, die in Trainings-, Validierungs- und Testsets aufgeteilt sind. Das Trainingsset umfasst 12.726 Fragen, das Validierungsset hat 4.241 Fragen und das Testset enthält 4.241 Fragen. Jede Frage ist mit einem Fach, einem Thema, einer Klassenstufe und einer Kategorie (z. B. „Naturwissenschaft“ oder „Sozialwissenschaft“) verknüpft. Die Annotationen umfassen auch einen textuellen Kontext, der Hintergrundinformationen liefert, sowie ein Diagramm oder Bild, wenn relevant. Die korrekte Antwort wird zusammen mit einer prägnanten Erklärung bereitgestellt, die von menschlichen Annotatoren verfasst wurde und als Referenz für die Bewertung der Qualität von modellgenerierten Erklärungen dient.
Der Datensatz deckt eine breite Palette von Wissenschaftsthemen ab, darunter Physik (z. B. Kräfte, Energie), Chemie (z. B. chemische Reaktionen, Aggregatzustände), Biologie (z. B. Pflanzen- und Tierzellen, Ökosysteme) und Geowissenschaften (z. B. Wetter, geologische Prozesse). Die Fragen sind darauf ausgelegt, nicht nur faktisches Wissen, sondern auch Denkfähigkeiten zu testen, wie die Anwendung von Konzepten auf neue Situationen, die Interpretation von Daten aus Grafiken und das Ziehen von Schlussfolgerungen aus visuellen Darstellungen.
Bewertung und Basismodelle
ScienceQA wurde zusammen mit einer Reihe von Basisexperimenten mit verschiedenen maschinellen Lernmodellen eingeführt. Die Autoren bewerteten mehrere Ansätze, darunter traditionelle Vision-Language-Modelle und neuere transformerbasierte Architekturen. Eine der wichtigsten Erkenntnisse war, dass viele bestehende Modelle bei ScienceQA schlecht abschnitten, mit Genauigkeitsraten, die im Testset oft unter 50 % lagen, was die Schwierigkeit des Benchmarks hervorhebt. Das damals beste Basismodell verwendete einen multimodalen Transformer, der Bildmerkmale mit textuellen Einbettungen kombinierte, und erreichte eine Genauigkeit von etwa 89 % im Testset, was jedoch immer noch unter der menschlichen Leistung lag, die auf über 90 % geschätzt wurde.
Der Benchmark ist seitdem zu einem Standardbewertungswerkzeug für die Forschung im Bereich multimodales Denken und Fragebeantwortung geworden. Er wurde verwendet, um die Fähigkeiten großer Sprachmodelle und Vision-Language-Modelle zu bewerten, einschließlich derer, die von Organisationen wie OpenAI und Google DeepMind entwickelt wurden. Beispielsweise wurden Modelle wie GPT-4 und Gemini auf ScienceQA getestet, wobei einige Genauigkeitsraten über 90 % erreichten, was erhebliche Fortschritte im KI-Denken demonstriert.
Rolle in der KI-Forschung
ScienceQA hat eine entscheidende Rolle bei der Förderung der Forschung in mehreren Bereichen der künstlichen Intelligenz gespielt. Es wurde verwendet, um die Wirksamkeit von Chain-of-Thought-Prompting zu untersuchen, bei dem Modelle ermutigt werden, Zwischenschritte der Argumentation zu generieren, bevor sie eine Antwort geben. Die Forschung hat gezeigt, dass solche Prompting-Techniken die Leistung bei ScienceQA verbessern können, insbesondere bei großen Sprachmodellen. Der Datensatz wurde auch eingesetzt, um die Integration von visuellen und textuellen Informationen zu untersuchen, was zur Entwicklung neuer Architekturen führte, die Bild- und Sprachrepräsentationen besser aufeinander abstimmen.
Darüber hinaus wurde ScienceQA verwendet, um das Konzept der Erklärbarkeit in der KI zu erforschen. Da jede Frage eine von Menschen verfasste Erklärung enthält, können Forscher modellgenerierte Erklärungen mit diesen Referenzen vergleichen, um zu bewerten, wie gut Modelle ihre Antworten begründen. Dies hat Auswirkungen auf den Aufbau vertrauenswürdiger KI-Systeme, da die Fähigkeit, kohärente Erklärungen zu liefern, für Anwendungen in Bildung und wissenschaftlicher Forschung entscheidend ist.
Einschränkungen und zukünftige Richtungen
Trotz seiner Stärken hat ScienceQA bestimmte Einschränkungen. Die Fragen basieren auf schulischen Lehrplänen, die möglicherweise nicht die Komplexität fortgeschrittener wissenschaftlicher Argumentation erfassen. Darüber hinaus kann das Multiple-Choice-Format Modellen manchmal erlauben, ohne tiefes Verständnis richtig zu raten, obwohl die Erklärungen helfen, dieses Problem zu mildern. Der Datensatz ist auch statisch, was bedeutet, dass er keine aktuellen wissenschaftlichen Entdeckungen oder Änderungen in Lehrplänen widerspiegelt.
Zukünftige Arbeiten könnten die Erweiterung von ScienceQA um offenere Fragen, die Abdeckung höherstufiger Themen und die Einbeziehung dynamischer Elemente wie interaktiver Simulationen umfassen. Forscher untersuchen auch Möglichkeiten, ScienceQA als Benchmark für kontinuierliches Lernen zu nutzen, bei dem sich Modelle im Laufe der Zeit an neue Fragetypen anpassen müssen. Da sich KI-Systeme weiter verbessern, werden Benchmarks wie ScienceQA weiterhin unerlässlich sein, um Fortschritte zu messen und Bereiche zu identifizieren, die weitere Forschung erfordern.