Sherlock ist ein groß angelegter Datensatz und Benchmark für visuelles Alltagswissen (Commonsense Reasoning), der 2020 von Forschern der University of North Carolina at Chapel Hill und des Allen Institute for Artificial Intelligence eingeführt wurde. Der Datensatz umfasst über 103.000 Frage-Antwort-Paare, die aus etwa 21.000 Bildern des Visual-Genome-Projekts abgeleitet wurden, wobei jede Frage so konzipiert ist, dass sie über einfache Objekterkennung hinausgehendes Alltagswissen erfordert. Sherlock wurde entwickelt, um eine Lücke in Benchmarks zur visuellen Beantwortung von Fragen (Visual Question Answering, VQA) zu schließen, die sich oft auf wörtliche Szenenbeschreibungen konzentrieren und nicht auf das implizite, alltägliche Wissen, das Menschen zur Interpretation von Bildern nutzen.
Der Datensatz ist um zwei komplementäre Aufgaben herum aufgebaut: eine Multiple-Choice-Fragebeantwortungsaufgabe und eine Aufgabe zur Generierung von Begründungen. Bei der Multiple-Choice-Aufgabe müssen Modelle die richtige Antwort aus vier Optionen auswählen, wobei die richtige Antwort das Ableiten nicht genannter Eigenschaften oder Beziehungen erfordert, wie etwa die Vorhersage, dass sich eine Person mit einem Surfbrett wahrscheinlich in der Nähe eines Strandes befindet. Die Aufgabe zur Generierung von Begründungen verlangt von den Modellen, eine frei formulierte Erklärung zu liefern, warum eine gegebene Antwort richtig ist, und ermutigt die Modelle, das Alltagswissen hinter ihren Vorhersagen zu artikulieren. Diese Doppelstruktur macht Sherlock zu einem strengen Test sowohl für Erkennungs- als auch für Argumentationsfähigkeiten.
Konstruktion und Annotation
Sherlock wurde mithilfe einer zweistufigen Crowdsourcing-Pipeline erstellt. Zunächst wurden Annotatoren Bilder aus Visual Genome gezeigt und gebeten, Fragen zu formulieren, die nicht durch bloßes Auflisten sichtbarer Objekte oder Attribute beantwortet werden konnten, sondern eine Schlussfolgerung auf Basis von Alltagswissen erforderten. Beispielsweise könnte eine Frage lauten: „Warum trägt die Person einen Helm?“, wenn der Helm sichtbar ist, der Grund (z. B. Motorradfahren) jedoch nicht. Zweitens wurde jede Frage mit vier Antwortmöglichkeiten versehen, einer richtigen und drei plausiblen Ablenkern, und die Annotatoren schrieben auch eine kurze Begründung für die richtige Antwort. Der endgültige Datensatz enthält 103.302 Fragen, mit einer Trainings-/Testaufteilung von etwa 80/20, und jedes Bild ist durchschnittlich mit fünf Fragen verknüpft.
Um die Qualität zu gewährleisten, umfasste der Annotationsprozess mehrere Runden der Überprüfung und Filterung. Fragen, die mehrdeutig waren, externes Faktenwissen erforderten (wie etwa spezifische historische Ereignisse) oder mehrere plausible Antworten hatten, wurden verworfen. Der resultierende Datensatz betont alltägliches, universelles Alltagswissen, wie etwa das Verständnis, dass eine Person mit einem Regenschirm wahrscheinlich Regen erwartet oder dass ein Küchenmesser zum Schneiden von Lebensmitteln verwendet wird.
Evaluierung und Metriken
Modelle werden anhand von zwei primären Metriken evaluiert: Genauigkeit bei der Multiple-Choice-Aufgabe und Qualität der generierten Begründungen. Bei der Multiple-Choice-Aufgabe ist die Genauigkeit einfach der Prozentsatz der richtig beantworteten Fragen. Für die Generierung von Begründungen verwendete das ursprüngliche Paper BLEU-Scores, obwohl spätere Arbeiten oft robustere Metriken wie ROUGE oder menschliche Bewertung einsetzten. Der Benchmark ist so konzipiert, dass er für zeitgenössische Modelle eine Herausforderung darstellt; im ursprünglichen Paper erreichte ein starkes Modell zur visuellen Beantwortung von Fragen, das auf einem Residual Network (ResNet) und Aufmerksamkeitsmechanismen basierte, eine Genauigkeit von etwa 55 %, verglichen mit einer menschlichen Leistung von etwa 90 % bei einer Stichprobe. Diese erhebliche Lücke verdeutlichte die Schwierigkeit des visuellen Alltagswissens und motivierte weitere Forschung.
Bedeutung und Auswirkungen
Sherlock ist zu einem Standard-Benchmark in den Bereichen Computer vision und Natural language processing geworden, insbesondere für die Forschung an der Schnittstelle von Vision und Sprache. Es wurde zur Evaluierung zahlreicher Modelle verwendet, darunter solche, die auf Transformer (architecture)-Architekturen und Large language models basieren. Die Betonung des Datensatzes auf Argumentation gegenüber einfacher Erkennung hat nachfolgende Benchmarks wie VCR (Visual Commonsense Reasoning) und OK-VQA beeinflusst, die ebenfalls externes Wissen erfordern. Sherlock trug auch zur Entwicklung von Methoden zur Generierung von Erklärungen in Vision-Sprach-Aufgaben bei, einem Bereich von wachsendem Interesse für Interpretierbarkeit und Vertrauen in Artificial intelligence-Systeme.
Der Datensatz war besonders nützlich, um die Grenzen von Deep learning-Modellen zu untersuchen. Beispielsweise haben Analysen gezeigt, dass Modelle oft auf statistische Regelmäßigkeiten in den Antwortmöglichkeiten zurückgreifen, anstatt wirklich zu argumentieren, und dass sie Schwierigkeiten mit Fragen haben, die räumliche oder zeitliche Schlussfolgerungen erfordern. Dies hat Forschung zu robusteren Trainingstechniken angeregt, einschließlich Curriculum Learning und Data Augmentation, sowie die Integration externer Wissensdatenbanken.
Einschränkungen und Kritik
Trotz seines Einflusses wurde Sherlock aus mehreren Gründen kritisiert. Die Verwendung von BLEU für die Begründungsevaluierung korreliert bekanntermaßen schlecht mit menschlichem Urteilsvermögen, was zu irreführend niedrigen Werten für gültige, aber anders formulierte Begründungen führt. Darüber hinaus führt die Abhängigkeit des Datensatzes von Visual-Genome-Bildern zu Verzerrungen, wie etwa einer Überrepräsentation häufiger Objekte und Szenen aus westlichen, urbanen Kontexten, was die Verallgemeinerbarkeit von darauf trainierten Modellen einschränken kann. Einige Forscher haben auch festgestellt, dass das Multiple-Choice-Format von Modellen ausgenutzt werden kann, die subtile sprachliche Hinweise in den Antwortoptionen ausnutzen, ein Problem, das vielen VQA-Benchmarks gemeinsam ist. Diese Einschränkungen haben Forderungen nach vielfältigeren und adversarisch konstruierten Datensätzen ausgelöst.
Vermächtnis und zukünftige Richtungen
Sherlock bleibt eine vielzitierte Ressource in der Vision-Sprach-Gemeinschaft und wird oft als Vortrainings- oder Evaluierungsziel für Modelle verwendet, die visuelles und textuelles Verständnis kombinieren möchten. Sein Design hat Folgedatensätze inspiriert, die sich auf spezifische Arten von Alltagswissen konzentrieren, wie etwa physikalisches Denken oder soziale Interaktionen. Mitte der 2020er Jahre haben modernste Modelle, einschließlich solcher, die auf Transformer (architecture)-Architekturen basieren und auf massiven multimodalen Korpora trainiert wurden, deutlich höhere Genauigkeit bei Sherlock erzielt, wobei einige über 80 % liegen, obwohl menschliche Leistung weiterhin unerreicht bleibt. Der Datensatz dient weiterhin als wertvolles Werkzeug, um die Argumentationsfähigkeiten von Generative AI-Systemen zu untersuchen und Methoden zu entwickeln, die solche Argumentation expliziter und verifizierbarer machen.
Siehe auch
- visuelle Beantwortung von Fragen
- Alltagswissen
- Datensatz
- Visual Genome
Referenzen
Das ursprüngliche Sherlock-Paper wurde auf der Conference on Computer Vision and Pattern Recognition (CVPR) 2020 präsentiert und ist in den CVPR-Tagungsbänden verfügbar. Der Datensatz ist öffentlich gehostet und kann über die offizielle Website des Projekts abgerufen werden.