Der SVHN-Datensatz (Street View House Numbers) ist eine Sammlung von Ziffernbildern, die aus Hausnummern stammen, die von Google-Street-View-Fahrzeugen fotografiert wurden. Er wurde 2011 von Forschern bei Google (darunter Yuval Netzer, Tao Wang, Adam Coates, Alessandro Bissacco, Bo Wu und Andrew Y. Ng) als anspruchsvollere und realistischere Alternative zum klassischen MNIST-Datensatz für die Erkennung handgeschriebener Ziffern eingeführt. SVHN enthält über 600.000 beschriftete Ziffernbilder, die jeweils aus einem größeren Straßenfoto ausgeschnitten wurden. Der Datensatz soll Algorithmen bei der Erkennung von Ziffern in natürlichen, unübersichtlichen Szenen testen, in denen Ziffern verzerrt, teilweise verdeckt oder von anderem Text und Objekten umgeben sein können. Er ist zu einem Standard-Benchmark in der maschinellen Lernens- und Deep-Learning-Forschung geworden und wird für Aufgaben wie Ziffernklassifikation, Objekterkennung und Sequenzerkennung verwendet.
Der Datensatz ist in drei Teile aufgeteilt: einen Trainingssatz mit 73.257 Bildern, einen Testsatz mit 26.032 Bildern und einen zusätzlichen Satz mit 531.131 „Extra“-Bildern, die für das Training verwendet werden können. Jedes Bild ist ein 32x32 Pixel großes Farbbild (RGB), das auf eine einzelne Ziffer zentriert ist, aber oft Teile benachbarter Ziffern oder anderes visuelles Rauschen enthält. Die Beschriftungen sind die tatsächlichen Ziffernwerte (0-9). SVHN ist bekannt für seinen realen Ursprung: Die Bilder stammen von echten Hausnummernschildern, die eine große Vielfalt an Schriftarten, Farben, Hintergründen und Lichtverhältnissen aufweisen. Dies macht ihn zu einem realistischeren Testfeld als synthetische Datensätze, und er wurde verwendet, um die Robustheit von neuronalen Netzwerk-Architekturen, Datenaugmentierungstechniken und Transfer-Learning-Ansätzen zu bewerten.
Datensatzeigenschaften und Herausforderungen
Im Gegensatz zu MNIST, bei dem die Ziffern sauber geschrieben und zentriert sind, enthalten SVHN-Bilder erhebliches visuelles Rauschen. Eine einzelne Ziffer kann teilweise durch ein Schild, ein Fenster oder eine andere Ziffer verdeckt sein. Die Ziffern selbst können gedreht, verzerrt oder unterschiedlich dick sein. Der Hintergrund kann Ziegelwände, Türen, Blattwerk oder andere architektonische Elemente umfassen. Diese Faktoren machen SVHN zu einer schwierigeren Klassifikationsaufgabe, wobei die menschliche Leistung auf etwa 98 % Genauigkeit geschätzt wird, während modernste Deep-Learning-Modelle auf dem Testsatz über 99 % Genauigkeit erreicht haben. Der Datensatz enthält auch eine „Ziffernstruktur“-Annotation für jedes Bild, die die Begrenzungsrahmen aller Ziffern im ursprünglichen Vollbild angibt, was Aufgaben wie Ziffernlokalisierung und Mehrziffernerkennung ermöglicht.
Der „Extra“-Satz ist besonders nützlich für Experimente zum halbüberwachten Lernen, da er einen großen Pool an unbeschrifteten (oder schwach beschrifteten) Daten bietet. Viele Forschungsarbeiten haben SVHN verwendet, um die Wirksamkeit von Techniken wie Datenaugmentierung (z. B. zufälliges Zuschneiden, Drehen, Farb-Jitter), Batch-Normalisierung und Residualverbindungen zu demonstrieren. Der Datensatz ist auch eine häufige Wahl für das Benchmarking generativer Modelle, wie z. B. generativer KI-Modelle, aufgrund seiner relativ kleinen Bildgröße und moderaten Komplexität.
Anwendungen in der Forschung
SVHN wurde in der akademischen und industriellen Forschung umfassend eingesetzt. Er dient als Standard-Testfeld für Bildklassifikationsalgorithmen und wird in vergleichenden Studien oft mit MNIST und CIFAR-10 gepaart. In den frühen 2010er Jahren war er ein Schlüsseldatensatz, um die Leistungsfähigkeit tiefer konvolutionaler neuronaler Netze (CNNs) zu demonstrieren. Beispielsweise zeigten Forscher am Stanford AI Lab und anderen Institutionen im Jahr 2012 mit SVHN, dass tiefe CNNs traditionelle Methoden mit handgefertigten Merkmalen übertreffen konnten. Der Datensatz wurde auch in Studien zur Domänenanpassung verwendet, bei denen Modelle, die auf synthetischen Daten (z. B. MNIST) trainiert wurden, an reale Daten (z. B. SVHN) angepasst werden.
Über die Klassifikation hinaus wird SVHN für Objekterkennungsaufgaben verwendet, bei denen das Ziel darin besteht, alle Ziffern in einem vollständigen Street-View-Bild zu lokalisieren und zu erkennen. Die Vollbilder (nicht nur die zugeschnittenen Ziffern) sind verfügbar, und die Begrenzungsrahmen-Annotationen ermöglichen das Training von Erkennungsmodellen. Dies hat Anwendungen in der automatisierten Adresserkennung, die für Navigationssysteme und Kartendienste wie TomTom und Waymo relevant ist. Der Datensatz wurde auch in der Forschung zur Robustheit gegenüber adversarialen Angriffen verwendet, da seine natürliche Komplexität ihn zu einem anspruchsvollen Ziel für solche Angriffe macht.
Vergleich mit anderen Datensätzen
SVHN wird oft mit MNIST verglichen, das aus 70.000 handgeschriebenen Ziffern (28x28 Graustufen) besteht. Während MNIST als „gelöst“ gilt (mit Modellen, die über 99,7 % Genauigkeit erreichen), bleibt SVHN ein anspruchsvollerer Benchmark. Die Hauptunterschiede sind: (1) SVHN-Bilder sind farbig und größer (32x32), (2) sie enthalten Hintergrundrauschen, (3) Ziffern können verzerrt und teilweise verdeckt sein, und (4) die Beschriftungsverteilung ist ausgewogener (MNIST hat ein leichtes Ungleichgewicht). SVHN ähnelt auch dem CIFAR-10-Datensatz, aber CIFAR-10 enthält allgemeine Objekte (Flugzeuge, Autos, Tiere) anstelle von Ziffern. Für Forscher, die sich für die Ziffernerkennung in realen Szenarien interessieren, ist SVHN der De-facto-Standard.
Der Datensatz wurde auch bei der Entwicklung von Systemen der künstlichen Intelligenz für die automatisierte Dokumentenverarbeitung verwendet, z. B. zum Lesen von Hausnummern aus Straßenbildern. Unternehmen wie Google DeepMind und OpenAI haben SVHN in ihrer Forschung verwendet, obwohl er häufiger mit akademischen Laboren assoziiert wird. Der Datensatz ist frei verfügbar, und seine Beliebtheit hat dazu geführt, dass er in viele Bibliotheken und Tutorials für maschinelles Lernen aufgenommen wurde.
Zukünftige Richtungen und Einschränkungen
Obwohl SVHN eine wertvolle Ressource ist, hat er Einschränkungen. Die Bilder haben eine relativ niedrige Auflösung (32x32), die feine Details möglicherweise nicht erfasst. Der Datensatz ist auch auf Ziffern beschränkt, sodass er keine Buchstaben oder andere Zeichen abdeckt. Forscher haben Erweiterungen erstellt, wie den „SVHN full“-Datensatz, der die ursprünglichen Vollbilder ohne Zuschnitt enthält. Mitte der 2020er Jahre wird SVHN immer noch häufig verwendet, aber neuere Datensätze wie Googles „Street View Text“ oder verschiedene Szene-Text-Datensätze sind für komplexere Aufgaben entstanden. Dennoch bleibt SVHN ein Standard-Einstiegspunkt für Studenten und Forscher, die sich mit Computer Vision und Deep Learning beschäftigen. Seine Einfachheit, kombiniert mit realer Komplexität, macht ihn zu einem idealen Datensatz für das Prototyping neuer Algorithmen und für Bildungszwecke.