Kuzushiji-MNIST ist ein Benchmark-Datensatz für die Bildklassifikation im maschinellen Lernen und Deep Learning. Er besteht aus 70.000 Graustufenbildern mit 28x28 Pixeln von handgeschriebenen japanischen Hiragana-Zeichen, aufgeteilt in einen Trainingssatz mit 60.000 Stichproben und einen Testsatz mit 10.000 Stichproben. Der Datensatz wurde als moderne Alternative zum klassischen MNIST-Datensatz handgeschriebener Ziffern erstellt, der seit den späten 1990er Jahren weit verbreitet zur Bewertung von Neuronalen-Netzwerk-Algorithmen verwendet wird. Kuzushiji-MNIST behält die gleichen Bildabmessungen, das gleiche Datenformat und die gleiche Anzahl von Klassen (10) wie das ursprüngliche MNIST bei, was ihn zu einem direkten Ersatz für Forscher macht, die Modelle an einer anspruchsvolleren und kulturell bedeutsamen Aufgabe testen möchten.
Der Datensatz wurde 2018 von einem Forscherteam der Universität Tokio und des Nationalen Instituts für japanische Literatur unter der Leitung von Tarin Clanuwat und Kollegen eingeführt. Er wurde zusammen mit zwei verwandten Datensätzen veröffentlicht: Kuzushiji-49, der 49 Klassen von Hiragana-Zeichen enthält, und Kuzushiji-Kanji, der 3.832 Klassen von kursiven Kanji umfasst. Die Hauptmotivation war die Lösung des Problems der optischen Zeichenerkennung (OCR) für historische japanische Dokumente, die in einer kursiven Schrift namens Kuzushiji verfasst sind. Diese Schrift wurde vom 8. bis zum 19. Jahrhundert weit verbreitet verwendet, wurde jedoch nach Bildungsreformen im Jahr 1900 weitgehend aufgegeben, sodass Millionen historischer Texte für moderne japanische Sprecher unlesbar sind.
Design und Konstruktion
Die Bilder in Kuzushiji-MNIST wurden aus einem großen Korpus gescannter historischer japanischer Bücher und Manuskripte abgeleitet. Die Forscher verwendeten eine Kombination aus automatischer Segmentierung und manueller Annotation, um einzelne Zeichenbilder aus diesen Dokumenten zu extrahieren. Jedes Bild wurde dann auf 28x28 Pixel verkleinert und in Graustufen umgewandelt, wobei die Pixelwerte von 0 (schwarz) bis 255 (weiß) reichen, was exakt dem Format des ursprünglichen MNIST-Datensatzes entspricht. Die 10 Klassen entsprechen den zehn häufigsten Hiragana-Zeichen im Korpus, nämlich: 'o', 'ki', 'su', 'tsu', 'na', 'ha', 'ma', 'ya', 're' und 'wo'. Diese Zeichen wurden ausgewählt, um Klassenhäufigkeit und visuelle Unterscheidbarkeit auszugleichen, wodurch sichergestellt wird, dass die Klassifikationsaufgabe weder trivial noch unmöglich schwierig ist.
Der Datensatz wird in einem binären Format verteilt, das identisch mit dem ursprünglichen MNIST ist, mit separaten Dateien für Trainingsbilder, Trainingslabels, Testbilder und Testlabels. Diese Kompatibilität ermöglicht es Forschern, bestehende Code- und Pipeline-Implementierungen für MNIST ohne Änderungen zu verwenden, indem sie einfach die neuen Datendateien austauschen. Die Ersteller stellten auch ein Python-Loader-Skript und eine detaillierte README-Datei bereit, um die einfache Integration in gängige Deep-Learning-Frameworks wie PyTorch und TensorFlow zu erleichtern.
Benchmark-Leistung
Seit seiner Veröffentlichung ist Kuzushiji-MNIST zu einem Standard-Benchmark für die Bewertung von Bildklassifikationsmodellen geworden, insbesondere im Kontext von Datenaugmentierung und Residualnetzwerk-Architekturen. Die Aufgabe ist deutlich schwieriger als das ursprüngliche MNIST, da die Hiragana-Zeichen eine größere Intra-Klassen-Variation und visuelle Ähnlichkeit zwischen verschiedenen Klassen aufweisen. Zum Beispiel werden die Zeichen für 'su' und 'tsu' oft sogar von menschlichen Lesern verwechselt, die mit Kuzushiji nicht vertraut sind. Infolgedessen schneiden einfache Modelle, die auf MNIST nahezu perfekte Genauigkeit erreichen, auf Kuzushiji-MNIST typischerweise deutlich schlechter ab, was es zu einem empfindlicheren Test für Modellkapazität und Generalisierung macht.
State-of-the-Art-Ergebnisse auf Kuzushiji-MNIST wurden mit faltenden neuronalen Netzen (CNNs) mit Batch-Normalisierung und Dropout-Regularisierung erzielt. Stand 2024 liegt die beste berichtete Testgenauigkeit bei etwa 99,5 %, erreicht durch ein Ensemble von Residualnetzwerken mit umfangreicher Datenaugmentierung. Der Datensatz bleibt jedoch herausfordernd für leichtgewichtige Modelle und für Ansätze, die auf handgefertigten Merkmalen basieren, die oft bei Genauigkeiten unter 95 % stagnieren. Der Benchmark wurde auch verwendet, um die Auswirkungen von Lernratenplänen und Gewichtsinitialisierungs-Strategien sowie die Robustheit von Modellen gegenüber Labelrauschen zu untersuchen.
Anwendungen und Auswirkungen
Die primäre Anwendung von Kuzushiji-MNIST ist ein Forschungswerkzeug zur Weiterentwicklung der OCR-Technologie für historische japanische Dokumente. Das breitere Kuzushiji-Projekt, aus dem der Datensatz abgeleitet ist, zielt darauf ab, die Millionen von Büchern und Manuskripten, die in Kuzushiji verfasst sind und derzeit der Öffentlichkeit nicht zugänglich sind, zu digitalisieren und durchsuchbar zu machen. Durch die Bereitstellung eines standardisierten Benchmarks hat der Datensatz es Forschern weltweit ermöglicht, Algorithmen zur Erkennung kursiver Zeichen zu entwickeln und zu vergleichen, was ein entscheidender Schritt zur automatisierten Transkription dieser Texte ist.
Über seine direkte Anwendung hinaus wurde Kuzushiji-MNIST als allgemeiner Testumgebung in der maschinellen Lern-Bildung und -Forschung übernommen. Seine Ähnlichkeit mit MNIST macht es zu einer zugänglichen Einführung in die Bildklassifikation, während seine erhöhte Schwierigkeit die Erkundung fortgeschrittener Techniken fördert. Der Datensatz wurde in Hunderten von akademischen Arbeiten zitiert und ist in beliebten Bibliotheken für maschinelles Lernen und Kursmaterialien enthalten. Er wurde auch verwendet, um die Übertragbarkeit von Modellen zu bewerten, die auf anderen Zeichendatensätzen wie dem lateinischen Alphabet oder chinesischen Zeichen trainiert wurden, und bietet Einblicke in die Generalisierung über Schriften hinweg.
Verwandte Datensätze und Erweiterungen
Die Ersteller von Kuzushiji-MNIST veröffentlichten auch Kuzushiji-49, der alle 49 Hiragana-Zeichen enthält, und Kuzushiji-Kanji, der 3.832 Kanji-Zeichen abdeckt. Diese Datensätze sind größer und komplexer, wobei Kuzushiji-Kanji über 140.000 Bilder enthält. Sie sind für fortgeschrittenere OCR-Aufgaben und für das Training von Modellen gedacht, die die gesamte Bandbreite der in historischen Dokumenten vorkommenden Zeichen bewältigen können. Darüber hinaus hat das Kuzushiji-Projekt einen großen annotierten Korpus historischer Texte veröffentlicht, bekannt als der Kuzushiji-Datensatz, der Ganzseitenbilder mit zeichenbezogenen Begrenzungsrahmen enthält. Diese Ressource wurde in Wettbewerben und gemeinsamen Forschungsanstrengungen verwendet, um End-to-End-Transkriptionssysteme zu entwickeln.
In der Gemeinschaft des maschinellen Lernens hat Kuzushiji-MNIST ähnliche Bemühungen inspiriert, kulturell vielfältige Benchmarks zu erstellen, wie den EMNIST-Datensatz für handgeschriebene Buchstaben und den Fashion-MNIST-Datensatz für Kleidungsbilder. Diese Datensätze teilen das gleiche Format und die gleiche Größe wie das ursprüngliche MNIST, was einen direkten Vergleich der Modellleistung über verschiedene Domänen hinweg ermöglicht. Der Erfolg von Kuzushiji-MNIST hat den Wert der Erhaltung und Digitalisierung historischer Schriften hervorgehoben, und er dient weiterhin als Brücke zwischen kulturellem Erbe und moderner Künstliche-Intelligenz-Forschung.