Kuzushiji-MNIST (KMNIST) ist ein Datensatz mit 70.000 Graustufenbildern handgeschriebener japanischer Hiragana-Zeichen, jeweils 28x28 Pixel groß. Er wurde als anspruchsvollere Alternative zum klassischen MNIST-Datensatz erstellt, der handgeschriebene Ziffern enthält. KMNIST ist als direkter Ersatz für MNIST in Machine-Learning-Benchmarks konzipiert und ermöglicht es Forschern, Modelle an einer Aufgabe mit ähnlicher Struktur, aber größerer visueller Komplexität aufgrund der kursiven Natur von Hiragana zu testen.
Der Datensatz wurde 2018 von einem Forscherteam der Universität Tokio eingeführt, darunter Tarin Clanuwat, Mikel Bober-Irizar, Asanobu Kitamoto und Alex Lamb. Er wurde aus dem Kuzushiji-Datensatz abgeleitet, der über 140.000 Bilder klassischer japanischer Literatur enthält. Die KMNIST-Teilmenge konzentriert sich auf 10 Hiragana-Zeichen, die jeweils durch 7.000 Bilder repräsentiert werden (6.000 für das Training und 1.000 für Tests), was exakt der Aufteilung von MNIST entspricht.
Datenstruktur
KMNIST folgt dem gleichen Format wie MNIST: Jedes Bild ist ein 28x28 Pixel großes Graustufen-Array, mit Pixelwerten von 0 bis 255. Der Datensatz ist in 60.000 Trainingsbilder und 10.000 Testbilder aufgeteilt. Die enthaltenen 10 Zeichen sind: 'o', 'ki', 'su', 'tsu', 'na', 'ha', 'ma', 'ya', 're' und 'wo'. Diese Zeichen wurden ausgewählt, weil sie zu den häufigsten im ursprünglichen Kuzushiji-Datensatz gehören und eine ausgewogene Klassifikationsherausforderung darstellen.
Die Ersteller haben absichtlich vermieden, dieselben Zeichen wie die MNIST-Ziffern zu verwenden, um sicherzustellen, dass auf KMNIST trainierte Modelle nicht einfach gelernte Merkmale aus der Ziffernerkennung übertragen können. Die Hiragana-Zeichen weisen komplexere Strichmuster und Krümmungen auf, was die Aufgabe für traditionelle Machine-Learning-Modelle schwieriger macht.
Benchmarking und Leistung
KMNIST ist zu einem Standard-Benchmark in der Machine-Learning-Community geworden, insbesondere zur Bewertung von Neuronalen-Netzwerk-Architekturen. Beim ursprünglichen MNIST erreichen viele Modelle über 99% Genauigkeit, aber KMNIST ist deutlich schwieriger. Beispielsweise könnte ein einfaches Residual-Netzwerk auf MNIST etwa 99% erreichen, aber auf KMNIST nur etwa 95%. Dies macht KMNIST nützlich, um zwischen Modellen zu unterscheiden, die bei einfachen Aufgaben gut abschneiden, und solchen, die auf komplexere Muster generalisieren.
Forscher haben KMNIST verwendet, um verschiedene Techniken zu testen, darunter Datenerweiterung, Dropout und Batch-Normalisierung. Der Datensatz ist auch in gängigen Machine-Learning-Bibliotheken wie PyTorch und TensorFlow enthalten, was die Integration in bestehende Pipelines erleichtert.
Verwandte Datensätze
KMNIST ist Teil einer Familie von MNIST-ähnlichen Datensätzen, darunter Fashion-MNIST (Kleidungsstücke) und EMNIST (Buchstaben und Ziffern). Diese Datensätze teilen sich dasselbe Bildformat und dieselbe Aufteilung, was einen direkten Vergleich der Modellleistung über verschiedene Domänen hinweg ermöglicht. KMNIST ist einzigartig, da es sich auf eine nicht-lateinische Schrift konzentriert und eine kulturelle und sprachliche Herausforderung bietet, die andere Datensätze nicht haben.
Der ursprüngliche Kuzushiji-Datensatz, aus dem KMNIST abgeleitet ist, umfasst über 4.000 verschiedene Zeichen und wird für die Analyse historischer Dokumente verwendet. KMNIST vereinfacht dies auf ein 10-Klassen-Problem, was es für Bildungszwecke und schnelle Experimente zugänglich macht.
Anwendungen und Auswirkungen
KMNIST wurde in der Deep-Learning-Forschung und -Bildung weitgehend übernommen. Es wird oft in Einführungskursen verwendet, um Faltungs-neurale-Netzwerke zu lehren, da es anspruchsvollere Architekturen als MNIST erfordert. Der Datensatz wurde auch in Studien zu Transfer-Learning und Domänenadaptation verwendet, bei denen auf MNIST vortrainierte Modelle auf KMNIST feinabgestimmt werden.
Über das Benchmarking hinaus hat KMNIST zur Erhaltung und Erforschung des japanischen Kulturerbes beigetragen. Durch die Bereitstellung klassischer Hiragana-Zeichen in einem maschinenlesbaren Format ermöglicht es die automatisierte Analyse historischer Dokumente, was für Historiker und Linguisten wertvoll ist.
Einschränkungen und zukünftige Richtungen
Trotz seiner Nützlichkeit hat KMNIST Einschränkungen. Die 10 Zeichen repräsentieren nur einen kleinen Teil des vollständigen Hiragana-Syllabars, und die Bilder sind vorverarbeitet, um dem MNIST-Format zu entsprechen, was möglicherweise einige der ursprünglichen Strichinformationen verliert. Darüber hinaus ist der Datensatz im Vergleich zu modernen großskaligen Datensätzen relativ klein, was seine Verwendung für das Training sehr tiefer Modelle einschränken kann.
Zukünftige Arbeiten könnten die Erweiterung von KMNIST um mehr Zeichen oder die Erstellung von Varianten mit unterschiedlicher Vorverarbeitung umfassen. Ab 2025 bleibt KMNIST ein Standard-Benchmark, aber Forscher wenden sich zunehmend komplexeren Datensätzen wie CIFAR-10 oder ImageNet zu, um modernste Modelle zu bewerten. Dennoch dient KMNIST weiterhin als wertvolles Werkzeug für schnelles Prototyping und Bildungszwecke.