Die MNIST-Datenbank (Datenbank des Modified National Institute of Standards and Technology) ist eine große Sammlung von Bildern handgeschriebener Ziffern, die häufig zum Trainieren und Testen von Bildverarbeitungs- und maschinellen Lernsystemen verwendet wird. Sie wurde durch das Neu-Mischen von Stichproben aus den ursprünglichen NIST-Datensätzen erstellt und entwickelt, um die Einschränkungen der NIST-Trainingsdaten, die von Mitarbeitern des US-amerikanischen Census Bureau stammten, und der Testdaten, die von US-amerikanischen Highschool-Schülern stammten, zu beheben, was sie für maschinelle Lern-Experimente ungeeignet machte. Die Schwarz-Weiß-Bilder wurden auf 28x28-Pixel-Begrenzungsrahmen normalisiert und anti-aliased, wodurch Graustufen eingeführt wurden.
MNIST enthält 60.000 Trainingsbilder und 10.000 Testbilder, wobei die Hälfte jedes Satzes aus NIST-Trainingsdaten und die andere Hälfte aus NIST-Testdaten stammt. Die Ersteller pflegen eine Liste von Methoden, die auf dem Datensatz getestet wurden, und ihre ursprüngliche Arbeit berichtete eine Fehlerrate von 0,8% unter Verwendung einer Support-Vector-Machine. Der ursprüngliche MNIST-Datensatz enthält mindestens vier falsche Beschriftungen, eine bekannte Eigenheit.
Vorgänger und Ursprünge
Vor MNIST bot die USPS-Datenbank (1988) einen kleineren Zifferndatensatz aus handgeschriebenen Postleitzahlen auf US-amerikanischer Post. Sie enthielt 16x16-Graustufenbilder, mit 7.291 Trainings- und 2.007 Testbildern, insgesamt 9.298. Dieser Datensatz enthielt mehrdeutige und falsch klassifizierte Stichproben und war herausfordernd, mit einer durchschnittlichen menschlichen Fehlerrate von 2,5%. Er wurde verwendet, um die frühe LeNet-Architektur von 1989 zu trainieren.
In den späten 1980er-Jahren versuchte das Census Bureau, die Digitalisierung handgeschriebener Formulare zu automatisieren, und beauftragte die NIST-Bilderkennungsgruppe mit der Bewertung von OCR-Systemen. Ihre Arbeit produzierte mehrere Spezialdatenbanken: SD-1 (1990), SD-3 (1992) und SD-7 (1992). Diese wurden aus Handschrift-Probenformularen (HSFs) erstellt, die bei 300 dpi gescannt wurden, mit verschiedenen Feldern für Namen, Ziffern und Buchstaben. SD-3 enthielt 128x128-Binärbilder segmentierter alphanumerischer Zeichen, einschließlich 223.125 Ziffern, und stammte von Volkszählungsarbeitern. SD-7, der Testsatz, hatte 58.646 Bilder von 500 Highschool-Schülern, mit einer menschlichen Fehlerrate von 1,5%. Bemerkenswerterweise war SD-3 sauberer und einfacher, aber maschinelle Lernsysteme, die auf SD-3 trainiert wurden, zeigten Leistungseinbrüche auf etwa 10% Fehler auf SD-7, was Verteilungsverschiebungen hervorhob.
Ein Wettbewerb von 1992 der NIST verwendete SD-3 als Trainingsdaten und SD-7 als Testsatz, mit 45 Algorithmen von 26 Unternehmen. Der Siegerbeitrag verwendete einen proprietären Trainingssatz, während das beste unter den SD-3-trainierten Systemen ein Nächster-Nachbar-Klassifikator mit einer invarianten Metrik war. SD-19 (1995) kombinierte mehrere Spezialdatenbanken und enthielt 814.255 Bilder.
##Erstellung von MNIST
Irgendwann vor dem Sommer 1994 wurde MNIST aus SD-3 und SD-7 konstruiert. Die Ersteller teilten die Bilder von SD-7 in Trainings- und Testsätze, jeweils von 250 Schreibern, was fast 30.000 Bilder ergab. Sie ergänzten dann jeden mit SD-3-Bildern, um 60.000 Stichproben pro Satz zu erreichen. Alle Bilder wurden größenormalisiert auf die 20x20-Pixel-Box, unter Beibehaltung des Seitenverhältnisses, und anti-aliased zu Graustufen, dann in einem 28x28-Bild zentriert, indem sie auf den Massenschwerpunkt ausgerichtet wurden. Die Details der Herunterabtastung wurden später rekonstruiert.
Ursprünglich hatten sowohl der Trainings- als auch der Testsatz 60.000 Stichproben, aber um die Testsetzgröße zu reduzieren, wurden 50.000 Stichproben verworfen, wobei nur die Indizes 24476 bis 34475 behalten wurden, was 10.000 Testbilder ergab.
##Bewertung und Auswirkungen
MNIST wurde zu einer Standard-Baseline in der Machine learning- und Deep learning-Forschung. Es wird weit verbreitet verwendet, um Algorithmen zu vergleichen, von einfachen linearen Modellen bis zu komplexen Neural network-Modellen. Die kleine Bildgröße des Datensatzes und die moderate Anzahl von Klassen machen ihn ideal für Prototyping. Seine öffentliche Verfügbarkeit und klaren Benchmarks haben ihn zu einem häufigen Bildungsinstrument gemacht.
##Vermächtnis und Nachfolger
Extended MNIST (EMNIST) ist ein neuerer Datensatz, der von NIST entwickelt wurde, veröffentlicht im Jahr 2017, als Nachfolger von MNIST. Er enthält handgeschriebene Ziffern und Buchstaben, mit breiteren Kategorien. Im Jahr 2019 wurde der vollständige 60.000-Testsatz von MNIST wiederhergestellt, um QMNIST zu erstellen, was einen größeren Testsatz für die Forschung bietet. Diese Ableitungen behalten die Struktur von MNIST bei, während sie seine Vielfalt erweitern.
##Siehe auch
##Referenzen
- Ursprüngliche MNIST-Arbeit von Yann LeCun et al., 1998 (in Quellfakten bereitgestellt).
- NIST-Spezialdatenbank-Publikationen und OCR-Benchmark-Berichte.