Die MNIST-Datenbank (Modified National Institute of Standards and Technology database) ist eine große Datenbank handschriftlicher Ziffern, die häufig zum Training verschiedener Bildverarbeitungssysteme verwendet wird. Die Datenbank wird auch häufig für Training und Tests im Bereich des maschinellen Lernens verwendet. Sie wurde durch "Remixen" der Stichproben aus den ursprünglichen Datensätzen des NIST erstellt. Die Ersteller waren der Ansicht, dass der Trainingsdatensatz des NIST, der von Mitarbeitern des US-amerikanischen Census Bureau stammte, während der Testdatensatz von US-amerikanischen Highschool-Schülern stammte, für Experimente zum maschinellen Lernen nicht gut geeignet war. Darüber hinaus wurden die Schwarz-Weiß-Bilder des NIST normalisiert, um in eine 28x28-Pixel-Begrenzungsbox zu passen, und geglättet (Anti-Aliasing), was Graustufen einführte.
Die MNIST-Datenbank enthält 60.000 Trainingsbilder und 10.000 Testbilder. Die Hälfte des Trainingssatzes und die Hälfte des Testsatzes stammen aus dem Trainingsdatensatz des NIST, während die andere Hälfte des Trainingssatzes und die andere Hälfte des Testsatzes aus dem Testdatensatz des NIST stammen. Die ursprünglichen Ersteller der Datenbank führen eine Liste einiger darauf getesteter Methoden. In ihrer ursprünglichen Arbeit verwenden sie eine Support-Vector-Machine, um eine Fehlerrate von 0,8 % zu erzielen. Der ursprüngliche MNIST-Datensatz enthält mindestens 4 falsche Beschriftungen.
Geschichte
Die Entwicklung von MNIST wurde von mehreren verwandten Datensätzen und Benchmarks vorweggenommen. 1988 wurde ein Datensatz mit Ziffern des US-Postdienstes erstellt, der 16x16-Graustufenbilder enthielt, die aus handschriftlichen Postleitzahlen auf US-Post digitalisiert wurden, die durch das Postamt in Buffalo, New York, liefen. Der Trainingssatz hatte 7.291 Bilder, der Testsatz 2.007, insgesamt also 9.298. Sowohl Trainings- als auch Testsatz enthielten mehrdeutige, nicht klassifizierbare und falsch klassifizierte Daten. Der Datensatz wurde verwendet, um das 1989er LeNet zu trainieren und zu bewerten, ein bahnbrechendes neuronales Netzwerk. Im Testsatz machten zwei Menschen Fehler mit einer durchschnittlichen Rate von 2,5 %.
Spezialdatenbank
In den späten 1980er Jahren war das Census Bureau an der automatischen Digitalisierung handschriftlicher Volkszählungsformulare interessiert, daher beauftragte es die Image Recognition Group (IRG) am NIST mit der Bewertung von OCR-Systemen. Mehrjährige Arbeit führte zu mehreren "Spezialdatenbanken" und Benchmarks. Von besonderer Bedeutung für MNIST sind Spezialdatenbank 1 (SD-1), veröffentlicht im Mai 1990, Spezialdatenbank 3 (SD-3), veröffentlicht im Februar 1992, und Spezialdatenbank 7 (SD-7) oder NIST-Testdaten 1 (TD-1), veröffentlicht im April 1992. Sie wurden auf ISO-9660-CD-ROMs veröffentlicht. Sie wurden erstellt, indem Personen gebeten wurden, auf "Handwriting Sample Forms" (HSFs) zu schreiben, die HSFs dann digitalisiert und anschließend die alphanumerischen Zeichen segmentiert wurden. Jeder Schreiber schrieb ein einzelnes HSF.
Jedes HSF enthält mehrere Eingabefelder, in die Personen gebeten wurden zu schreiben. Es gibt 34 Felder: Namens- und Datumseinträge, ein Stadt/Bundesstaat-Feld, 28 Ziffernfelder, ein Großbuchstabenfeld, ein Kleinbuchstabenfeld und einen uneingeschränkten Verfassungstextabsatz. Jedes HSF wurde mit einer Auflösung von 300 Punkten pro Zoll (11,8 Punkte pro Millimeter) gescannt. SD-1 und SD-3 wurden aus demselben Satz von HSFs von 2.100 von 3.400 festangestellten Census-Feldarbeitern im Rahmen der US-Volkszählung von 1990 erstellt. SD-1 enthielt die segmentierten Dateneingabefelder, aber nicht die segmentierten alphanumerischen Zeichen. SD-3 enthielt binäre 128x128-Bilder, die aus segmentierten alphanumerischen Zeichen digitalisiert wurden, mit 223.125 Ziffern, 44.951 Großbuchstaben und 45.313 Kleinbuchstaben.
SD-7 oder TD-1 war der Testsatz und enthielt 58.646 binäre 128x128-Bilder, die von 500 Highschool-Schülern in Bethesda, Maryland, geschrieben wurden. Sie wurden als "Mathe- und Naturwissenschaftsschüler einer Highschool als kurze Übung während des Unterrichts" beschrieben. Jedes Bild wird von einer eindeutigen ganzzahligen ID für die Identität seines Schreibers begleitet. SD-7 wurde ohne Beschriftungen auf CD-ROMs veröffentlicht, und die Beschriftungen wurden später auf Disketten veröffentlicht. Es enthielt keine HSFs. SD-7 war schwierig genug, dass die menschliche Fehlerrate darauf 1,5 % betrug. SD-3 war viel sauberer und leichter zu erkennen als die Bilder in SD-7. Die europäische durchgestrichene Sieben (7) ist in SD-7 weitaus häufiger als in SD-3. Es wurde vermutet, dass SD-3 von motivierteren Personen erstellt wurde als diejenigen, die SD-7 erstellten. Außerdem war der Zeichensegmentierer für SD-3 ein älteres Design als der von SD-7 und versagte häufiger. Es wurde vermutet, dass die schwierigeren Instanzen aus der Konstruktion von SD-3 herausgefiltert wurden, da die schwierigen Instanzen den Segmentierer nicht einmal passierten. Es wurde festgestellt, dass maschinelle Lernsysteme, die auf SD-3 trainiert und validiert wurden, auf SD-7 erhebliche Leistungseinbußen erlitten, von einer Fehlerrate von weniger als 1 % auf etwa 10 %.
1992 sponserten das NIST und das Census Bureau einen Wettbewerb und eine Konferenz, um den Stand der Technik in dieser Branche zu bestimmen. Im Wettbewerb erhielten die Teams vor dem 23. März SD-3 als Trainingssatz, vor dem 13. April SD-7 als Testsatz und mussten vor dem 27. April ein oder mehrere Systeme zur Klassifizierung von SD-7 einreichen. Insgesamt wurden 45 Algorithmen von 26 Unternehmen aus 7 verschiedenen Ländern eingereicht. Am 27. und 28. Mai kamen alle Parteien, die Ergebnisse eingereicht hatten, in Gaithersburg, Maryland, zur ersten Census-OCR-Systemkonferenz zusammen. Beobachter von FBI, IRS und USPS waren anwesend. Der Gewinnerbeitrag verwendete SD-3 nicht für das Training, sondern einen viel größeren proprietären Trainingssatz und war daher nicht von der Verteilungsverschiebung betroffen. Unter den 25 Beiträgen, die SD-3 für das Training verwendeten, war der Gewinnerbeitrag ein Nächste-Nachbarn-Klassifikator mit einer handgefertigten Metrik, die gegenüber euklidischen Transformationen invariant ist.
SD-19 wurde 1995 als Zusammenstellung von SD-1, SD-3, SD-7 und einigen weiteren Daten veröffentlicht. Es enthielt 814.255 binäre Bilder von alphanumerischen Zeichen und binäre Bilder von 4.169 HSFs, einschließlich der 500 HSFs, die zur Erzeugung von SD-7 verwendet wurden. Es wurde 2016 aktualisiert.
MNIST
Die MNIST wurde irgendwann vor Sommer 1994 erstellt. Sie wurde durch Mischen von 128x128-Binärbildern aus SD-3 und SD-7 konstruiert. Konkret nahmen sie zunächst alle Bilder aus SD-7 und teilten sie in einen Trainingssatz und einen Testsatz auf, jeweils von 250 Schreibern. Dies ergab fast 30.000 Bilder in jedem Satz. Dann fügten sie weitere Bilder aus SD-3 hinzu, bis jeder Satz genau 60.000 Bilder enthielt.
Jedes Bild wurde größenormalisiert, um in eine 20x20-Pixel-Box zu passen, während das Seitenverhältnis beibehalten wurde, und zur Graustufendarstellung geglättet. Dann wurde es in ein 28x28-Bild eingefügt, indem es verschoben wurde, bis der Schwerpunkt der Pixel in der Bildmitte liegt. Die Details, wie das Downsampling ablief, wurden rekonstruiert. Der Trainingssatz und der Testsatz hatten ursprünglich jeweils 60.000 Stichproben, aber 50.000 der Testsatz-Stichproben wurden verworfen, und nur die Stichproben mit den Indizes 24476 bis 34475 wurden verwendet, was nur 10.000 Stichproben im Testsatz ergibt.
Weitere Versionen
Im Jahr 2019 wurde der vollständige 60.000er-Testsatz von MNIST wiederhergestellt, um das QMNIST zu konstruieren, das 60.000 Bilder im Trainingssatz und 60.000 im Testsatz hat. Extended MNIST (EMNIST) ist ein neuerer Datensatz, der vom NIST entwickelt und veröffentlicht wurde, um der (endgültige) Nachfolger von MNIST zu sein, veröffentlicht 2017. MNIST enthielt nur Bilder handschriftlicher Ziffern. EMNIST wurde aus allen Bildern in SD-19 konstruiert, einschließlich Buchstaben sowie Ziffern, und bietet einen anspruchsvolleren Benchmark für die Forschung im Bereich Deep Learning und künstlicher Intelligenz.