Die MNIST-Datenbank (Modified National Institute of Standards and Technology database) ist eine große Datenbank handschriftlicher Ziffern, die häufig zum Training verschiedener Bildverarbeitungssysteme verwendet wird. Sie wird auch häufig für Training und Tests im Bereich des maschinellen Lernens eingesetzt. Die Datenbank wurde durch „Remixing" der Stichproben aus NISTs ursprünglichen Datensätzen erstellt, da die Ersteller der Meinung waren, dass der ursprüngliche Trainingsdatensatz, der von Mitarbeitern des US-amerikanischen Census Bureau stammte, und der Testdatensatz, der von US-amerikanischen Highschool-Schülern stammte, für Experimente zum maschinellen Lernen nicht gut geeignet waren. Die Schwarz-Weiß-Bilder von NIST wurden normalisiert, um in eine 28x28-Pixel-Begrenzungsbox zu passen, und geglättet (Anti-Aliasing), was Graustufen einführte.
Die MNIST-Datenbank enthält 60.000 Trainingsbilder und 10.000 Testbilder. Die Hälfte des Trainingssatzes und die Hälfte des Testsatzes stammten aus NISTs Trainingsdatensatz, während die andere Hälfte jeweils aus NISTs Testdatensatz stammte. Die ursprünglichen Ersteller pflegen eine Liste der Methoden, die damit getestet wurden; in ihrer ursprünglichen Arbeit verwendeten sie eine Support-Vector-Machine, um eine Fehlerrate von 0,8 % zu erreichen. Der ursprüngliche MNIST-Datensatz enthält mindestens vier falsche Beschriftungen.
Geschichte
USPS-Datenbank
1988 wurde ein Datensatz mit Ziffern des US-Postdienstes erstellt. Er enthielt 16×16-Graustufenbilder, die aus handschriftlichen Postleitzahlen auf US-Post digitalisiert wurden, die durch das Postamt in Buffalo, New York, lief. Der Trainingssatz hatte 7.291 Bilder, der Testsatz 2.007, insgesamt 9.298. Beide Sätze enthielten mehrdeutige, nicht klassifizierbare und falsch klassifizierte Daten. Dieser Datensatz wurde verwendet, um das 1989er LeNet zu trainieren und zu bewerten. Die Aufgabe war schwierig; beim Testsatz machten zwei Menschen Fehler mit einer durchschnittlichen Rate von 2,5 %.
Spezialdatenbank
In den späten 1980er Jahren war das Census Bureau an der automatischen Digitalisierung handschriftlicher Volkszählungsformulare interessiert und beauftragte die Image Recognition Group (IRG) bei NIST mit der Bewertung von OCR-Systemen. Mehrjährige Arbeit führte zu mehreren „Spezialdatenbanken" und Benchmarks. Von besonderer Bedeutung für MNIST sind Spezialdatenbank 1 (SD-1), veröffentlicht im Mai 1990, Spezialdatenbank 3 (SD-3), veröffentlicht im Februar 1992, und Spezialdatenbank 7 (SD-7) oder NIST-Testdaten 1 (TD-1), veröffentlicht im April 1992. Sie wurden auf ISO-9660-CD-ROMs veröffentlicht. Die Daten wurden gewonnen, indem Personen gebeten wurden, auf „Handwriting Sample Forms" (HSFs) zu schreiben, die Formulare dann digitalisiert und die alphanumerischen Zeichen segmentiert wurden. Jeder Schreiber schrieb ein einzelnes HSF.
Jedes HSF enthält mehrere Eingabefelder, darunter Namens- und Datumseinträge, ein Stadt/Bundesstaat-Feld, 28 Ziffernfelder, ein Großbuchstabenfeld, ein Kleinbuchstabenfeld und einen unbegrenzten Verfassungstextabsatz. Jedes HSF wurde mit einer Auflösung von 300 Punkten pro Zoll (11,8 Punkte pro Millimeter) gescannt.
SD-1 und SD-3 wurden aus demselben Satz von HSFs von 2.100 von 3.400 ständigen Volkszählungsfeldarbeitern im Rahmen der US-Volkszählung von 1990 erstellt. SD-1 enthielt die segmentierten Dateneingabefelder, aber nicht die segmentierten alphanumerischen Zeichen. SD-3 enthielt binäre 128×128-Bilder, die aus segmentierten alphanumerischen Zeichen digitalisiert wurden, mit 223.125 Ziffern, 44.951 Großbuchstaben und 45.313 Kleinbuchstaben.
SD-7 (oder TD-1) war der Testsatz und enthielt 58.646 binäre 128×128-Bilder, die von 500 Highschool-Schülern in Bethesda, Maryland, geschrieben wurden, beschrieben als „Mathe- und Naturwissenschaftsschüler an einer Highschool als kurze Übung während des Unterrichts". Jedes Bild wurde von einer eindeutigen ganzzahligen ID für die Identität des Schreibers begleitet. SD-7 wurde ohne Beschriftungen auf CD-ROMs veröffentlicht, wobei die Beschriftungen später auf Disketten veröffentlicht wurden. Es enthielt keine HSFs. Die menschliche Fehlerrate bei SD-7 betrug 1,5 %.
SD-3 war viel sauberer und leichter zu erkennen als SD-7. Das europäische durchgestrichene Sieben (7) war in SD-7 weitaus häufiger als in SD-3. Es wurde vermutet, dass SD-3 von motivierteren Personen erstellt wurde als SD-7 und dass der Zeichensegmentierer für SD-3, ein älteres Design, häufiger versagte und schwierigere Instanzen herausfilterte. Maschinelle Lernsysteme, die auf SD-3 trainiert und validiert wurden, erlitten erhebliche Leistungseinbußen bei SD-7, mit einer Fehlerrate von weniger als 1 % auf etwa 10 %.
1992 sponserten NIST und das Census Bureau einen Wettbewerb und eine Konferenz, um den Stand der Technik zu bestimmen. Die Teams erhielten SD-3 als Trainingssatz vor dem 23. März, SD-7 als Testsatz vor dem 13. April und sollten Systeme zur Klassifizierung von SD-7 vor dem 27. April einreichen. Insgesamt wurden 45 Algorithmen von 26 Unternehmen aus 7 Ländern eingereicht. Am 27. und 28. Mai kamen alle Parteien in Gaithersburg, Maryland, zur First Census OCR Systems Conference zusammen, mit Beobachtern von FBI, IRS und USPS. Der Siegerbeitrag verwendete SD-3 nicht zum Training, sondern einen viel größeren proprietären Trainingssatz, wodurch die Verteilungsverschiebung vermieden wurde. Unter den 25 Beiträgen, die SD-3 verwendeten, war der Gewinner ein Nächste-Nachbarn-Klassifikator mit einer handgefertigten Metrik, die unter euklidischen Transformationen invariant war.
SD-19 wurde 1995 als Zusammenstellung von SD-1, SD-3, SD-7 und weiteren Daten veröffentlicht. Es enthielt 814.255 binäre Bilder von alphanumerischen Zeichen und binäre Bilder von 4.169 HSFs, einschließlich der 500 HSFs, die zur Erzeugung von SD-7 verwendet wurden. Es wurde 2016 aktualisiert.
Konstruktion von MNIST
MNIST wurde irgendwann vor Sommer 1994 durch Mischen von 128x128-Binärbildern aus SD-3 und SD-7 erstellt. Konkret nahmen die Ersteller zunächst alle Bilder aus SD-7 und teilten sie in einen Trainingssatz und einen Testsatz auf, jeweils von 250 Schreibern, was zu fast 30.000 Bildern in jedem Satz führte. Dann fügten sie weitere Bilder aus SD-3 hinzu, bis jeder Satz genau 60.000 Bilder enthielt.
Jedes Bild wurde größenormalisiert, um in eine 20x20-Pixel-Box zu passen, während das Seitenverhältnis beibehalten wurde, und zu Graustufen geglättet. Dann wurde es in ein 28x28-Bild platziert, indem es verschoben wurde, bis der Massenschwerpunkt der Pixel im Zentrum des Bildes lag. Die Details des Downsampling-Verfahrens wurden später rekonstruiert.
Der Trainingssatz und der Testsatz hatten ursprünglich jeweils 60.000 Stichproben, aber 50.000 der Testsatz-Stichproben wurden verworfen, sodass nur die Stichproben mit den Indizes 24.476 bis 34.475 übrig blieben, was nur 10.000 Stichproben im Testsatz ergibt.
Weitere Versionen
2019 wurde der vollständige 60.000er-Testsatz von MNIST wiederhergestellt, um QMNIST zu konstruieren, das 60.000 Bilder im Trainingssatz und 60.000 im Testsatz hat.
Extended MNIST (EMNIST) ist ein neuerer Datensatz, der von NIST als Nachfolger von MNIST entwickelt und veröffentlicht wurde, veröffentlicht 2017. Während MNIST nur handschriftliche Ziffern enthielt, wurde EMNIST aus allen Bildern in SD-19 konstruiert, einschließlich Buchstaben und Ziffern, und bietet einen anspruchsvolleren Benchmark für die Forschung im Bereich Deep Learning und künstlicher Intelligenz.
Vermächtnis
MNIST ist zu einem grundlegenden Benchmark in der Ausbildung und Forschung im Bereich maschinelles Lernen geworden und wird oft als erster Test für neue Algorithmen und Architekturen verwendet. Seine Einfachheit und geringe Größe machen es ideal für die Vermittlung von Konzepten im Training und der Bewertung von neuronalen Netzen. Die weit verbreitete Annahme des Datensatzes hat die Entwicklung nachfolgender Benchmarks beeinflusst und zum Wachstum des Feldes beigetragen, einschließlich Fortschritten im Bereich Deep Learning und generativer KI.