O banco de dados MNIST (Modified National Institute of Standards and Technology database) é um grande banco de dados de dígitos manuscritos que é comumente usado para treinar vários sistemas de processamento de imagens. O banco de dados também é amplamente usado para treinamento e teste na área de aprendizado de máquina. Ele foi criado "re-misturando" as amostras dos conjuntos de dados originais do NIST. Os criadores consideraram que, como o conjunto de treinamento do NIST foi obtido de funcionários do Census Bureau americano, enquanto o conjunto de teste foi obtido de estudantes do ensino médio americano, ele não era adequado para experimentos de aprendizado de máquina. Além disso, as imagens em preto e branco do NIST foram normalizadas para caber em uma caixa delimitadora de 28x28 pixels e passaram por anti-serrilhamento, o que introduziu níveis de cinza.
O banco de dados MNIST contém 60.000 imagens de treinamento e 10.000 imagens de teste. Metade do conjunto de treinamento e metade do conjunto de teste foram retiradas do conjunto de treinamento do NIST, enquanto a outra metade do conjunto de treinamento e a outra metade do conjunto de teste foram retiradas do conjunto de teste do NIST. Os criadores originais do banco de dados mantêm uma lista de alguns dos métodos testados nele. Em seu artigo original, eles usam uma máquina de vetores de suporte para obter uma taxa de erro de 0,8%. O conjunto de dados MNIST original contém pelo menos 4 rótulos incorretos.
História
O desenvolvimento do MNIST foi precedido por vários conjuntos de dados e benchmarks relacionados. Em 1988, um conjunto de dados de dígitos do Serviço Postal dos EUA foi construído, contendo imagens em tons de cinza de 16x16 digitalizadas a partir de códigos postais manuscritos em correspondências dos EUA que passavam pela agência postal de Buffalo, Nova York. O conjunto de treinamento tinha 7.291 imagens, e o conjunto de teste tinha 2.007, totalizando 9.298. Tanto o conjunto de treinamento quanto o de teste continham dados ambíguos, não classificáveis e classificados incorretamente. O conjunto de dados foi usado para treinar e avaliar o LeNet de 1989, uma rede neural pioneira. No conjunto de teste, dois humanos cometeram erros a uma taxa média de 2,5%.
Banco de Dados Especial
No final da década de 1980, o Census Bureau estava interessado na digitalização automática de formulários de censo manuscritos, então contratou o Image Recognition Group (IRG) no NIST para avaliar sistemas de OCR. Vários anos de trabalho resultaram em vários "Bancos de Dados Especiais" e benchmarks. De particular importância para o MNIST são o Special Database 1 (SD-1), lançado em maio de 1990, o Special Database 3 (SD-3), lançado em fevereiro de 1992, e o Special Database 7 (SD-7), ou NIST Test Data 1 (TD-1), lançado em abril de 1992. Eles foram lançados em CD-ROMs ISO-9660. Eles foram obtidos pedindo que as pessoas escrevessem em "Formulários de Amostra de Escrita Manual" (HSFs), depois digitalizando os HSFs e, em seguida, segmentando os caracteres alfanuméricos. Cada escritor escreveu um único HSF.
Cada HSF contém vários campos de entrada, nos quais as pessoas foram solicitadas a escrever. Há 34 campos: entradas de nome e data, um campo de cidade/estado, 28 campos de dígitos, um campo de maiúsculas, um campo de minúsculas e um parágrafo de texto não restrito da Constituição. Cada HSF foi digitalizado em resolução de 300 pontos por polegada (11,8 pontos por milímetro). SD-1 e SD-3 foram construídos a partir do mesmo conjunto de HSFs por 2.100 dos 3.400 trabalhadores de campo permanentes do censo como parte do censo dos Estados Unidos de 1990. SD-1 continha os campos de entrada de dados segmentados, mas não os alfanuméricos segmentados. SD-3 continha imagens binárias de 128x128 digitalizadas a partir de alfanuméricos segmentados, com 223.125 dígitos, 44.951 letras maiúsculas e 45.313 letras minúsculas.
SD-7 ou TD-1 era o conjunto de teste, e continha 58.646 imagens binárias de 128x128 escritas por 500 estudantes do ensino médio em Bethesda, Maryland. Eles foram descritos como "estudantes de matemática e ciências em uma escola secundária como um exercício curto durante a aula". Cada imagem é acompanhada por um ID inteiro único para a identidade de seu escritor. SD-7 foi lançado sem rótulos em CD-ROMs, e os rótulos foram posteriormente lançados em disquetes. Não continha os HSFs. SD-7 era difícil o suficiente para que a taxa de erro humano nele fosse de 1,5%. SD-3 era muito mais limpo e fácil de reconhecer do que as imagens em SD-7. O sete cruzado europeu (7) é muito mais abundante em SD-7 do que em SD-3. Suspeitava-se que SD-3 foi produzido por pessoas mais motivadas do que aquelas que produziram SD-7. Além disso, o segmentador de caracteres para SD-3 era um design mais antigo do que o de SD-7 e falhava com mais frequência. Suspeitava-se que os casos mais difíceis foram filtrados da construção de SD-3, já que os casos difíceis nem sequer passavam pelo segmentador. Verificou-se que sistemas de aprendizado de máquina treinados e validados em SD-3 sofreram quedas significativas de desempenho em SD-7, de uma taxa de erro de menos de 1% para cerca de 10%.
Em 1992, o NIST e o Census Bureau patrocinaram uma competição e uma conferência para determinar o estado da arte nesta indústria. Na competição, as equipes receberam SD-3 como conjunto de treinamento antes de 23 de março, SD-7 como conjunto de teste antes de 13 de abril, e deveriam enviar um ou mais sistemas para classificar SD-7 antes de 27 de abril. Um total de 45 algoritmos foram submetidos por 26 empresas de 7 países diferentes. Em 27 e 28 de maio, todas as partes que enviaram resultados se reuniram em Gaithersburg, Maryland, na Primeira Conferência de Sistemas de OCR do Censo. Observadores do FBI, IRS e USPS estavam presentes. A entrada vencedora não usou SD-3 para treinamento, mas um conjunto de treinamento proprietário muito maior, portanto não foi afetada pela mudança de distribuição. Entre as 25 entradas que usaram SD-3 para treinamento, a entrada vencedora foi um classificador de vizinho mais próximo usando uma métrica artesanal invariante a transformações euclidianas.
SD-19 foi publicado em 1995, como uma compilação de SD-1, SD-3, SD-7 e alguns dados adicionais. Continha 814.255 imagens binárias de alfanuméricos e imagens binárias de 4.169 HSFs, incluindo aqueles 500 HSFs que foram usados para gerar SD-7. Foi atualizado em 2016.
MNIST
O MNIST foi construído em algum momento antes do verão de 1994. Foi construído misturando imagens binárias de 128x128 de SD-3 e SD-7. Especificamente, eles primeiro pegaram todas as imagens de SD-7 e as dividiram em um conjunto de treinamento e um conjunto de teste, cada um de 250 escritores. Isso resultou em quase 30.000 imagens em cada conjunto. Eles então adicionaram mais imagens de SD-3 até que cada conjunto contivesse exatamente 60.000 imagens.
Cada imagem foi normalizada em tamanho para caber em uma caixa de 20x20 pixels, preservando sua proporção de aspecto, e passou por anti-serrilhamento para tons de cinza. Em seguida, foi colocada em uma imagem de 28x28, transladando-a até que o centro de massa dos pixels estivesse no centro da imagem. Os detalhes de como o processo de redução de amostragem ocorreu foram reconstruídos. O conjunto de treinamento e o conjunto de teste originalmente tinham 60 mil amostras cada, mas 50 mil amostras do conjunto de teste foram descartadas, e apenas as amostras indexadas de 24476 a 34475 foram usadas, resultando em apenas 10 mil amostras no conjunto de teste.
Versões posteriores
Em 2019, o conjunto de teste completo de 60 mil do MNIST foi restaurado para construir o QMNIST, que tem 60 mil imagens no conjunto de treinamento e 60 mil no conjunto de teste. O Extended MNIST (EMNIST) é um conjunto de dados mais novo desenvolvido e lançado pelo NIST para ser o sucessor (final) do MNIST, lançado em 2017. O MNIST incluía apenas imagens de dígitos manuscritos. O EMNIST foi construído a partir de todas as imagens em SD-19, incluindo letras e dígitos, e fornece um benchmark mais desafiador para pesquisas em aprendizado profundo e inteligência artificial.