A base de dados MNIST (Modified National Institute of Standards and Technology database) é uma grande coleção de imagens de dígitos manuscritos, comumente usada para treinar e testar sistemas de processamento de imagens e aprendizado de máquina. Criada ao remisturar amostras dos conjuntos de dados originais do NIST, foi projetada para abordar as limitações dos dados de treinamento do NIST, que vinham de funcionários do Census Bureau americano, e seus dados de teste, de estudantes de ensino médio americanos, tornando-a inadequada para experimentos de aprendizado de máquina. As imagens em preto e branco foram normalizadas para caixas delimitadoras de 28x28 pixels e suavizadas, introduzindo níveis de escala de cinza.
MNIST contém 60.000 imagens de treinamento e 10.000 imagens de teste, com metade de cada conjunto provindo dos dados de treinamento do NIST e metade de seus dados de teste. Os criadores mantêm uma lista de métodos testados no conjunto de dados, e seu artigo original relatou uma taxa de erro de 0,8% usando uma máquina de vetores de suporte. O conjunto original do MNIST inclui pelo menos quatro rótulos incorretos, uma peculiaridade bem conhecida.
Predecessores e Origens
Antes do MNIST, a base de dados USPS (1988) forneceu um conjunto menor de dígitos derivado de códigos postais manuscritos em correspondências dos EUA. Ela continha imagens em escala de cinza de 16x16, com 7.291 imagens de treinamento e 2.007 de teste, totalizando 9.298. Este conjunto incluía amostras ambígu e classificações errôneas, sendo desafiador, com taxas de erro humano em média de 2,5%. Ele foi usado para treinar a arquitetura LeNet inicial de 1989.
No final da década de 1980, o Census Bureau procurou automatizar a digitalização de formulários manuscritos, contratando o grupo de reconhecimento de imagens do NIST para avaliar sistemas de OCR. O trabalho deles produziu várias bases de dados especiais: SD-1 (1990), SD-3 (1992) e SD-7 (1992). Essas foram construídas a partir de Formulários de Amostra de Manuscritos (HSFs), digitalizados a 300 dpi, com vários campos para nomes, dígitos e letras. SD-3 continha imagens binárias de 128x128 de alfanuméricos segmentados, incluindo o total de 223.125 dígitos, e foi derivada de funcionários do censo. SD-7, o conjunto de teste, tinha 58.646 imagens de 500 estudantes de ensino médio, com uma taxa de erro humano de 1,5%. Notavelmente, SD-3 era mais limpa e fácil, mas sistemas de aprendizado de máquina treinados em SD-3 viam a performance cair para cerca de -10% de erro em SD-7, destacando mudanças de distribuição.
Uma competição do NIST em 1992 usou SD-3 como dados de treinamento e SD-7 como conjunto de teste, com 45 algoritmos de 26 empresas. A entrada vencedora usou um conjunto de treinamento proprietário, enquanto o melhor entre os sistemas treinados em SD-3 foi um classificador de vizinho mais próximo com uma métrica invariante. SD-19 (1995) combinou várias bases de dados especiais, contendo 814.255 imagens.
Criação do MNIST
Em algum momento antes do verão de 1994, o MNIST foi construído a partir de SD-3 e SD-7. Os criadores dividiram as imagens de SD-7 em conjuntos de treinamento e teste, cada um de 250 escritores, resultando em quase 30.000 imagens para cada. Eles então aumentaram cada um com imagens de SD-3 para alcançar 60.000 amostras por conjunto. Todas as imagens foram normalizadas quanto ao tamanho para a caixa de 20x20 pixels, preservando a proporção, e anti-aliasadas para tons de cinza, então centralizadas em uma imigagem de 28x28, ajustando ao centro de massa. Os detalhes de redução de resolução foram posteriormente reconstruídos.
Inicialmente, o conjunto de treinamento e o de teste cada tinham 60.000 amostras, mas para reduzir o tamanho do conjunto de teste, 50.000 amostras foram descartadas, mantendo somente os índices 24476 a 34475, resultando em 10.000 imagens de teste.
Avaliação e Impacto
MNIST tornou-se um baseline padrão na pesquisa em aprendizado de máquina e aprendizado profundo. É amplamente usado para comparar algoritmos, de modelos lineares simples a modelos complexos de redes neurais. O tamanho pequeno das imagens e o número modesto de classes do conjunto tornam-no ideal para prototipagem. Sua disponibilidade pública e benchmarks claros o fizeram uma ferramenta educacional comum.
Legado e Sucessores
MNIST Estendido (EMNIST) é um conjunto de dados mais recente desenvolvido pelo NIST, lançado em 2017, como sucessor do MNIST. Ele inclui dígitos e letras manuscritas, com categorias mais amplas. Em 2019, o conjunto completo de teste de 60.000 do MNIST foi restaurado para criar o QMNIST, fornecendo um conjunto de teste maior para pesquisa. Esses derivados mantêm a estrutura do MNIST, enquanto expandem sua diversidade.
Ver Também
Referências
- Artigo original do MNIST de Yann LeCun et al., 1998 (fornecido nos fatos da fonte).
- Publicações da base de dados especial do NIST e relatórios de benchmark de OCR.