Kuzushiji-MNIST (KMNIST) é um conjunto de dados de 70.000 imagens em escala de cinza de caracteres japoneses Hiragana escritos à mano, cada uma de 28x28 pixels. Fue criado como uma alternativa mais desafiadora ao clássico conjunto de dados MNIST, que contém dígitos manuscritos. KMNIST foi projetado para ser um substituto direto do MNIST em benchmarks de aprendizado de máquina, permitendo que pesquisadores testem modelos em uma tarefa com estrutura similar, mas com maior complexidade visual devido à natureza cursiva do Hiragana.
O conjunto de dados foi introducido em 2018 por uma equipe de pesquisadores da Universidade de Tóquio, incluendo Tarin Clanuwat, Mikel Bober-Irizar, Asanobu Kitamoto e Alex Lamb. Fue derivado do conjunto de dados Kuzushiji, que contém mais de 140.000 imagens de literatura clássica japonesa. O subconjunto KMNIST foca em 10 caracteres Hiragana, cada um representado por 7.000 imagens (6.000 para treinamento e 1.000 para teste), espelhando exatamente a divisão do MNIST.
Estrutura do Conjunto de Dados
KMNIST segue o mesmo formato do MNIST: cada imagem é uma matriz em escala de cinza de 28x28 pixels, com valores de pixel variando de 0 a 255. O conjunto de dados é dividido em 60.000 imagens de treinamento e 10.000 imagens de teste. Os 10 caracteres incluidos são: 'o', 'ki', 'su', 'tsu', 'na', 'ha', 'ma', 'ya', 're' e 'wo'. Estes caracteres foram selecionados porque estão entre os mais comuns no conjunto de dados original Kuzushiji e apresentam um desafio de classificação equilibrado.
Os criadores evitaram intencionalmente usar os mesmos caracteres que os dígitos do MNIST, garantendo que modelos treinados em KMNIST não possam simplesmente transferir características aprendidas do reconhecimento de dígitos. Os caracteres Hiragana têm padrões de trazos e curvaturas mais complexos, tornando a tarefa mais difícil para modelos tradicionais de aprendizado de máquina.
Benchmarking e Desempeño
KMNIST se tornou um benchmark padrão na comunidade de Machine learning, particularmente para avaliar arquiteturas de Neural network. No MNIST original, muitos modelos alcanzan mais de 99% de precisão, mas KMNIST é significativamente mais difícil. Por exemplo, uma Residual Network (ResNet) simples pode alcanzar cerca de 99% no MNIST, mas apenas cerca de 95% no KMNIST. Isso torna KMNIST útil para distinguir entre modelos que desempeñan bem em tarefas simples e aqueles que generalizan a padrões mais complexos.
Pesquisadores têm usado KMNIST para testar várias técnicas, incluendo Data Augmentation, Dropout e Batch Normalization. O conjunto de dados também está incluido em bibliotecas populares de aprendizado de máquina como PyTorch e TensorFlow, facilitando sua integração em pipelines existentes.
Conjuntos de Dados Relacionados
KMNIST faz parte de uma família de conjuntos de dados similares ao MNIST, incluendo Fashion-MNIST (artículos de vestir) e EMNIST (letras e dígitos). Estes conjuntos compartilham o mesmo formato de imagem e divisão, permitendo comparação direta do desempeño de modelos em diferentes domínios. KMNIST é único porque foca em uma escritura não latina, proporcionando um desafio cultural e linguístico que outros conjuntos não têm.
O conjunto de dados original Kuzushiji, do qual KMNIST é derivado, inclue mais de 4.000 caracteres diferentes e é usado para análise de documentos históricos. KMNIST simplifica isso a um problema de 10 classes, tornándolo acessible para propósitos educativos e experimentação rápida.
Aplicaciones e Impacto
KMNIST tem sido amplamente adotado na pesquisa e educação de Deep learning. É frequentemente usado em cursos introdutórios para ensinar o diseño de Convolutional neural network, já que requer arquiteturas mais sofisticadas que MNIST. O conjunto de dados também tem sido usado em estudos sobre Transfer learning e adaptación de domínio, onde modelos pré-treinados em MNIST são ajustados em KMNIST.
Além do benchmarking, KMNIST contribuiu à preservación e estudo do patrimônio cultural japonés. Ao tornar caracteres Hiragana clásicos acessibles em um formato legible por máquina, permite a análise automatizada de documentos históricos, o que é valioso para historiadores e linguistas.
Limitaciones e Direcciones Futuras
A pesar de sua utilidade, KMNIST tem limitaciones. Os 10 caracteres representan apenas uma pequena fracción do silabário completo Hiragana, e as imágenes são pré-procesadas para coincidir com o formato do MNIST, o que pode perder parte da informação original dos trazos. Além disso, o conjunto de dados é relativamente pequeno comparado com conjuntos modernos de grande escala, o que pode limitar seu uso para treinar modelos muito profundos.
Trabajo futuro pode envolver expandir KMNIST para incluir mais caracteres ou criar variantes com diferente pré-processamento. A partir de 2025, KMNIST permanece como um benchmark estándar, mas pesquisadores estão cada vez más recorriendo a conjuntos de dados más complexos como CIFAR-10 ou ImageNet para evaluar modelos de última generación. No obstante, KMNIST continua serviendo como uma herramienta valiosa para prototipado rápido e propósitos educativos.