Kuzushiji-MNIST é um conjunto de dados de referência para classificação de imagens em aprendizado automático e aprendizado profundo. Consiste em 70.000 imagens em escala de cinza de 28x28 pixels de caracteres hiragana japoneses escritos à mano, divididas em um conjunto de treinamento de 60.000 exemplares e um conjunto de teste de 10.000 exemplares. O conjunto de dados foi criado como uma alternativa moderna ao clássico MNIST de dígitos manuscritos, amplamente utilizado desde o final dos anos 1990 para avaliar algoritmos de redes neurais. Kuzushiji-MNIST mantiene as mesmas dimensões de imagem, formato de dados e número de classes (10) que o MNIST original, tornando-o uma substitução direta para pesquisadores que desejam testar modelos em uma tarefa mais desafiadora e culturalmente significativa.
O conjunto de dados foi introducido em 2018 por uma equipe de pesquisadores da Universidade de Tóquio e do Instituto Nacional de Literatura Japonesa, liderada por Tarin Clanuwat e colegas. Foi lançado junto com dois conjuntos de dados relacionados: Kuzushiji-49, que contém 49 classes de caracteres hiragana, e Kuzushiji-Kanji, que incluye 3.832 classes de kanji cursivo. A principal motivação foi abordar o problema de reconhecimento óptico de caracteres (OCR) para documentos históricos japoneses, escritos em uma escritura cursiva conhecida como kuzushiji. Esta escritura foi amplamente utilizada do século VIII ao XIX, mas foi amplamente abandonada após reformas educacionais em 1900, deixando milhões de textos históricos ilegibles para falantes modernos de japonês.
Design e Construção
As imagens em Kuzushiji-MNIST foram derivadas de um grande corpus de libros e manuscritos históricos japoneses escaneados. Os pesquisadores usaram uma combinação de segmentação automática e anotação manual para extraer imagens de caracteres individuais desses documentos. Cada imagem foi então redimensionada a 28x28 pixels e convertida a escala de cinza, com valores de pixel variando de 0 (negro) a 255 (branco), coincidindo exatamente com o formato do conjunto de dados MNIST original. As 10 classes correspondem aos dez caracteres hiragana mais comuns no corpus, que são: 'o', 'ki', 'su', 'tsu', 'na', 'ha', 'ma', 'ya', 're' e 'wo'. Estes caracteres foram escolhidos para equilibrar a frequência de classe e a distinción visual, garantindo que a tarefa de classificação não seja trivial nem impossívelmente difícil.
O conjunto de dados é distribuido em um formato binário idéntico ao MNIST original, com arquivos separados para imagens de treinamento, rótulos de treinamento, imagens de teste e rótulos de teste. Esta compatibilidade permite aos pesquisadores usar código e pipelines existentes diseñados para MNIST sem modificação, simplesmente substituindo os novos arquivos de dados. Os criadores também forneceram um script de carga em Python e um README detalhado para facilitar a integração em frameworks comuns de aprendizado profundo como PyTorch e TensorFlow.
Desempeño de Referencia
Desde seu lançamento, Kuzushiji-MNIST se tornou um benchmark padrão para avaliar modelos de classificação de imagens, particularmente no contexto de aumento de dados e arquiteturas de redes residuais. A tarefa é notablemente mais difícil que o MNIST original porque os caracteres hiragana exibem maior variação intra-classe e similaridade visual entre diferentes classes. Por exemplo, os caracteres para 'su' e 'tsu' são frequentemente confundidos até por leitores humanos não familiarizados com kuzushiji. Como resultado, modelos simples que alcanzan precisión quase perfecta em MNIST tipicamente têm um desempeño significativamente peor em Kuzushiji-MNIST, tornando-o um teste mais sensível da capacidade do modelo e da generalização.
Resultados de última generación em Kuzushiji-MNIST foram alcanzados usando redes neurais convolucionais (CNNs) com normalización por lotes e regularización Dropout. Até 2024, a melhor precisión de teste reportada é de aproximadamente 99,5%, alcanzada por um ensemble de redes residuais com extensa augmentación de dados. No entanto, o conjunto de dados permanece desafiante para modelos leves e para enfoques que dependen de características artesanales, que frequentemente se estabilizan em precisións abaixo de 95%. O benchmark também foi usado para estudiar os efeitos de esquemas de taxa de aprendizado e estratégias de inicialización de pesos, así como a robustez dos modelos ante ruido nos rótulos.
Aplicações e Impacto
A principal aplicação de Kuzushiji-MNIST é como herramienta de pesquisa para avançar a tecnología OCR para documentos históricos japoneses. O projeto Kuzushiji mais amplo, do qual deriva o conjunto de dados, visa digitalizar e fazer pesquisables os milhões de libros e manuscritos escritos em kuzushiji que atualmente são inaccesibles para o público geral. Ao fornecer um benchmark estandarizado, o conjunto de dados permitiu a pesquisadores de todo o mundo desenvolver e comparar algoritmos para reconhecer caracteres cursivos, que é um passo crítico para a transcripción automática desses textos.
Além de sua aplicação direta, Kuzushiji-MNIST foi adotado como um banco de pruebas de propósito geral na educación e pesquisa em aprendizado automático. Sua similaridade com MNIST o torna uma introducción accesible à classificação de imagens, enquanto sua maior dificultad incentiva a exploración de técnicas más avanzadas. O conjunto de dados foi citado em centenas de artículos acadêmicos e está incluido em bibliotecas populares de aprendizado automático e materiais de curso. Também foi usado para avaliar a transferibilidade de modelos treinados em outros conjuntos de caracteres, como o alfabeto latino ou caracteres chinos, proporcionando insights sobre generalización entre escrituras.
Conjuntos de Dados Relacionados e Extensões
Os criadores de Kuzushiji-MNIST também lançaram Kuzushiji-49, que incluye todos os 49 caracteres hiragana, e Kuzushiji-Kanji, que cobre 3.832 caracteres kanji. Estes conjuntos de dados são maiores e más complexos, com Kuzushiji-Kanji contendo más de 140.000 imágenes. Están destinados a tarefas OCR más avanzadas e para treinar modelos que possam manejar a gama completa de caracteres encontrados em documentos históricos. Adicionalmente, o projeto Kuzushiji publicó un gran corpus anotado de textos históricos, conhecido como Kuzushiji Dataset, que incluye imágenes de página completa com caixas delimitadoras a nível de carácter. Este recurso foi usado em competições e esfuerzos de pesquisa colaborativa para desarrollar sistemas de transcripción de extremo a extremo.
Na comunidade de aprendizado automático, Kuzushiji-MNIST inspirou esforços similares para criar benchmarks culturalmente diversos, como o conjunto de dados EMNIST para letras manuscritas e o Fashion-MNIST para imágenes de roupas. Estes conjuntos compartem o mesmo formato e tamanho que o MNIST original, permitindo comparación directa do desempeño do modelo em diferentes dominios. O éxito de Kuzushiji-MNIST destacou o valor de preservar e digitalizar escrituras históricas, e continua servindo como ponte entre a preservación do patrimônio cultural e a pesquisa moderna em inteligência artificial.