Kuzushiji-MNISTは、機械学習および深層学習における画像分類のためのベンチマークデータセットである。このデータセットは、手書きの日本語ひらがな文字の28x28ピクセルのグレースケール画像70,000枚で構成され、60,000サンプルのトレーニングセットと10,000サンプルのテストセットに分割されている。このデータセットは、1990年代後半からニューラルネットワークアルゴリズムの評価に広く使用されてきた手書き数字の古典的なMNISTデータセットの現代的な代替として作成された。Kuzushiji-MNISTは、元のMNISTと同じ画像寸法、データ形式、クラス数（10）を保持しており、より困難で文化的に重要なタスクでモデルをテストしたい研究者にとって、直接的なドロップイン置換となっている。
このデータセットは、2018年に東京大学と国文学研究資料館の研究者チームによって、Tarin Clanuwat氏らを中心に導入された。これは、ひらがな文字の49クラスを含むKuzushiji-49と、草書体の漢字の3,832クラスを含むKuzushiji-Kanjiという2つの関連データセットとともに公開された。主な動機は、くずし字として知られる草書体で書かれた日本の歴史的文書の光学文字認識（OCR）の問題に対処することであった。この書体は8世紀から19世紀まで広く使用されていたが、1900年の教育改革後に大部分が放棄され、現代の日本語話者には読めないままの何百万もの歴史的テキストが残されている。
設計と構築
Kuzushiji-MNISTの画像は、スキャンされた日本の歴史的書籍や写本の大規模なコーパスから派生したものである。研究者らは、自動セグメンテーションと手動アノテーションの組み合わせを使用して、これらの文書から個々の文字画像を抽出した。各画像は28x28ピクセルにリサイズされ、ピクセル値が0（黒）から255（白）の範囲のグレースケールに変換され、元のMNISTデータセットの形式と完全に一致している。10クラスは、コーパス内で最も一般的な10のひらがな文字に対応しており、これらは「お」、「き」、「す」、「つ」、「な」、「は」、「ま」、「や」、「れ」、「を」である。これらの文字は、クラスの頻度と視覚的な明確さのバランスを取るために選択され、分類タスクが自明でも不可能でもないことを保証している。
データセットは、元のMNISTと同一のバイナリ形式で配布され、トレーニング画像、トレーニングラベル、テスト画像、テストラベルのための別々のファイルが含まれている。この互換性により、研究者はMNIST用に設計された既存のコードやパイプラインを変更なしで使用でき、新しいデータファイルを交換するだけでよい。作成者らはまた、PyTorchやTensorFlowなどの一般的な深層学習フレームワークへの簡単な統合を容易にするためのPythonローダースクリプトと詳細なREADMEも提供した。
ベンチマーク性能
リリース以来、Kuzushiji-MNISTは、特にデータ拡張および残差ネットワークアーキテクチャの文脈で、画像分類モデルを評価するための標準的なベンチマークとなっている。このタスクは、ひらがな文字がより大きなクラス内変動と異なるクラス間の視覚的類似性を示すため、元のMNISTよりも著しく困難である。例えば、「す」と「つ」の文字は、くずし字に不慣れな人間の読者でもしばしば混同される。その結果、MNISTでほぼ完璧な精度を達成する単純なモデルは、Kuzushiji-MNISTでは通常著しく低い性能を示し、モデルの容量と汎化のより感度の高いテストとなっている。
Kuzushiji-MNISTでの最先端の結果は、バッチ正規化とドロップアウト正則化を備えた畳み込みニューラルネットワーク（CNN）を使用して達成されている。2024年時点で、報告されている最高のテスト精度は約99.5%であり、これは広範なデータ拡張を備えた残差ネットワークのアンサンブルによって達成された。しかし、このデータセットは、軽量モデルや手作りの特徴に依存するアプローチにとっては依然として困難であり、これらはしばしば95%未満の精度で頭打ちになる。このベンチマークはまた、学習率スケジュールと重み初期化戦略の効果、およびラベルノイズに対するモデルの堅牢性を研究するためにも使用されている。
応用と影響
Kuzushiji-MNISTの主な応用は、日本の歴史的文書のOCR技術を進歩させるための研究ツールとしてである。このデータセットが派生したより広範なKuzushijiプロジェクトは、現在一般公開にアクセスできないくずし字で書かれた何百万もの書籍や写本をデジタル化し、検索可能にすることを目的としている。標準化されたベンチマークを提供することにより、このデータセットは、世界中の研究者が草書体文字を認識するためのアルゴリズムを開発および比較することを可能にし、これはこれらのテキストの自動転写に向けた重要なステップである。
直接的な応用に加えて、Kuzushiji-MNISTは機械学習の教育と研究における汎用テストベッドとして採用されている。MNISTとの類似性は、画像分類へのアクセスしやすい入門を提供し、その増加した難易度は、より高度な技術の探求を促進する。このデータセットは、数百の学術論文で引用され、人気のある機械学習ライブラリやコース教材に含まれている。また、ラテンアルファベットや中国語の文字などの他の文字データセットでトレーニングされたモデルの転移可能性を評価するためにも使用され、異なる文字体系間の汎化に関する洞察を提供している。
関連データセットと拡張
Kuzushiji-MNISTの作成者らは、すべての49のひらがな文字を含むKuzushiji-49と、3,832の漢字文字をカバーするKuzushiji-Kanjiも公開した。これらのデータセットはより大きく複雑であり、Kuzushiji-Kanjiには140,000枚以上の画像が含まれている。これらは、より高度なOCRタスクと、歴史的文書に見られる全範囲の文字を処理できるモデルのトレーニングを目的としている。さらに、Kuzushijiプロジェクトは、文字レベルのバウンディングボックスを持つ全ページ画像を含む、Kuzushiji Datasetとして知られる歴史的テキストの大規模な注釈付きコーパスを公開している。このリソースは、エンドツーエンドの転写システムを開発するための競技会や共同研究の取り組みで使用されている。
機械学習コミュニティでは、Kuzushiji-MNISTは、手書き文字のEMNISTデータセットや衣料品画像のFashion-MNISTデータセットなど、文化的に多様なベンチマークを作成する同様の取り組みに影響を与えた。これらのデータセットは、元のMNISTと同じ形式とサイズを共有しており、異なるドメイン間でのモデル性能の直接比較を可能にしている。Kuzushiji-MNISTの成功は、歴史的書体の保存とデジタル化の価値を強調し、文化遺産の保存と現代の人工知能研究の間の架け橋として機能し続けている。