COCO-Textは、自然シーンにおけるテキスト検出と認識のために設計された大規模データセットである。これは、20万枚以上のラベル付き画像を含むMicrosoft Common Objects in Context（COCO）画像コレクションに基づいて構築されている。COCO-Textは、これらの画像内のテキストインスタンスに特化しており、テキスト領域、その転写、および追加の属性のアノテーションを提供する。このデータセットは、2016年にGoogleや他の機関の研究者によって導入され、コンピュータビジョン分野におけるテキスト検出および認識アルゴリズムを評価するための標準的なベンチマークとなっている。
COCO-Textの主な目的は、街路標識、店頭、製品ラベルなどの制約のない環境でテキストを特定し読み取ることができるモデルの開発と評価を支援することである。スキャンされた文書や管理された設定に焦点を当てた初期のデータセットとは異なり、COCO-Textは、変化する照明、透視歪み、複雑な背景など、実世界の画像の課題を強調している。このデータセットには、機械印字テキストと手書きテキストの両方が含まれており、各テキストインスタンスが判読可能かどうかを示すアノテーションが付いている。
データセット構成
COCO-Textには63,686枚の画像が含まれており、トレーニングセット（43,686枚）、検証セット（10,000枚）、テストセット（10,000枚）に分割されている。各画像にはテキストインスタンスがアノテーションされており、不規則な形状を捉えるために境界ポリゴン（単なる矩形ではなく）として表現されている。各テキストインスタンスについて、データセットは転写（実際のテキスト内容）、判読可能性フラグ（判読可能または判読不能）、および機械印字、手書き、その他のいくつかのカテゴリのいずれかへの分類を提供する。アノテーションは、自動化された方法と人間のクラウドソーシングの組み合わせによって作成され、高い精度を保証している。
このデータセットには、合計で145,000以上のテキストインスタンスが含まれており、画像あたり平均約2.3個のテキストインスタンスがある。テキストインスタンスは、単一文字から完全な文まで長さが大きく異なり、多様なフォント、サイズ、向きをカバーしている。この多様性により、COCO-Textは、特にDeep learningアーキテクチャに基づくMachine learningモデルにとって、挑戦的なベンチマークとなっている。
アノテーションの詳細
COCO-Textの各テキストインスタンスには、トレーニングと評価に重要ないくつかの属性がアノテーションされている。境界ポリゴンは点のリストによって定義され、曲線または回転したテキストの正確な位置特定を可能にする。転写フィールドには正確な文字列が含まれており、認識タスクに使用される。判読可能性属性は、テキストが人間によって読み取れるかどうかを示す。判読不能なテキストは、ノイズや部分的に遮蔽されたテキストに対するモデルの堅牢性をテストするためにしばしば含まれる。
さらに、各テキストインスタンスは、「機械印字」、「手書き」、「その他」の3つのカテゴリのいずれかに分類される。この分類は、異なるテキストタイプにわたるモデルのパフォーマンスを分析するのに役立つ。データセットはまた、元のCOCO画像IDなどの画像レベルのメタデータも提供し、研究者がマルチタスク学習のために他のCOCOアノテーション（例：オブジェクト検出ラベル）と相互参照できるようにする。
ベンチマークの使用
COCO-Textは、テキスト検出および認識タスクのベンチマークとして広く使用されている。これは、ICDAR（International Conference on Document Analysis and Recognition）ロバストリーディングコンペティションを含むいくつかの国際コンペティションで採用されている。データセットは、検出のための精度、再現率、F値、および認識のための単語精度などの標準的な指標を計算する評価スクリプトを提供する。これらの指標は、過学習を防ぐためにアノテーションが非公開のテストセットで計算される。
研究者は、従来のコンピュータビジョン手法から現代のNeural networkアプローチまで、さまざまなモデルをトレーニングおよび評価するためにCOCO-Textを使用してきた。特に、畳み込みニューラルネットワーク（CNN）と再帰型ニューラルネットワーク（RNN）に基づくDeep learningモデルは、このデータセットで最先端のパフォーマンスを達成している。データセットはまた、大規模な画像データセットで事前トレーニングされたモデルがテキスト検出用に微調整される転移学習の研究にも使用されている。
関連データセットと拡張
COCO-Textは、ICDAR 2013、ICDAR 2015、Total-Textを含むシーンテキストデータセットのより広いファミリーの一部である。しかし、COCO-Textは、その規模とCOCOエコシステムとの統合によって際立っている。リリース以来、いくつかの拡張とバリアントが提案されている。例えば、後に導入されたCOCO-Text-OCRデータセットは、文字レベルの境界ボックスを含むテキスト認識のための追加のアノテーションを提供する。これらの拡張により、研究におけるCOCO-Textの有用性がさらに高まっている。
さらに、COCO-Textは、より包括的なベンチマークを作成するために他のデータセットと組み合わせて使用されている。例えば、Open Imagesデータセットには、COCO-Textを補完するテキストアノテーションが含まれており、より大規模なトレーニングを可能にしている。このようなデータセットの利用可能性は、自動運転、支援技術、画像検索などのアプリケーションの重要なコンポーネントであるシーンテキスト理解の分野での進歩を加速させている。
課題と制限
その強みにもかかわらず、COCO-Textには特定の制限がある。データセットは、ほとんどのアノテーションが英語であるため、英語のテキストに偏っている。これにより、多言語シナリオへの適用可能性が制限される。さらに、アノテーションプロセスは徹底的ではあるが、特に小さなまたは歪んだテキストの転写においてエラーが含まれる可能性がある。データセットには時間情報も含まれていないため、ビデオベースのテキスト検出タスクには使用できない。
もう1つの課題は、テキストカテゴリの不均衡である。機械印字テキストが支配的であり、手書きテキストは比較的まれである。これは、印字テキストでは良好に機能するが、手書きでは不十分なモデルにつながる可能性がある。研究者は、これらのギャップに対処するために、COCO-Textを他のデータセットで補強する必要があることが多い。それでも、COCO-Textはコンピュータビジョンコミュニティにとって基礎的なリソースであり続けており、その影響はそれを引用する多数の論文やシステムに明らかである。