COCO-Text ist ein groß angelegter Datensatz, der für die Texterkennung und -erkennung in natürlichen Szenen entwickelt wurde. Er basiert auf der Microsoft Common Objects in Context (COCO) Bildsammlung, die über 200.000 beschriftete Bilder enthält. COCO-Text konzentriert sich speziell auf Textinstanzen in diesen Bildern und bietet Annotationen für Textregionen, deren Transkriptionen und zusätzliche Attribute. Der Datensatz wurde 2016 von Forschern von Google und anderen Institutionen eingeführt und hat sich zu einem Standard-Benchmark für die Bewertung von Texterkennungs- und -erkennungsalgorithmen im Bereich der Computer Vision entwickelt.
Der Hauptzweck von COCO-Text besteht darin, die Entwicklung und Bewertung von Modellen zu unterstützen, die Text in unkontrollierten Umgebungen wie Straßenschildern, Schaufenstern und Produktetiketten lokalisieren und lesen können. Im Gegensatz zu früheren Datensätzen, die sich auf gescannte Dokumente oder kontrollierte Umgebungen konzentrierten, betont COCO-Text die Herausforderungen realer Bilddaten, einschließlich wechselnder Beleuchtung, Perspektivverzerrungen und komplexer Hintergründe. Der Datensatz enthält sowohl maschinengedruckten als auch handschriftlichen Text, wobei die Annotationen angeben, ob jede Textinstanz lesbar ist oder nicht.
Datensatzzusammensetzung
COCO-Text enthält 63.686 Bilder, aufgeteilt in Trainings- (43.686 Bilder), Validierungs- (10.000 Bilder) und Testsets (10.000 Bilder). Jedes Bild ist mit Textinstanzen annotiert, die als Begrenzungspolygone (nicht nur Rechtecke) dargestellt werden, um unregelmäßige Formen zu erfassen. Für jede Textinstanz bietet der Datensatz eine Transkription (den tatsächlichen Textinhalt), ein Lesbarkeitsflag (lesbar oder unlesbar) und eine Klassifizierung in eine von mehreren Kategorien: maschinengedruckt, handschriftlich oder andere. Die Annotationen wurden durch eine Kombination aus automatisierten Methoden und menschlichem Crowdsourcing erstellt, was ein hohes Maß an Genauigkeit gewährleistet.
Der Datensatz umfasst insgesamt über 145.000 Textinstanzen, mit durchschnittlich etwa 2,3 Textinstanzen pro Bild. Die Textinstanzen variieren stark in der Länge, von einzelnen Zeichen bis zu ganzen Sätzen, und decken eine vielfältige Palette von Schriftarten, Größen und Ausrichtungen ab. Diese Vielfalt macht COCO-Text zu einem anspruchsvollen Benchmark für maschinelles Lernen-Modelle, insbesondere für solche, die auf Deep Learning-Architekturen basieren.
Annotationsdetails
Jede Textinstanz in COCO-Text ist mit einer Reihe von Attributen annotiert, die für Training und Bewertung entscheidend sind. Das Begrenzungspolygon wird durch eine Liste von Punkten definiert, was eine präzise Lokalisierung von Text ermöglicht, der gekrümmt oder rotiert sein kann. Das Transkriptionsfeld enthält die exakte Zeichenfolge, die für Erkennungsaufgaben verwendet wird. Das Lesbarkeitsattribut gibt an, ob der Text für einen Menschen lesbar ist; unlesbarer Text wird oft einbezogen, um die Robustheit von Modellen gegenüber verrauschtem oder teilweise verdecktem Text zu testen.
Zusätzlich wird jede Textinstanz in eine von drei Kategorien klassifiziert: 'maschinengedruckt', 'handschriftlich' oder 'andere'. Diese Klassifizierung hilft bei der Analyse der Modellleistung über verschiedene Texttypen hinweg. Der Datensatz bietet auch Metadaten auf Bildebene, wie die urspründe COCO-Bild-ID, die es Forschern ermöglicht, mit anderen COCO-Annotationen (z. B. Objekterkennungslabels) für Multi-Task-Lernen zu referenzieren.
Benchmark-Nutzung
COCO-Text wird häufig als Benchmark für Texterkennungs- und -erkennungsaufgaben verwendet. Es wurde in mehreren internationalen Wettbewerben übernommen, einschließlich des ICDAR (International Conference on Document Analysis and Recognition) Robust Reading Competition. Der Datensatz bietet Bewertungsskripte, die Standardmetriken wie Präzision, Recall und F-Maß für die Erkennung sowie Wortgenauigkeit für die Erkennung berechnen. Diese Metriken werden auf dem Testset berechnet, das versteckte Annotationen enthält, um Überanpassung zu verhindern.
Forscher haben COCO-Text verwendet, um eine Vielzahl von Modellen zu trainieren und zu bewerten, von traditionellen Computer-Vision-Methoden bis hin zu modernen neuronale Netze-Ansätzen. Insbesondere Deep Learning-Modelle, die auf convolutional neural networks (CNNs) und recurrent neural networks (RNNs) basieren, haben auf diesem Datensatz Spitzenleistungen erzielt. Der Datensatz wurde auch verwendet, um Transferlernen zu untersuchen, bei dem Modelle, die auf großen Bilddatensätzen vortrainiert wurden, für die Texterkennung feinabgestimmt werden.
Verwandte Datensätze und Erweiterungen
COCO-Text ist Teil einer breiteren Familie von Szenentext-Datensätzen, einschließlich ICDAR 2013, ICDAR 2015 und Total-Text. COCO-Text zeichnet sich jedoch durch seine Größe und Integration in das COCO-Ökosystem aus. Seit seiner Veröffentlichung wurden mehrere Erweiterungen und Varianten vorgeschlagen. Zum Beispiel bietet der COCO-Text-OCR-Datensatz, der später eingeführt wurde, zusätzliche Annotationen für die Texterkennung, einschließlich Zeichenebenen-Begrenzungsrahmen. Diese Erweiterungen haben den Nutzen von COCO-Text für die Forschung weiter erhöht.
Darüber hinaus wurde COCO-Text in Verbindung mit anderen Datensätzen verwendet, um umfassendere Benchmarks zu erstellen. Zum Beispiel enthält der Open Images Datensatz Textannotationen, die COCO-Text ergänzen und ein größeres Training ermöglichen. Die Verfügbarkeit solcher Datensätze hat den Fortschritt im Bereich des Szenentextverständnisses beschleunigt, das eine kritische Komponente von Anwendungen wie autonomen Fahren, assistiven Technologien und Bildersuche ist.
Herausforderungen und Einschränkungen
Trotz seiner Stärken hat COCO-Text bestimmte Einschränkungen. Der Datensatz ist auf englischen Text ausgerichtet, da die meisten Annotationen auf Englisch sind. Dies begrenzt seine Anwendbarkeit auf mehrsprachige Szenarien. Darüber hinaus kann der Annotationsprozess, obwohl gründlich, Fehler enthalten, insbesondere bei der Transkription von kleinem oder verzerrtem Text. Der Datensatz enthält auch keine zeitlichen Informationen, sodass er nicht für videobasierte Texterkennungsaufgaben verwendet werden kann.
Eine weitere Herausforderung ist das Ungleichgewicht in den Textkategorien: maschinengedruckter Text dominiert, während handschriftlicher Text relativ selten ist. Dies kann zu Modellen führen, die bei gedrucktem Text gut, aber bei Handschrift schlecht abschneiden. Forscher müssen COCO-Text oft mit anderen Datensätzen ergänzen, um diese Lücken zu schließen. Dennoch bleibt COCO-Text eine grundlegende Ressource für die Computer-Vision-Gemeinschaft, und seine Auswirkungen sind in den zahlreichen Papieren und Systemen, die es zitieren, offensichtlich.