Total-Text ist ein Benchmark-Datensatz für die Erkennung von Szenentext, der 2017 von Forschern der University of Toronto und anderen Institutionen eingeführt wurde. Er wurde entwickelt, um die Einschränkungen früherer Datensätze zu beheben, die sich hauptsächlich auf horizontale oder grob ausgerichtete Texte konzentrierten, indem ein erheblicher Anteil an gekrümmten und beliebig orientierten Textinstanzen einbezogen wurde. Der Datensatz ist zu einer Standard-Ressource für die Bewertung von maschinellem Lernen und Deep-Learning-Modellen im Bereich der Szenentext-Erkennung geworden, einem Teilgebiet der künstlichen Intelligenz und des maschinellen Sehens.
Der Datensatz besteht aus 1.555 Bildern, die aus realen Szenen wie Straßenschildern, Ladenfronten und Plakaten gesammelt wurden. Jedes Bild ist mit Wort-Ebenen-Bounding-Polygonen annotiert, die die Textregionen präzise umreißen, einschließlich gekrümmtem und mehrfach orientiertem Text. Die Annotationen werden in einem Format bereitgestellt, das sowohl Polygon- als auch Rechteckdarstellungen unterstützt, was eine flexible Bewertung von Erkennungsalgorithmen ermöglicht. Total-Text umfasst einen Trainingssatz mit 1.255 Bildern und einen Testsatz mit 300 Bildern, mit insgesamt über 9.000 annotierten Textinstanzen. Der Datensatz zeichnet sich durch einen hohen Anteil an gekrümmtem Text aus, der eine erhebliche Herausforderung für traditionelle Erkennungsmethoden darstellt, die achsenausgerichteten oder horizontalen Text annehmen.
Total-Text wurde in akademischer Forschung und Wettbewerben, wie den ICDAR-Herausforderungen (International Conference on Document Analysis and Recognition), weit verbreitet eingesetzt, um die Leistung von Texterkennungssystemen zu benchmarken. Er hat die Entwicklung fortschrittlicher neuronale-Netzwerk-Architekturen vorangetrieben, einschließlich solcher, die auf Residualnetzwerken und U-Net-ähnlichen Segmentierungsansätzen basieren, sowie Methoden, die Datenaugmentation und Batch-Normalisierung nutzen, um die Robustheit zu verbessern.
Datensatzzusammensetzung und Annotation
Die Bilder in Total-Text stammen aus einer Vielzahl städtischer Umgebungen und erfassen Text in verschiedenen Sprachen, Schriftarten, Beleuchtungsbedingungen und Perspektiven. Die Annotationen erfolgen auf Wortebene, wobei jedes Wort von einem Polygon umschlossen wird, das der Form des Textes folgt, sei es gekrümmt, rotiert oder horizontal. Der Datensatz bietet auch einen separaten Satz achsenausgerichteter Begrenzungsrahmen für jedes Wort, der für Bewertungsmethoden verwendet werden kann, die rechteckige Regionen erfordern. Die Ground-Truth-Daten werden in einem Textdateiformat gespeichert, wobei jede Zeile einem Wort entspricht und die Polygonkoordinaten sowie die Transkription des Textes enthält.
Bewertungsmetriken und Protokolle
Die Standardbewertung für Total-Text folgt den von den ICDAR-Wettbewerben etablierten Protokollen und verwendet Präzision, Recall und F-Maß als primäre Metriken. Erkennungsergebnisse werden basierend auf Intersection-over-Union-Schwellenwerten (IoU), typischerweise bei 0,5, mit Ground-Truth-Polygonen abgeglichen. Der offizielle Bewertungscode des Datensatzes ist verfügbar, um einen konsistenten Vergleich zwischen Methoden zu gewährleisten. Forscher werden ermutigt, Ergebnisse auf dem Testsatz zu berichten, und viele veröffentlichte Arbeiten enthalten Vergleiche auf Total-Text neben anderen Datensätzen wie ICDAR 2015 und MSRA-TD500.
Einfluss auf die Forschung zur Szenentext-Erkennung
Total-Text hat das Design moderner Texterkennungssysteme erheblich beeinflusst. Frühe Methoden stützten sich auf handgefertigte Merkmale und Connected-Component-Analyse, aber die Komplexität von gekrümmtem Text führte zu einer Verschiebung hin zu Deep-Learning-Ansätzen. Viele State-of-the-Art-Modelle verwenden nun vollständig konvolutionale Netzwerke, Multi-Head-Attention-Mechanismen und Encoder-Decoder-Architekturen, um Textregionen pixelweise vorherzusagen. Der Datensatz wurde auch verwendet, um End-to-End-Text-Spotting-Systeme zu trainieren und zu bewerten, die Erkennung und Erkennung kombinieren, oft unter Nutzung von Sequence-to-Sequence-Modellen und Transformer-Backbones.
Einschränkungen und Erweiterungen
Obwohl Total-Text einen herausfordernden Benchmark bietet, hat es Einschränkungen, darunter eine relativ kleine Anzahl von Bildern im Vergleich zu einigen modernen Datensätzen und einen Fokus auf englischen Text. Nachfolgende Datensätze wie CTW1500 und ArT haben den Umfang erweitert, um vielfältigere Textformen und Sprachen einzubeziehen. Dennoch bleibt Total-Text eine weit verbreitete und zitierte Ressource zur Bewertung der Robustheit von Texterkennungsalgorithmen, insbesondere im Umgang mit gekrümmtem und beliebig orientiertem Text.