La reconnaissance optique de caractères (OCR) est une technologie qui extrait le texte d'images, de documents numérisés ou de photographies de texte, convertissant les pixels en caractères lisibles et modifiables par machine. Elle se situe à l'intersection de la vision par ordinateur et du traitement du langage naturel, car un système fonctionnel doit à la fois localiser et segmenter les glyphes dans une image et les interpréter comme des symboles d'une langue. L'OCR a été l'une des premières applications commercialement utiles de la reconnaissance de formes et précède l'ère moderne du apprentissage profond de plusieurs décennies.
Histoire
Les premiers systèmes d'OCR datent des années 1950 et 1960, lorsque des dispositifs tels que le « Gismo » de David Shepard et les machines de lecture pour aveugles de Ray Kurzweil (1976) utilisaient la correspondance de modèles et des caractéristiques conçues manuellement pour reconnaître les polices imprimées. Dans les années 1980 et 1990, des logiciels d'OCR comme Tesseract, initialement développé chez Hewlett-Packard et plus tard open-sourcé par Google, reposaient sur des classificateurs statistiques et des pipelines d'extraction de caractéristiques construits en grande partie avec de l'IA symbolique et de l'apprentissage automatique classique, plutôt que sur l'apprentissage de représentations en couches qui devint plus tard dominant. La précision sur du texte propre et tapé atteignit une utilité commerciale dans les années 1990, mais l'écriture manuscrite et les scènes encombrées restèrent des problèmes difficiles pendant encore deux décennies.
L'ère de l'apprentissage profond
L'introduction des réseaux de neurones convolutifs puis des architectures récurrentes et de séquence à séquence améliora considérablement la précision de l'OCR, en particulier pour l'écriture manuscrite et le texte intégré dans des scènes naturelles, comme les panneaux de rue ou les étiquettes de produits. Les architectures combinant un CNN pour l'extraction de caractéristiques visuelles avec un décodeur basé sur LSTM ou attention devinrent la norme au milieu des années 2010. Comme pour une grande partie de la vision par ordinateur, le progrès suivit le changement plus large des pipelines conçus manuellement vers des réseaux de neurones de bout en bout entraînés sur de grands ensembles de données étiquetées.
L'ère des modèles vision-langage
Depuis le début des années 2020, les modèles vision-langage à usage général et les systèmes multimodaux construits sur l'architecture transformeur ont absorbé une grande partie des fonctionnalités de l'OCR. Les modèles dotés de capacités de vision, y compris les variantes de Gemini et GPT-4, peuvent lire le texte intégré dans une image dans le cadre d'une tâche plus large de compréhension visuelle, sans pipeline d'OCR dédié, et surpassent souvent les systèmes d'OCR spécialisés sur les documents qui mélangent texte, diagrammes, tableaux ou écriture manuscrite en contexte. Cela a brouillé la frontière entre l'OCR en tant que tâche discrète et la compréhension générale de documents, bien que les moteurs d'OCR spécialisés restent largement utilisés pour le traitement de documents à haut débit, à faible latence ou hors ligne, où un grand modèle multimodal serait plus coûteux ou plus lent.
Applications et évaluation
L'OCR sous-tend la numérisation de documents, la création de PDF consultables, la reconnaissance de plaques d'immatriculation, le traitement de reçus et de factures, le tri du courrier postal, les outils d'accessibilité pour les utilisateurs aveugles et malvoyants, ainsi que les pipelines d'ingestion qui alimentent les moteurs de recherche et les corpus d'entraînement des grands modèles de langage. Les systèmes sont généralement évalués sur le taux d'erreur de caractères et le taux d'erreur de mots par rapport à des ensembles de données de référence de texte numérisé ou photographié ; les performances varient considérablement selon la langue, l'écriture, la qualité d'impression et le style d'écriture manuscrite, l'écriture cursive et les écritures à faibles ressources restant des points faibles comparatifs. En tant que tâche composante, la qualité de l'OCR est généralement rapportée sur des ensembles de données dédiés de documents et de texte de scène plutôt que sur des bancs d'essai à usage général.
Limites
Les erreurs d'OCR peuvent se propager dans les systèmes en aval, tels que les index de recherche ou la saisie automatisée de données, et il existe des attaques spécialisées qui exploitent des caractères visuellement similaires pour contourner les filtres basés sur l'OCR. Les modèles multimodaux qui effectuent l'OCR implicitement peuvent également halluciner du texte qui ressemble à l'image source mais ne lui correspond pas, un mode de défaillance distinct des erreurs de segmentation classiques de l'OCR.