La recherche d'images par le contenu (CBIR), également connue sous le nom de requête par contenu d'image (QBIC) et de recherche d'informations visuelles basée sur le contenu (CBVIR), est l'application des techniques de vision par ordinateur au problème de la recherche d'images : la tâche de rechercher des images numériques dans de grandes bases de données. La caractéristique déterminante de la CBIR est que la recherche analyse le contenu de l'image elle-même, comme les couleurs, les formes, les textures ou d'autres informations dérivables, plutôt que des métadonnées telles que des mots-clés, des balises ou des descriptions. Cette approche s'oppose directement aux méthodes traditionnelles basées sur des concepts, qui dépendent de la qualité et de l'exhaustivité de l'annotation humaine, une dépendance qui devient problématique pour les collections d'images très volumineuses ou générées automatiquement.
Les systèmes CBIR utilisent des méthodes computationnelles issues de domaines tels que les statistiques, la reconnaissance de formes, le traitement du signal et la vision par ordinateur. Le domaine a considérablement évolué depuis ses origines au début des années 1990, stimulé par la croissance des référentiels d'images numériques et l'impossibilité pratique de l'annotation manuelle à grande échelle. Alors que les premiers systèmes reposaient sur l'extraction de caractéristiques visuelles de base, les implémentations modernes s'appuient de plus en plus sur les techniques de apprentissage automatique et de apprentissage profond pour améliorer la précision de la recherche et gérer des requêtes plus complexes.
Développement historique
Le terme « recherche d'images par le contenu » a été utilisé pour la première fois en 1992 par l'ingénieur Toshikazu Kato du laboratoire électrotechnique japonais, qui a décrit des expériences de récupération automatique d'images à partir d'une base de données en fonction de leurs couleurs et de leurs formes. Cela a marqué un changement par rapport aux approches antérieures qui reposaient uniquement sur des descriptions textuelles. Le premier système CBIR commercial a été développé par IBM et s'appelait QBIC (Query By Image Content). Bien que le stockage de plusieurs images dans le cadre d'une entité unique soit antérieur au terme BLOB (Binary Large OBject), la capacité de rechercher entièrement par contenu, plutôt que par description, a dû attendre le système QBIC d'IBM. Des développements ultérieurs ont inclus des approches basées sur les réseaux et les graphes qui offraient des alternatives simples et attrayantes aux méthodes existantes.
Comparaison avec la recherche basée sur les métadonnées
La recherche d'images traditionnelle exige que des humains annotent manuellement les images avec des mots-clés ou des métadonnées dans une base de données, un processus chronophage qui peut ne pas capturer les critères souhaités pour décrire efficacement une image. L'évaluation de l'efficacité de la recherche par mots-clés est subjective et n'a pas été bien définie, et les systèmes CBIR sont confrontés à des défis similaires pour définir le succès. Les mots-clés limitent également la portée des requêtes à un ensemble prédéterminé de critères, et ces annotations sont moins fiables que l'analyse du contenu réel de l'image. La CBIR devient particulièrement précieuse pour les très grandes bases de données ou pour les images générées automatiquement, comme celles provenant de caméras de surveillance, où l'annotation manuelle est irréalisable. Les systèmes qui classent les images en classes sémantiques (par exemple, « chat » comme sous-classe d'« animal ») peuvent réduire les problèmes de mauvaise catégorisation, mais nécessitent plus d'efforts de la part de l'utilisateur pour localiser les images qui pourraient appartenir uniquement à une catégorie plus large.
Techniques de requête
Les systèmes CBIR prennent en charge diverses méthodes de requête, adaptées aux différents besoins des utilisateurs. La plus courante est la requête par exemple (QBE), où l'utilisateur fournit une image exemple, soit en fournissant une image préexistante, soit en choisissant une image dans un ensemble aléatoire, soit en dessinant une approximation grossière à l'aide de blobs de couleur ou de formes générales. Les résultats doivent partager des éléments communs avec l'exemple fourni, et cette technique élimine les difficultés associées à la description des images par des mots.
La recherche sémantique commence par des demandes comme « trouver des photos d'Abraham Lincoln », ce qui est difficile pour les ordinateurs car le sujet peut ne pas toujours apparaître dans la même pose ou orientation. Par conséquent, de nombreux systèmes CBIR s'appuient sur des caractéristiques de niveau inférieur comme la texture, la couleur et la forme, soit combinées à des interfaces permettant une saisie plus facile des critères, soit avec des bases de données pré-entraînées pour correspondre à des caractéristiques spécifiques telles que les visages, les empreintes digitales ou les formes. En général, la recherche d'images de concepts de niveau supérieur nécessite un retour humain.
D'autres méthodes de requête incluent la navigation pour trouver des images exemples, la navigation dans des catégories personnalisées ou hiérarchiques, la requête par région d'image plutôt que par l'image entière, la requête par plusieurs images exemples, la requête par esquisse visuelle, la spécification directe des caractéristiques de l'image et les requêtes multimodales combinant le toucher, la voix et d'autres entrées.
Retour de pertinence et apprentissage automatique
Un aspect important du succès de la CBIR est la compréhension de l'intention de l'utilisateur. Le retour de pertinence permet aux utilisateurs d'affiner progressivement les résultats de recherche en marquant les images comme « pertinentes », « non pertinentes » ou « neutres » par rapport à la requête, après quoi le système répète la recherche en incorporant ces nouvelles informations. Cette approche interactive, ainsi que d'autres éléments de conception centrés sur l'humain, est devenue un axe clé du développement de la CBIR. Le domaine a également vu une utilisation croissante du apprentissage automatique et des techniques itératives pour améliorer les performances de recherche. Les premiers systèmes CBIR recherchaient dans les bases de données en fonction des propriétés de couleur, de texture et de forme ; après le développement de ces systèmes, le besoin d'interfaces conviviales est devenu évident, ce qui a conduit à des efforts comprenant des méthodes de requête prenant en charge la sémantique descriptive, le retour d'information des utilisateurs et des systèmes capables de comprendre les niveaux de satisfaction des utilisateurs.
Progrès techniques et défis
L'intérêt pour la CBIR a grandi en raison des limites des systèmes basés sur les métadonnées et du large éventail d'applications potentielles pour une recherche d'images efficace. Les informations textuelles sont facilement recherchables avec la technologie existante, mais la description manuelle de chaque image est irréalisable pour des collections très volumineuses ou générées automatiquement, et des descriptions utilisant des synonymes différents peuvent entraîner l'omission d'images. Diverses normes ont été développées pour catégoriser les images, mais toutes sont confrontées à des problèmes de mise à l'échelle et de mauvaise catégorisation. De nombreux systèmes CBIR ont été développés, mais en 2006, le problème de la récupération d'images basée sur le contenu des pixels restait en grande partie non résolu. La méthode la plus courante pour comparer deux images (généralement une image exemple et une image de la base de données) consiste à calculer une mesure de distance basée sur les caractéristiques visuelles extraites, les résultats étant classés en conséquence. Les systèmes modernes intègrent de plus en plus les architectures de apprentissage profond et de réseaux de neurones pour améliorer l'extraction de caractéristiques et la compréhension sémantique, bien que la recherche sémantique complète au niveau humain reste un défi de recherche ouvert.