La recuperación de imágenes basada en contenido (CBIR, por sus siglas en inglés), también conocida como consulta por contenido de imagen (QBIC) y recuperación de información visual basada en contenido (CBVIR), es la aplicación de técnicas de visión por computadora al problema de la recuperación de imágenes: la tarea de buscar imágenes digitales en grandes bases de datos. La característica definitoria de CBIR es que la búsqueda analiza el contenido de la propia imagen, como colores, formas, texturas u otra información derivable, en lugar de metadatos como palabras clave, etiquetas o descripciones. Este enfoque se opone directamente a los métodos tradicionales basados en conceptos, que dependen de la calidad y la integridad de la anotación humana, una dependencia que se vuelve problemática para colecciones de imágenes muy grandes o generadas automáticamente.
Los sistemas CBIR emplean métodos computacionales de campos como la estadística, el reconocimiento de patrones, el procesamiento de señales y la visión por computadora. El campo ha evolucionado significativamente desde sus orígenes a principios de la década de 1990, impulsado por el crecimiento de los repositorios de imágenes digitales y la impracticabilidad de la anotación manual a gran escala. Mientras que los primeros sistemas dependían de la extracción básica de características visuales, las implementaciones modernas aprovechan cada vez más técnicas de aprendizaje automático y aprendizaje profundo para mejorar la precisión de la recuperación y manejar consultas más complejas.
Desarrollo histórico
El término "recuperación de imágenes basada en contenido" fue utilizado por primera vez en 1992 por el ingeniero del Laboratorio Electrotécnico Japonés Toshikazu Kato, quien describió experimentos para recuperar automáticamente imágenes de una base de datos basándose en sus colores y formas. Esto marcó un cambio respecto a los enfoques anteriores que dependían únicamente de descripciones textuales. El primer sistema comercial de CBIR fue desarrollado por IBM y se llamó QBIC (Consulta por Contenido de Imagen). Si bien el almacenamiento de múltiples imágenes como parte de una sola entidad precedió al término BLOB (Objeto Binario Grande), la capacidad de buscar completamente por contenido, en lugar de por descripción, tuvo que esperar al sistema QBIC de IBM. Desarrollos posteriores incluyeron enfoques basados en redes y grafos que ofrecían alternativas simples y atractivas a los métodos existentes.
Comparación con la búsqueda basada en metadatos
La búsqueda tradicional de imágenes requiere que los humanos anoten manualmente las imágenes con palabras clave o metadatos en una base de datos, un proceso que consume tiempo y que puede no capturar los criterios deseados para describir una imagen de manera efectiva. La evaluación de la efectividad de la búsqueda basada en palabras clave es subjetiva y no ha sido bien definida, y los sistemas CBIR enfrentan desafíos similares para definir el éxito. Las palabras clave también limitan el alcance de las consultas a un conjunto predeterminado de criterios, y tales anotaciones son menos confiables que analizar el contenido real de la imagen. CBIR se vuelve particularmente valioso para bases de datos muy grandes o para imágenes generadas automáticamente, como las de cámaras de vigilancia, donde la anotación manual es impracticable. Los sistemas que categorizan imágenes en clases semánticas (por ejemplo, "gato" como subclase de "animal") pueden reducir problemas de clasificación errónea, pero requieren más esfuerzo del usuario para localizar imágenes que podrían pertenecer solo a una categoría más amplia.
Técnicas de consulta
Los sistemas CBIR admiten varios métodos de consulta, adaptados a diferentes necesidades del usuario. El más común es la Consulta por Ejemplo (QBE), donde el usuario proporciona una imagen de ejemplo, ya sea suministrando una imagen preexistente, eligiendo una de un conjunto aleatorio o dibujando una aproximación aproximada usando manchas de color o formas generales. Los resultados deben compartir elementos comunes con el ejemplo proporcionado, y esta técnica elimina las dificultades asociadas con describir imágenes en palabras.
La recuperación semántica comienza con solicitudes como "encontrar imágenes de Abraham Lincoln", lo cual es desafiante para las computadoras porque el sujeto puede no aparecer siempre en la misma pose u orientación. Por lo tanto, muchos sistemas CBIR dependen de características de nivel inferior como textura, color y forma, ya sea combinadas con interfaces que permiten una entrada más fácil de criterios o con bases de datos preentrenadas para coincidir con características específicas como rostros, huellas dactilares o formas. En general, la recuperación de imágenes de conceptos de nivel superior requiere retroalimentación humana.
Otros métodos de consulta incluyen navegar por imágenes de ejemplo, navegar por categorías personalizadas o jerárquicas, consultar por región de imagen en lugar de la imagen completa, consultar por múltiples imágenes de ejemplo, consultar por boceto visual, especificación directa de características de imagen y consultas multimodales que combinan tacto, voz y otras entradas.
Retroalimentación de relevancia y aprendizaje automático
Un aspecto importante del éxito de CBIR es comprender la intención del usuario. La retroalimentación de relevancia permite a los usuarios refinar progresivamente los resultados de búsqueda marcando imágenes como "relevantes", "no relevantes" o "neutrales" para la consulta, después de lo cual el sistema repite la búsqueda incorporando esta nueva información. Este enfoque interactivo, junto con otros elementos de diseño centrados en el ser humano, se ha convertido en un enfoque clave en el desarrollo de CBIR. El campo también ha visto un uso creciente de aprendizaje automático y técnicas iterativas para mejorar el rendimiento de la recuperación. Los primeros sistemas CBIR buscaban en bases de datos basándose en propiedades de color, textura y forma; después de que se desarrollaron estos sistemas, se hizo evidente la necesidad de interfaces amigables para el usuario, lo que llevó a esfuerzos que incluyeron métodos de consulta que admiten semántica descriptiva, retroalimentación del usuario y sistemas capaces de comprender los niveles de satisfacción del usuario.
Progreso técnico y desafíos
El interés en CBIR ha crecido debido a las limitaciones de los sistemas basados en metadatos y la amplia gama de aplicaciones potenciales para la recuperación eficiente de imágenes. La información textual es fácilmente buscable con la tecnología existente, pero la descripción manual de cada imagen es impracticable para colecciones muy grandes o generadas automáticamente, y las descripciones que usan diferentes sinónimos pueden causar que las imágenes se pierdan. Se han desarrollado varios estándares para categorizar imágenes, pero todos enfrentan problemas de escalabilidad y clasificación errónea. Se han desarrollado muchos sistemas CBIR, pero a partir de 2006, el problema de recuperar imágenes basándose en el contenido de píxeles seguía en gran medida sin resolverse. El método más común para comparar dos imágenes (típicamente una imagen de ejemplo y una imagen de la base de datos) implica calcular una medida de distancia basada en características visuales extraídas, con resultados clasificados en consecuencia. Los sistemas modernos están incorporando cada vez más arquitecturas de aprendizaje profundo y redes neuronales para mejorar la extracción de características y la comprensión semántica, aunque la recuperación semántica completa a niveles humanos sigue siendo un desafío de investigación abierto.