Recuperação de imagens baseada em conteúdo (CBIR), também conhecida como consulta por conteúdo de imagem (QBIC) e recuperação de informações visuais baseada em conteúdo (CBVIR), é a aplicação de técnicas de visão computacional ao problema de recuperação de imagens: a tarefa de buscar imagens digitais em grandes bancos de dados. A característica definidora da CBIR é que a busca analisa o conteúdo da própria imagem, como cores, formas, texturas ou outras informações deriváveis, em vez de metadados como palavras-chave, tags ou descrições. Essa abordagem se opõe diretamente aos métodos tradicionais baseados em conceitos, que dependem da qualidade e da completude da anotação humana, uma dependência que se torna problemática para coleções de imagens muito grandes ou geradas automaticamente.
Os sistemas CBIR empregam métodos computacionais de áreas como estatística, reconhecimento de padrões, processamento de sinais e visão computacional. O campo evoluiu significativamente desde suas origens no início dos anos 1990, impulsionado pelo crescimento dos repositórios de imagens digitais e pela impraticabilidade da anotação manual em escala. Enquanto os primeiros sistemas dependiam da extração básica de características visuais, as implementações modernas utilizam cada vez mais técnicas de aprendizado de máquina e aprendizado profundo para melhorar a precisão da recuperação e lidar com consultas mais complexas.
Desenvolvimento Histórico
O termo "recuperação de imagens baseada em conteúdo" foi usado pela primeira vez em 1992 pelo engenheiro do Laboratório Eletrotécnico Japonês Toshikazu Kato, que descreveu experimentos na recuperação automática de imagens de um banco de dados com base em suas cores e formas. Isso marcou uma mudança em relação às abordagens anteriores que dependiam exclusivamente de descrições textuais. O primeiro sistema CBIR comercial foi desenvolvido pela IBM e chamado QBIC (Query By Image Content). Embora o armazenamento de múltiplas imagens como parte de uma única entidade tenha precedido o termo BLOB (Binary Large OBject), a capacidade de buscar totalmente por conteúdo, em vez de descrição, teve que aguardar o sistema QBIC da IBM. Desenvolvimentos posteriores incluíram abordagens baseadas em redes e grafos que ofereciam alternativas simples e atraentes aos métodos existentes.
Comparação com a Busca Baseada em Metadados
A busca tradicional de imagens exige que humanos anotem manualmente as imagens com palavras-chave ou metadados em um banco de dados, um processo demorado que pode não capturar os critérios desejados para descrever uma imagem de forma eficaz. A avaliação da eficácia da busca baseada em palavras-chave é subjetiva e não foi bem definida, e os sistemas CBIR enfrentam desafios semelhantes na definição de sucesso. As palavras-chave também limitam o escopo das consultas a um conjunto predeterminado de critérios, e tais anotações são menos confiáveis do que analisar o conteúdo real da imagem. A CBIR torna-se particularmente valiosa para bancos de dados muito grandes ou para imagens geradas automaticamente, como aquelas de câmeras de vigilância, onde a anotação manual é impraticável. Sistemas que categorizam imagens em classes semânticas (por exemplo, "gato" como uma subclasse de "animal") podem reduzir problemas de categorização incorreta, mas exigem mais esforço do usuário para localizar imagens que possam pertencer apenas a uma categoria mais ampla.
Técnicas de Consulta
Os sistemas CBIR suportam vários métodos de consulta, adaptados a diferentes necessidades do usuário. O mais comum é a Consulta por Exemplo (QBE), onde o usuário fornece uma imagem de exemplo, seja fornecendo uma imagem pré-existente, escolhendo uma de um conjunto aleatório ou desenhando uma aproximação grosseira usando blocos de cores ou formas gerais. Os resultados devem compartilhar elementos comuns com o exemplo fornecido, e essa técnica remove as dificuldades associadas à descrição de imagens em palavras.
A recuperação semântica começa com solicitações como "encontre fotos de Abraham Lincoln", o que é desafiador para computadores porque o assunto pode não aparecer sempre na mesma pose ou orientação. Portanto, muitos sistemas CBIR dependem de características de nível inferior, como textura, cor e forma, seja combinadas com interfaces que permitem uma entrada mais fácil de critérios ou com bancos de dados pré-treinados para corresponder a características específicas, como rostos, impressões digitais ou formas. Em geral, a recuperação de imagens de conceitos de nível superior requer feedback humano.
Outros métodos de consulta incluem navegação por imagens de exemplo, navegação por categorias personalizadas ou hierárquicas, consulta por região da imagem em vez da imagem inteira, consulta por múltiplas imagens de exemplo, consulta por esboço visual, especificação direta de características da imagem e consultas multimodais que combinam toque, voz e outras entradas.
Feedback de Relevância e Aprendizado de Máquina
Um aspecto importante do sucesso da CBIR é entender a intenção do usuário. O feedback de relevância permite que os usuários refinem progressivamente os resultados da busca marcando imagens como "relevantes", "não relevantes" ou "neutras" em relação à consulta, após o que o sistema repete a busca incorporando essas novas informações. Essa abordagem interativa, juntamente com outros elementos de design centrados no ser humano, tornou-se um foco chave no desenvolvimento da CBIR. O campo também viu um uso crescente de aprendizado de máquina e técnicas iterativas para melhorar o desempenho da recuperação. Os primeiros sistemas CBIR buscavam em bancos de dados com base em propriedades de cor, textura e forma; após o desenvolvimento desses sistemas, a necessidade de interfaces amigáveis ao usuário tornou-se evidente, levando a esforços que incluíram métodos de consulta que suportam semântica descritiva, feedback do usuário e sistemas capazes de entender os níveis de satisfação do usuário.
Progresso Técnico e Desafios
O interesse em CBIR cresceu devido às limitações dos sistemas baseados em metadados e à ampla gama de aplicações potenciais para a recuperação eficiente de imagens. Informações textuais são facilmente pesquisáveis com a tecnologia existente, mas a descrição manual de cada imagem é impraticável para coleções muito grandes ou geradas automaticamente, e descrições usando sinônimos diferentes podem fazer com que imagens sejam perdidas. Vários padrões foram desenvolvidos para categorizar imagens, mas todos enfrentam problemas de escala e categorização incorreta. Muitos sistemas CBIR foram desenvolvidos, mas, a partir de 2006, o problema de recuperar imagens com base no conteúdo de pixels permanecia amplamente não resolvido. O método mais comum para comparar duas imagens (tipicamente uma imagem de exemplo e uma imagem do banco de dados) envolve calcular uma medida de distância com base em características visuais extraídas, com os resultados classificados de acordo. Os sistemas modernos estão incorporando cada vez mais arquiteturas de aprendizado profundo e redes neurais para melhorar a extração de características e a compreensão semântica, embora a recuperação semântica completa em níveis humanos permaneça um desafio de pesquisa em aberto.