A transformada de características invariantes à escala (SIFT) é um algoritmo de visão computacional para detectar, descrever e corresponder características locais em imagens, inventado por David Lowe em 1999. Ela permite o reconhecimento robusto de objetos sob mudanças de escala, rotação e iluminação, com aplicações que incluem reconhecimento de objetos, mapeamento e navegação robótica, costura de imagens, modelagem 3D, reconhecimento de gestos, rastreamento de vídeo, identificação individual de vida selvagem e match moving.
A SIFT extrai pontos-chave de imagens de referência e os armazena em um banco de dados. Para reconhecer um objeto em uma nova imagem, cada característica é comparada com o banco de dados usando a distância euclidiana dos vetores de características, e agrupamentos consistentes de correspondências são identificados por meio de uma implementação eficiente de tabela hash da transformada de Hough generalizada. Agrupamentos de três ou mais características são verificados, e a probabilidade de correspondências corretas é calculada. O algoritmo foi desenvolvido por Lowe ao longo de uma década de ajustes; sua patente expirou em 2020.
Visão geral
Para qualquer objeto em uma imagem, pontos importantes podem ser extraídos para fornecer uma descrição de características. Essa descrição, obtida de uma imagem de treinamento, pode localizar o objeto em uma nova imagem que contenha outros objetos. As características devem ser detectáveis apesar de escala, ruído e mudanças de iluminação, frequentemente situando-se em regiões de alto contraste, como bordas. As posições relativas entre características devem permanecer consistentes entre imagens; por exemplo, usar apenas cantos de portas funciona independentemente da posição, mas pontos na moldura falham se a porta se mover. A SIFT usa muitas características, reduzindo o impacto de variações locais nos erros de correspondência.
A SIFT identifica objetos de forma robusta sob desordem e oclusão parcial porque seu descritor é invariante a escala uniforme, orientação e mudanças de iluminação, e parcialmente invariante a distorção afim. O descritor é baseado em medições de imagem em termos de campos receptivos, com quadros de referência locais invariantes à escala estabelecidos por seleção de escala.
Tipos de características
As características SIFT são locais, baseadas na aparência em pontos de interesse, e invariantes a escala e rotação. Elas são robustas a mudanças de iluminação, ruído e pequenas variações de ponto de vista. São altamente distintivas, fáceis de extrair e permitem identificação correta com baixa probabilidade de erro de correspondência. A correspondência contra grandes bancos de dados usa algoritmos probabilísticos, como árvores k-d com busca de melhor primeiro, devido à alta dimensionalidade. Apenas três características SIFT podem calcular a localização e a pose de um objeto, permitindo reconhecimento quase em tempo real em hardware moderno.
Etapas
Detecção de características invariante à escala
O método de Lowe transforma uma imagem em uma coleção de vetores de características invariantes a translação, escala e rotação, parcialmente invariantes a iluminação e robustos a distorção geométrica. Essas características se assemelham a neurônios do córtex visual primário que codificam formas básicas para detecção de objetos na visão de primatas. As localizações-chave são máximos e mínimos da função diferença de gaussianas no espaço de escala, aplicada a imagens suavizadas e reamostradas. Candidatos de baixo contraste e respostas de borda são descartados, e orientações dominantes são atribuídas. Descritores robustos a distorção afim são obtidos por desfoque e reamostragem de planos de orientação locais ao redor das localizações-chave.
Correspondência e indexação de características
A indexação armazena chaves SIFT e identifica correspondências em novas imagens. Lowe usou busca de melhor primeiro, um algoritmo modificado de árvore k-d que encontra vizinhos mais próximos com alta probabilidade usando computação limitada, pesquisando bins em ordem de distância da consulta por meio de uma fila de prioridade baseada em heap. Para cada ponto-chave, o vizinho mais próximo no banco de dados é encontrado pela distância euclidiana mínima. Candidatos são mantidos se a razão entre a distância e a característica mais próxima de classe diferente for suficientemente grande, garantindo que classes de objetos distintas não poluam as correspondências. Agrupamentos consistentes são então verificados.
Aplicações e impacto
A SIFT foi amplamente adotada em visão computacional, influenciando campos como inteligência artificial e aprendizado de máquina. Sua robustez a tornou um padrão para reconhecimento de objetos antes que abordagens de aprendizado profundo e redes neurais se tornassem predominantes. A expiração da proteção de patente do algoritmo em 2020 facilitou seu uso mais amplo em aplicações comerciais e de pesquisa.
Os princípios da SIFT também inspiraram descritores de características posteriores e contribuíram para avanços em visão computacional e robótica, particularmente em Waymo e Tesla para navegação. Sua capacidade de lidar com oclusão parcial e desordem permanece valiosa em cenários como identificação de vida selvagem e match moving na produção de filmes.
Legado
Apesar do surgimento de características aprendidas a partir de modelos de aprendizado profundo, a SIFT permanece uma técnica fundamental, frequentemente usada como referência em benchmarks de correspondência de características. Sua base teórica na teoria do espaço de escala continua a informar pesquisas em análise de imagens. O desenvolvimento do algoritmo ao longo de dez anos exemplifica o refinamento iterativo em visão computacional, e a expiração de sua proteção de patente incentivou a inovação em áreas relacionadas.