La transformada de características invariantes a escala (SIFT, por sus siglas en inglés) es un algoritmo de visión por computadora para detectar, describir y emparejar características locales en imágenes, inventado por David Lowe en 1999. Permite un reconocimiento robusto de objetos bajo cambios de escala, rotación e iluminación, con aplicaciones que incluyen reconocimiento de objetos, mapeo y navegación robótica, costura de imágenes, modelado 3D, reconocimiento de gestos, seguimiento de video, identificación individual de vida silvestre y seguimiento de movimiento.
SIFT extrae puntos clave de imágenes de referencia y los almacena en una base de datos. Para reconocer un objeto en una imagen nueva, cada característica se compara con la base de datos utilizando la distancia euclidiana de los vectores de características, y se identifican grupos consistentes de coincidencias mediante una implementación eficiente de tabla hash de la transformada generalizada de Hough. Se verifican grupos de tres o más características, y se calcula la probabilidad de coincidencias correctas. El algoritmo fue desarrollado por Lowe a lo largo de una década de ajustes; su patente expiró en 2020.
Resumen
Para cualquier objeto en una imagen, se pueden extraer puntos importantes para proporcionar una descripción de características. Esta descripción, tomada de una imagen de entrenamiento, puede localizar el objeto en una imagen nueva que contenga otros objetos. Las características deben ser detectables a pesar de la escala, el ruido y los cambios de iluminación, y a menudo se encuentran en regiones de alto contraste como bordes. Las posiciones relativas entre características deben permanecer consistentes entre imágenes; por ejemplo, usar solo esquinas de puertas funciona independientemente de la posición, pero los puntos en el marco fallan si la puerta se mueve. SIFT utiliza muchas características, lo que reduce el impacto de las variaciones locales en los errores de emparejamiento.
SIFT identifica objetos de manera robusta en entornos desordenados y con oclusión parcial porque su descriptor es invariante a la escala uniforme, la orientación y los cambios de iluminación, y parcialmente invariante a la distorsión afín. El descriptor se basa en mediciones de imagen en términos de campos receptivos, con marcos de referencia locales invariantes a escala establecidos mediante selección de escala.
Tipos de características
Las características SIFT son locales, basadas en la apariencia en puntos de interés, e invariantes a escala y rotación. Son robustas a cambios de iluminación, ruido y cambios menores de punto de vista. Son altamente distintivas, fáciles de extraer y permiten una identificación correcta con baja probabilidad de error de emparejamiento. El emparejamiento contra bases de datos grandes utiliza algoritmos probabilísticos como árboles k-d con búsqueda de mejor-primer-bin debido a la alta dimensionalidad. Con tan solo tres características SIFT se puede calcular la ubicación y la pose de un objeto, lo que permite un reconocimiento casi en tiempo real en hardware moderno.
Etapas
Detección de características invariantes a escala
El método de Lowe transforma una imagen en una colección de vectores de características invariantes a traslación, escala y rotación, parcialmente invariantes a iluminación y robustos a distorsión geométrica. Estas características se asemejan a neuronas en la corteza visual primaria que codifican formas básicas para la detección de objetos en la visión de primates. Las ubicaciones clave son máximos y mínimos de la función de diferencia de gaussianas en el espacio de escala, aplicada a imágenes suavizadas y remuestreadas. Se descartan candidatos de bajo contraste y respuestas de bordes, y se asignan orientaciones dominantes. Se obtienen descriptores robustos a la distorsión afín mediante el desenfoque y el remuestreo de planos de orientación locales alrededor de las ubicaciones clave.
Emparejamiento e indexación de características
La indexación almacena claves SIFT e identifica coincidencias de imágenes nuevas. Lowe utilizó la búsqueda de mejor-primer-bin, un algoritmo modificado de árbol k-d que encuentra vecinos más cercanos con alta probabilidad usando cómputo limitado, buscando bins en orden de distancia desde la consulta mediante una cola de prioridad basada en montículo. Para cada punto clave, el vecino más cercano en la base de datos se encuentra mediante la distancia euclidiana mínima. Los candidatos se mantienen si la relación entre la distancia al vecino más cercano y la distancia a la característica de clase diferente es suficientemente grande, asegurando que clases de objetos distintas no contaminen las coincidencias. Luego se verifican los grupos consistentes.
Aplicaciones e impacto
SIFT ha sido ampliamente adoptado en visión por computadora, influyendo en campos como la inteligencia artificial y el aprendizaje automático. Su robustez lo convirtió en un estándar para el reconocimiento de objetos antes de que los enfoques de aprendizaje profundo como aprendizaje profundo y red neuronal se volvieran prevalentes. La expiración de la protección de patente del algoritmo en 2020 facilitó un uso más amplio en aplicaciones comerciales y de investigación.
Los principios de SIFT también inspiraron descriptores de características posteriores y contribuyeron a avances en visión por computadora y robótica, particularmente en Waymo y Tesla para navegación. Su capacidad para manejar oclusión parcial y desorden sigue siendo valiosa en escenarios como la identificación de vida silvestre y el seguimiento de movimiento en producción cinematográfica.
Legado
A pesar del auge de las características aprendidas de modelos de aprendizaje profundo, SIFT sigue siendo una técnica fundamental, a menudo utilizada como referencia en puntos de referencia de emparejamiento de características. Su base teórica en la teoría del espacio de escala continúa informando la investigación en análisis de imágenes. El desarrollo del algoritmo durante diez años ejemplifica el refinamiento iterativo en visión por computadora, y la expiración de su protección de patente ha fomentado la innovación en áreas relacionadas.