스케일 불변 특징 변환(SIFT)은 1999년 데이비드 로우가 고안한, 이미지에서 국소 특징을 감지·기술·매칭하는 컴퓨터 비전 알고리즘이다. 스케일, 회전, 조명 변화에도 강인한 객체 인식을 가능하게 하며, 객체 인식, 로봇 매핑 및 항법, 이미지 스티칭, 3D 모델링, 제스처 인식, 비디오 추적, 야생동물 개체 식별, 매치 무빙 등에 응용된다.
SIFT는 참조 이미지에서 키포인트를 추출하여 데이터베이스에 저장한다. 새 이미지에서 객체를 인식하려면 각 특징을 특징 벡터의 유클리드 거리를 사용하여 데이터베이스와 비교하고, 일반화된 허프 변환의 효율적인 해시 테이블 구현을 통해 일관된 매치 클러스터를 식별한다. 3개 이상의 특징으로 구성된 클러스터는 검증되며, 올바른 매치의 확률이 계산된다. 이 알고리즘은 로우가 10년에 걸쳐 개량한 결과물이며, 특허는 2020년에 만료되었다.
개요
이미지의 모든 객체에 대해 중요한 점을 추출하여 특징 설명을 제공할 수 있다. 훈련 이미지에서 얻은 이 설명은 다른 객체를 포함하는 새 이미지에서 해당 객체를 찾는 데 사용될 수 있다. 특징은 스케일, 노이즈, 조명 변화에도 불구하고 감지 가능해야 하며, 종종 가장자리와 같은 고대비 영역에 위치한다. 특징 간의 상대적 위치는 이미지 간에 일관성을 유지해야 한다. 예를 들어, 문 모서리만 사용하면 위치에 관계없이 작동하지만, 문이 움직이면 프레임의 점은 실패한다. SIFT는 많은 특징을 사용하므로 국소 변동이 매칭 오류에 미치는 영향을 줄인다.
SIFT는 클러터와 부분 폐색 하에서도 객체를 강인하게 식별하는데, 그 이유는 설명자가 균일한 스케일, 방향, 조명 변화에 불변이고 아핀 왜곡에 부분적으로 불변이기 때문이다. 설명자는 수용장 측면의 이미지 측정에 기반하며, 국소 스케일 불변 기준 프레임은 스케일 선택에 의해 설정된다.
특징의 유형
SIFT 특징은 국소적이며, 관심 지점의 외관에 기반하고, 스케일과 회전에 불변한다. 조명 변화, 노이즈, 약간의 시점 변화에 강인하다. 고도로 구별적이며 추출이 쉽고, 낮은 오매칭 확률로 올바른 식별이 가능하다. 대규모 데이터베이스에 대한 매칭은 높은 차원성 때문에 k-d 트리와 최상-우선 탐색 같은 확률적 알고리즘을 사용한다. 3개의 SIFT 특징만으로도 객체의 위치와 자세를 계산할 수 있어, 최신 하드웨어에서 거의 실시간 인식이 가능하다.
단계
스케일 불변 특징 감지
로우의 방법은 이미지를 평행 이동, 스케일링, 회전에 불변하고 조명에 부분적으로 불변하며 기하 왜곡에 강인한 특징 벡터의 집합으로 변환한다. 이러한 특징은 영장류 시각에서 기본 형태를 부호화하여 객체 감지를 수행하는 일차 시각 피질의 뉴런과 유사하다. 키 위치는 스케일 공간에서 가우시안 차이 함수의 최대값과 최소값으로, 평활화 및 재샘플링된 이미지에 적용된다. 저대비 후보와 가장자리 응답은 제거되고, 지배적 방향이 할당된다. 아핀 왜곡에 강인한 설명자는 키 위치 주변의 국소 방향 평면을 블러링하고 재샘플링하여 얻는다.
특징 매칭 및 인덱싱
인덱싱은 SIFT 키를 저장하고 새 이미지에서 매치를 식별한다. 로우는 최상-우선 탐색을 사용했는데, 이는 제한된 계산으로 높은 확률로 최근접 이웃을 찾는 수정된 k-d 트리 알고리즘으로, 힙 기반 우선순위 큐를 통해 쿼리로부터의 거리 순서로 빈을 탐색한다. 각 키포인트에 대해 데이터베이스에서 최근접 이웃은 최소 유클리드 거리로 찾는다. 후보는 가장 가까운 다른 클래스 특징까지의 거리 비율이 충분히 큰 경우에만 유지되며, 이는 서로 다른 객체 클래스가 매치를 어지럽히지 않도록 보장한다. 그런 다음 일관된 클러스터가 검증된다.
응용 및 영향
SIFT는 컴퓨터 비전에서 널리 채택되었으며, Artificial intelligence 및 Machine learning 분야에 영향을 주었다. 그 강인성은 Deep learning 및 Neural network 방법이 보편화되기 전에 객체 인식의 표준이 되게 했다. 2020년 특허 보호 만료는 상업 및 연구 응용에서 더 넓은 사용을 촉진했다.
SIFT의 원리는 이후의 특징 설명자에도 영감을 주었고, 특히 Waymo 및 Tesla의 항법에서 Computer vision과 로봇 공학의 발전에 기여했다. 부분 폐색과 클러터를 처리하는 능력은 야생동물 식별 및 영화 제작의 매치 무빙과 같은 시나리오에서 여전히 가치가 있다.
유산
Deep learning 모델의 학습된 특징이 부상했음에도 불구하고, SIFT는 여전히 기초적인 기법으로 남아 있으며 특징 매칭 벤치마크에서 기준선으로 자주 사용된다. 스케일 공간 이론에 기반한 이론적 토대는 이미지 분석 연구에 계속 영향을 미친다. 10년에 걸친 알고리즘 개발은 컴퓨터 비전의 반복적 개선을 예시하며, 특허 보호 만료는 관련 분야의 혁신을 장려했다.