이미지 정합(Image registration)은 서로 다른 여러 데이터 집합을 하나의 좌표계로 변환하는 계산 과정이다. 데이터는 여러 장의 사진, 서로 다른 센서에서 얻은 데이터, 서로 다른 시점 또는 서로 다른 관점에서 얻은 데이터일 수 있다. 이는 컴퓨터 비전, 의료 영상, 군사 자동 표적 인식, 그리고 위성에서 얻은 이미지와 데이터의 편집 및 분석에 사용된다. 정합은 서로 다른 측정(예: 서로 다른 센서 유형, 서로 다른 시점, 서로 다른 관점)에서 얻은 데이터의 비교 또는 통합을 가능하게 하기 위해 필요하다.
이미지 정합의 목표는 두 개 이상의 이미지(일반적으로 기준 이미지와 이동(또는 감지) 이미지)를 기하학적으로 정렬하여 해당 특징이나 구조가 일치하도록 하는 것이다. 이 과정은 이동 이미지의 점을 기준 이미지로 매핑하는 공간 변환을 결정하는 것을 포함한다. 이 변환은 강체(평행 이동 및 회전), 아핀(스케일링 및 전단 포함), 또는 비강체(변형 가능)일 수 있으며, 응용 분야와 정렬 오류의 특성에 따라 달라진다.
핵심 단계 및 방법
이미지 정합은 일반적으로 공통된 파이프라인을 따른다. 첫째, 특징 검출은 두 이미지에서 현저한 점, 가장자리 또는 영역을 식별한다. 일반적인 특징 검출기에는 해리스 코너 또는 스케일 불변 특징 변환(SIFT) 키포인트와 같은 코너 검출기가 포함된다. 둘째, 특징 정합은 검출된 특징 간의 대응 관계를 설정하며, 종종 스케일, 회전 또는 조명 변화에 불변하는 설명자를 사용한다. 셋째, 변환 모델 추정은 정합된 대응 관계를 사용하여 선택된 공간 변환의 매개변수를 계산하며, 이상치를 처리하기 위해 무작위 표본 합의(RANSAC)와 같은 강건한 방법을 자주 사용한다. 마지막으로, 이미지 변환 및 재샘플링은 추정된 변환을 이동 이미지에 적용하며, 이중 선형 또는 3차 보간과 같은 보간 기법을 사용하여 정렬된 출력을 생성한다.
대안적 접근 방식에는 강도 기반(또는 영역 기반) 방법이 포함되며, 이는 명시적 특징 추출 없이 변환 매개변수에 대해 유사성 측도를 직접 최적화한다. 정규화 상호 상관, 상호 정보 또는 제곱 차이 합과 같은 측도가 사용된다. 이러한 방법은 특징이 희소하거나 이미지가 서로 다른 양식(예: 자기 공명 영상(MRI) 스캔을 컴퓨터 단층 촬영(CT) 스캔에 정렬)일 때 특히 유용하다.
의료 영상에서의 응용
의료 영상에서 이미지 정합은 서로 다른 양식(예: PET 및 CT)의 이미지를 결합하고, 시간에 따른 종양 성장을 추적하며, 수술 전 및 수술 중 이미지를 정렬하여 수술 내비게이션을 지원하는 데 중요하다. 예를 들어, 방사선 치료에서 계획 CT 이미지와 일일 콘빔 CT 이미지의 정합은 표적에 정확한 방사선 전달을 보장하면서 건강한 조직을 보호한다. 비강체 정합은 장기 변형, 호흡 운동 또는 환자 움직임을 설명하기 위해 종종 필요하다. 원래 생의학 이미지 분할을 위해 개발된 U-Net 아키텍처와 같은 기법은 딥러닝 기반 정합에 적응되었으며, 신경망이 이미지 쌍에서 직접 변형 필드를 예측하도록 학습한다.
원격 탐사 및 컴퓨터 비전에서의 응용
원격 탐사에서 정합은 서로 다른 시점, 서로 다른 센서 또는 서로 다른 관측 각도에서 촬영된 위성 또는 항공 이미지를 정렬한다. 이를 통해 도시 개발 또는 산림 벌채 모니터링과 같은 변화 탐지와 대규모 지리적 영역의 모자이크 생성이 가능하다. 광학 이미지와 합성 구경 레이더(SAR) 이미지를 정렬하는 것과 같은 다중 양식 정합은 서로 다른 이미지 특성으로 인해 어려움을 제기한다. 컴퓨터 비전에서 정합은 여러 겹치는 사진을 정렬하여 광각 뷰를 만드는 파노라마 스티칭과 가상 객체를 실제 장면에 정렬하는 증강 현실에 사용된다. 또한 자율 주행 시스템의 기반이 되며, 여러 카메라와 센서의 이미지를 일관된 공간 표현으로 융합해야 한다.
딥러닝 접근 방식
딥러닝의 부상과 함께 합성곱 신경망(CNN)이 이미지 정합에 적용되었다. 지도 학습 방법은 이미지 쌍에서 변환 매개변수 또는 변형 필드를 예측하도록 네트워크를 훈련하며, 훈련을 위해 기준 정렬(ground-truth alignment)이 필요하다. 비지도 학습 방법은 공간 변환 네트워크에서 영감을 얻어 미분 가능한 이미지 샘플러를 사용하여 이동 이미지를 왜곡하고 정규화 상호 상관과 같은 유사성 손실을 최소화하며, 기준 레이블이 필요 없다. 이러한 접근 방식은 추론 시 더 빠를 수 있고 복잡한 비강체 변형을 처리할 수 있다. 그러나 종종 많은 양의 훈련 데이터가 필요하며 보지 못한 해부학적 구조나 센서 유형에 잘 일반화되지 않을 수 있다. 하이브리드 방법은 고전적 최적화와 딥러닝을 결합하며, 예를 들어 네트워크를 사용하여 변환을 초기화하거나 변형 필드를 정규화한다.
과제 및 향후 방향
이미지 정합은 큰 변형, 폐색, 강도 변화 및 다중 양식 차이와 같은 요인으로 인해 여전히 어려운 과제로 남아 있다. 노이즈와 이상치에 대한 강건성은 지속적인 관심사이다. 향후 방향에는 장거리 의존성을 포착하기 위한 트랜스포머 기반 아키텍처의 사용과 정합을 분할 또는 분류와 같은 다른 작업과 결합 프레임워크로 통합하는 것이 포함된다. 대규모 데이터 세트와 표준화된 평가 지표의 개발은 계속해서 진전을 이끌고 있다. 2020년대 중반 현재 딥러닝 기반 방법은 임상 및 산업 환경에서 점점 더 채택되고 있지만, 고전적 방법은 해석 가능성과 낮은 데이터 요구량으로 인해 여전히 가치가 있다.
같이 보기
- 컴퓨터 비전
- 의료 영상
- 원격 탐사
- 공간 변환 네트워크