이미지 융합(Image fusion)은 동일한 장면을 촬영한 두 개 이상의 원본 이미지에서 상보적인 정보를 통합하여 단일 합성 이미지를 생성하는 계산 기법이다. 목표는 개별 입력 이미지보다 더 유익하고 인간의 시각적 인식이나 후속 자동 분석에 더 적합한 출력을 생성하는 것이다. 이 과정은 일반적으로 원본 이미지의 정렬(등록)과 픽셀, 특징 또는 결정 수준에서 융합 규칙을 적용하는 것을 포함한다. 응용 분야는 원격 탐사, 의료 진단, 감시, 사진 촬영 등으로 확장되며, 여기서 다중 센서 또는 다중 노출 데이터가 흔히 사용된다.
이 개념은 신호 처리와 컴퓨터 비전에서 유래했으며, 초기 연구는 1980년대로 거슬러 올라간다. 현대적 접근법은 딥러닝, 특히 합성곱 신경망과 트랜스포머 아키텍처를 활용하여 데이터에서 최적의 융합 전략을 학습한다. 이미지 융합은 더 넓은 시야를 만드는 이미지 스티칭(Image stitching)과 전환을 부드럽게 하는 이미지 블렌딩(Image blending)과는 구별되며, 기하학적 정렬만이 아닌 정보 추출에 중점을 둔다.
픽셀 수준 융합 방법
픽셀 수준 융합은 정렬된 이미지의 강도 값에 직접 작동한다. 가장 간단한 기법으로는 평균화(각 출력 픽셀이 해당 입력 픽셀의 평균)와 가중 평균화(로컬 대비 또는 선명도 같은 지표에 따라 가중치 선택)가 있다. 더 고급 방법은 라플라시안 피라미드 또는 이산 웨이블릿 변환과 같은 다중 스케일 변환을 사용한다. 이러한 방법에서 이미지는 주파수 대역으로 분해되고, 융합 규칙은 대역별로 최대 활동(예: 최고 절대값)을 가진 계수를 선택한 후 합성을 재구성한다. 이러한 방법은 단순 평균화보다 가장자리와 세부 정보를 더 잘 보존하지만, 분해와 재구성이 완벽히 일치하지 않으면 인공물이 발생할 수 있다.
밝기가 다른 다중 노출 융합의 경우, 픽셀 수준 방법은 종종 품질 맵(예: 채도, 대비, 적정 노출 기준)을 계산하여 가중치 선택을 안내한다. 이는 소비자 사진의 고동적 범위(HDR) 이미징에서 일반적이다.
특징 수준 및 결정 수준 융합
특징 수준 융합은 각 원본 이미지에서 가장자리, 모서리 또는 질감 설명자와 같은 두드러진 특징을 추출하고 이를 결합하여 공동 특징 벡터를 만든다. 이 벡터는 분류 또는 분할 작업에 사용된다. 예를 들어, 원격 탐사에서 팬샤프닝(Pan-sharpening)은 고해상도 전색성 이미지와 저해상도 다중 스펙트럼 이미지를 융합하여 전자에서 후자로 공간 세부 정보를 주입하며, 종종 특징 수준에서 수행된다. 결정 수준 융합(의미론적 융합이라고도 함)은 각각 다른 소스에서 작동하는 여러 분류기 또는 탐지기의 출력을 결합한다. 방법에는 다수결 투표, 베이즈 추론 또는 뎀스터-샤퍼 이론이 포함된다. 이 수준은 센서 잡음에 강하지만 각 소스가 의미 있는 결정을 제공해야 한다.
딥러닝 접근법
2010년대 중반 이후 딥러닝이 이미지 융합 연구를 지배해 왔다. 합성곱 신경망(CNN)은 쌍으로 된 훈련 데이터에서 융합 규칙을 직접 학습하는 데 사용된다. 일반적인 아키텍처는 각 입력에서 특징을 추출하는 인코더, 이러한 특징을 결합하는 융합 계층(예: 요소별 덧셈 또는 주의 메커니즘), 그리고 융합된 이미지를 재구성하는 디코더로 구성된다. 원래 생의학적 분할을 위해 개발된 U-Net 아키텍처는 다중 스케일 특징 추출과 미세한 세부 정보를 보존하는 스킵 연결 덕분에 융합에 자주 적응된다.
최근에는 다중 헤드 주의 메커니즘에 의존하는 트랜스포머 기반 모델이 이미지의 장거리 의존성을 포착하는 데 적용되었다. 이러한 모델은 이미지 패치를 토큰으로 취급하고 전역 맥락을 학습하여 큰 균일 영역이나 복잡한 질감이 있는 장면의 융합 품질을 향상시킬 수 있다. 훈련은 일반적으로 원본 이미지에 대한 충실도(예: 평균 제곱 오차)와 지각 품질(예: 구조적 유사성 지수)을 균형 있게 맞추는 손실 함수를 사용한다. 일부 방법은 생성적 적대 신경망을 사용하여 시각적으로 사실적인 출력을 생성하지만, 이는 훈련 불안정성을 추가한다.
응용 분야 및 과제
원격 탐사에서 이미지 융합은 위성 이미지의 팬샤프닝, 광학 및 레이더 데이터(예: Sentinel-1 및 Sentinel-2) 결합, 변화 탐지에 중요하다. 의료 영상에서는 컴퓨터 단층 촬영(CT)과 자기 공명 영상(MRI) 스캔을 융합하여 해부학적 및 기능적 정보를 모두 제공하며 진단과 수술 계획을 돕는다. 감시에서는 가시광선 및 적외선 이미지의 융합이 저조도 또는 차폐 조건에서 객체 탐지를 향상시킨다. 자율 주행 차량은 카메라, 라이다 및 레이더 데이터의 융합을 사용하지만, 이는 종종 이미지 융합보다는 센서 융합에 해당한다.
주요 과제로는 소스 간의 정렬 오류, 다양한 해상도, 공간 세부 정보와 스펙트럼 충실도 간의 절충이 있다. 융합된 이미지의 평가는 지상 진실 합성이 거의 존재하지 않기 때문에 어렵다. 상호 정보, 가장자리 보존, 시각적 정보 충실도 같은 지표가 사용되지만 주관적 평가가 여전히 일반적이다. 2020년대 초반 기준으로 모든 시나리오에서 다른 방법을 능가하는 단일 방법은 없으며, 적응형 및 작업별 융합에 대한 연구가 계속되고 있다.
더 넓은 AI와의 관계
이미지 융합은 컴퓨터 비전의 하위 분야이며 머신 러닝 및 딥러닝과 밀접하게 연결되어 있다. 모델 견고성을 향상시키기 위해 이미지를 결합하거나 수정하는 데이터 증강과 기법을 공유한다. 융합 알고리즘의 개발은 잔차 네트워크 및 배치 정규화와 같은 신경망 아키텍처 및 훈련 방법의 발전에서 이점을 얻었다. MIT CSAIL 및 스탠포드 AI 랩 같은 기관의 연구 그룹은 이론적 기초와 실용적 구현 모두에 기여했다. 산업 채택은 Google DeepMind(위성 이미지 분석용) 및 Samsung Research(스마트폰 카메라 향상용) 같은 회사의 제품에서 볼 수 있다.
미래 방향
떠오르는 추세에는 다중 모달 이해를 위한 대규모 언어 모델과의 융합이 포함되며, 여기서 이미지 융합은 텍스트 설명과 결합되어 더 풍부한 장면 표현을 생성한다. 엣지 장치에서의 실시간 융합은 효율적인 아키텍처와 AWS Trainium 또는 Qualcomm 칩 같은 하드웨어 가속기에 의해 추진되는 또 다른 초점이다. 또한 레이블이 지정된 훈련 데이터에 대한 의존성을 줄이기 위해 비지도 및 자기 지도 융합 방법이 탐구되고 있다. 생성 모델과의 융합 통합은 단순한 합성이 아니라 이상적인 조건에서 장면의 그럴듯한 재구성인 이미지를 합성할 수 있게 할 수 있다.
전반적으로 이미지 융합은 다양한 센서와 작업에 적응할 수 있는 더 지능적이고 맥락 인식 알고리즘으로 나아가는 궤적을 가진 활발한 연구 분야로 남아 있다.