색상 정규화는 컴퓨터 비전에서 인공 색각과 객체 인식에 관련된 주제이다. 일반적으로 이미지의 색상 값 분포는 조명에 따라 달라지며, 이는 조명 조건, 카메라 및 기타 요인에 따라 변할 수 있다. 색상 정규화는 색상 기반 객체 인식 기술이 이러한 변동을 보정할 수 있도록 한다. 목표는 조명 변화에 불변한 이미지 표현을 생성하여, 알고리즘이 이미지가 촬영된 조건이 아닌 객체의 고유 색상 속성에 기반하여 객체를 식별할 수 있게 하는 것이다.
이 분야는 인간 시각 시스템이 서로 다른 조명에서도 색상을 일관되게 인식하는 능력, 즉 색상 항등성(color constancy)이라는 현상에 기반을 둔다. 이러한 능력을 계산적으로 모방함으로써, 색상 정규화는 로봇 공학에서 의료 영상에 이르기까지 신뢰할 수 있는 색상 기반 분류가 중요한 다양한 응용 분야를 지원한다. 그러나 정규화 알고리즘의 선택은 특정 작업에 따라 달라지며, 각 방법은 서로 다른 장단점을 가진다.
색상 항등성
색상 항등성은 인간의 내부 지각 모델의 특징으로, 인간이 서로 다른 조명 조건에서도 객체에 상대적으로 일정한 색상을 할당할 수 있게 한다. 이는 객체 인식뿐만 아니라 환경 내 광원 식별에도 도움이 된다. 예를 들어, 인간은 태양이 밝을 때나 어두울 때 객체를 대략 같은 색으로 본다. 이러한 지각 안정성은 조명을 추정하고 지각된 색상을 그에 따라 조정하는 복잡한 신경 처리에서 비롯된다. 컴퓨터 비전에서 색상 정규화 알고리즘은 픽셀 값을 변환하여 조명의 영향을 제거함으로써 이 동작을 재현하려고 한다. 이는 색상이 구별 특징인 객체 인식 및 이미지 분할과 같은 작업에서 특히 중요하다. 정규화가 없으면 동일한 객체가 다른 조명에서 촬영될 때 매우 다른 색상 분포를 생성하여 인식 시스템을 혼란시킬 수 있다.
응용 분야
색상 정규화는 로봇 공학, 생물정보학 및 일반 Artificial intelligence 분야에서 색상 이미지의 객체 인식에 사용되어 왔으며, 이미지에서 모든 강도 값을 제거하면서 색상 값을 보존하는 것이 중요할 때 사용된다. 한 예로 하루 동안 감시 카메라로 촬영된 장면에서 동일한 색상 픽셀의 그림자나 조명 변화를 제거하고 지나간 사람들을 인식하는 것이 중요하다. 또 다른 예는 당뇨병성 망막병증 검출 및 암 상태의 분자 진단에 사용되는 자동화된 선별 도구로, 분류 중에 색상 정보를 포함하는 것이 중요하다. 로봇 공학에서 색상 정규화는 Machine learning 모델이 변화하는 환경(예: 변화하는 햇빛이 있는 야외 장면 또는 인공 조명이 있는 실내 장면)에서 객체를 식별하는 데 도움을 준다. 생물정보학에서는 염색 강도의 변동이 오분류를 초래할 수 있는 염색된 조직 샘플의 일관된 분석을 가능하게 한다. 이 기술은 또한 Deep learning 모델의 Data Augmentation 파이프라인에서 사용되며, 조명 변화에 강건한 훈련 데이터를 생성하는 데 도움을 준다.
알려진 문제점
특정 색상 정규화 응용의 주요 문제는 결과가 부자연스럽거나 원래 색상에서 너무 멀리 떨어져 보인다는 것이다. 중요한 측면 사이에 미묘한 변동이 있는 경우 이는 문제가 될 수 있다. 더 구체적으로, 부작용으로 픽셀이 발산하여 이미지의 실제 색상 값을 반영하지 못할 수 있다. 예를 들어, 정규화 알고리즘이 과도하게 보정하여 너무 포화되거나 이동된 색상을 생성할 수 있으며, 이는 유사한 객체 간의 미세한 구분을 모호하게 할 수 있다. 이는 미묘한 색상 차이가 다른 조직 유형이나 질병 상태를 나타낼 수 있는 의료 영상에서 특히 문제가 된다. 이 문제를 해결하는 방법 중 하나는 색상 정규화를 임계값 처리(thresholding)와 결합하여 색상 이미지를 정확하고 일관되게 분할하는 것이다. 임계값 처리는 관련 색상 영역을 배경 노이즈에서 분리하여 부자연스러운 색상 이동의 영향을 줄일 수 있다. 또한 일부 방법은 사용자가 응용 요구 사항에 따라 정규화와 자연스러운 외관 사이의 균형을 조정할 수 있는 매개변수를 조정할 수 있게 한다.
변환 및 알고리즘
색상 정규화를 달성하기 위한 다양한 변환 및 알고리즘이 있으며 여기에 제한된 목록이 제시된다. 알고리즘의 성능은 작업에 따라 달라지며, 한 작업에서 다른 알고리즘보다 더 잘 수행되는 알고리즘은 다른 작업에서는 더 나쁠 수 있다(무료 점심 정리). 또한 알고리즘의 선택은 최종 결과에 대한 사용자의 선호도에 따라 달라진다(예: 더 자연스러운 색상 이미지를 원할 수 있음). 일반적인 접근 방식에는 그레이 월드(grey world), 히스토그램 평활화(histogram equalization) 및 히스토그램 명세화(histogram specification)가 포함되며, 각각은 뚜렷한 가정과 절충점을 가진다. 일부 알고리즘은 속도와 단순성을 위해 설계된 반면, 다른 알고리즘은 계산 복잡성을 희생하면서 더 높은 정확도를 목표로 한다. 실제로 실무자는 특정 데이터 세트와 목표에 가장 적합한 방법을 찾기 위해 여러 방법을 실험하는 경우가 많다.
그레이 월드
그레이 월드 정규화는 조명 스펙트럼의 변화가 색상의 빨간색, 녹색 및 파란색 채널에 적용되는 세 가지 상수 요소로 모델링될 수 있다고 가정한다. 더 구체적으로, 조명된 색상의 변화는 R, G, B 색상 채널에서 스케일 α, β 및 γ로 모델링될 수 있으며, 따라서 그레이 월드 알고리즘은 조명 색상 변동에 불변하다. 따라서 각 색상 채널을 평균 값으로 나누어 항등성 해를 얻을 수 있다. 이 방법은 장면의 평균 색상이 회색이라고 효과적으로 가정하며, 이는 많은 자연 이미지에서 성립하지만 단일 색상이 지배하는 장면에서는 실패할 수 있다. 위에서 언급한 바와 같이, 그레이 월드 색상 정규화는 조명 색상 변동 α, β 및 γ에 불변하지만 중요한 문제가 하나 있다: 조명 강도의 모든 변동을 설명하지 못하며 동적이지 않다; 장면에 새 객체가 나타나면 실패한다. 이 문제를 해결하기 위해 가중 평균 사용이나 방법을 지역적으로 적용하는 것과 같은 그레이 월드 알고리즘의 여러 변형이 있다. 또한 그레이 월드 정규화의 반복 변형이 있지만, 이는 크게 더 나은 성능을 보이지 않는 것으로 발견되었다.
히스토그램 평활화
히스토그램 평활화는 픽셀 순위를 유지하고 단조 증가하는 색상 변환 함수에 대해 정규화할 수 있는 비선형 변환이다. 이는 그레이 월드 방법보다 더 강력한 정규화 변환으로 간주된다. 이 기술은 출력 이미지의 히스토그램이 대략 균일하도록 픽셀 강도를 재분배하여 대비를 향상시키고 세부 사항을 드러낼 수 있다. 그러나 히스토그램 평활화의 결과는 대부분의 이미지에서 픽셀 값의 분포가 균일보다는 가우시안 분포에 더 유사하기 때문에 파란색 채널이 과장되고 부자연스러워 보이는 경향이 있다. 이는 시각적으로 매력적이지 않은 색상 이동을 초래할 수 있지만, 이 방법은 단순성과 특정 맥락에서의 효과로 인해 여전히 인기가 있다. Computer vision 파이프라인에서 히스토그램 평활화는 특징 추출이나 분류 전에 전처리 단계로 자주 적용된다.
히스토그램 명세화
히스토그램 명세화는 빨간색, 녹색 및 파란색 히스토그램을 단순히 평활화하는 대신 세 가지 특정 히스토그램의 모양과 일치하도록 변환한다. 이는 히스토그램이 원하는 모양을 가지는 이미지를 얻는 것을 목표로 하는 이미지 변환 클래스를 의미한다. 이는 대상 히스토그램을 응용 요구 사항(예: 참조 이미지의 색상 분포 일치)에 따라 선택할 수 있으므로 출력에 대한 더 많은 제어를 허용한다. 이 과정은 먼저 입력 이미지를 평활화한 다음 원하는 히스토그램의 누적 분포 함수의 역함수를 적용하는 것을 포함한다. 이 방법은 의료 영상이나 원격 감지와 같이 일련의 이미지에서 일관된 색상 외관이 필요한 경우에 특히 유용하다. 그러나 적절한 대상 히스토그램의 선택이 필요하며, 이는 사소한 작업이 아닐 수 있고 도메인 전문 지식이 필요할 수 있다.