배경 제거(Background subtraction)는 컴퓨터 비전과 비디오 처리에서 연속된 프레임 내의 상대적으로 정적인 배경으로부터 움직이는 전경 객체를 분리하는 기본적인 기법이다. 핵심 아이디어는 배경 장면에 대한 통계적 또는 휴리스틱 모델을 구축한 다음, 새 프레임의 각 픽셀을 모델과 일치하면 배경으로, 크게 벗어나면 전경으로 분류하는 것이다. 이 방법은 객체의 외형에 대한 사전 지식 없이 관심 영역을 식별하는 것이 목표인 비디오 감시, 교통 모니터링, 인간-컴퓨터 상호작용, 객체 추적 등 많은 응용 분야의 기반이 된다.
이 접근법은 카메라가 고정되어 있고 배경이 시간에 따라 대체로 변하지 않는다고 가정하지만, 점진적인 조명 변화, 카메라 노이즈, 작은 반복 움직임(예: 흔들리는 나뭇잎)과 같은 변이는 처리해야 한다. 배경 제거는 최근의 딥러닝 기반 분할 방법과는 구별되는데, 일반적으로 학습된 의미론적 특징보다는 픽셀별 통계에 기반하여 작동하므로 계산 효율적이며 임베디드 하드웨어의 실시간 시스템에 적합하다.
역사적 발전
배경 제거의 기원은 1970년대와 1980년대로 거슬러 올라가며, 초기 비디오 분석 시스템은 단순한 프레임 차분법 - 연속 프레임을 빼서 변화를 감지하는 방식 - 을 사용했다. 획기적인 발전은 1997년 MIT 컴퓨터 과학 및 인공지능 연구소의 Chris Stauffer와 W.E.L. Grimson의 연구에서 이루어졌는데, 이들은 각 픽셀을 가우시안 분포의 혼합으로 모델링했다. 이 적응형 접근법은 깜빡이는 모니터나 수면과 같은 다중 모드 배경을 처리할 수 있었고, 10년 이상 사실상의 표준이 되었다.
이후의 개선에는 2004년 Kim 등의 코드북 알고리즘(메모리 효율성을 위해 배경 샘플을 코드워드로 압축)과 2011년 Olivier Barnich와 Marc Van Droogenbroeck이 도입한 ViBe(Visual Background Extractor) 방법(무작위 정책으로 배경 샘플을 업데이트하여 낮은 계산 비용으로 높은 속도 달성)이 포함된다. 2010년대에는 그림자와 조명 변화에 대한 견고성을 개선하기 위해 색상, 질감, 에지 특징을 통합하는 방향으로 연구가 전환되었다.
핵심 기법
간단한 배경 제거 파이프라인은 초기 모델을 추정하기 위해 처음 N개의 프레임을 사용하는 배경 초기화로 시작한다. 가장 기본적인 형태는 이동 평균(running average)으로, 각 픽셀의 배경 값은 B_t = (1 - alpha) B_{t-1} + alpha I_t로 업데이트되며, 여기서 alpha는 학습률이다. 전경 감지는 임계값을 적용하여 |I_t - B_t| > T이면 해당 픽셀을 전경으로 표시한다. 이는 통제된 환경에서는 잘 작동하지만 동적 조건에서는 실패한다.
더 정교한 방법으로는 가우시안 혼합 모델(GMM)이 있으며, 각 픽셀에 대해 가중치, 평균, 분산을 가진 K개의 가우시안 분포를 유지한다. 픽셀은 특정 표준 편차 범위 내에서 임의의 분포와 일치하면 배경으로 분류된다. 매개변수는 기대값 최대화와 유사한 절차를 통해 온라인으로 업데이트된다. 또 다른 인기 있는 접근법은 비모수 커널 밀도 추정으로, 최근 픽셀 값의 히스토그램을 사용하여 확률 밀도를 추정하므로 특정 모수적 형태를 가정하지 않고 임의의 배경 분포를 허용한다.
과제와 현대적 접근법
실제 장면은 여러 가지 과제를 제기한다: 갑작스러운 조명 변화(예: 지나가는 구름), 전경 객체가 만드는 그림자, 카메라 흔들림, 움직이기 시작하는 배경 객체(예: 주차된 차가 출발하는 경우) 등이 그것이다. 그림자는 배경과 동일한 질감을 공유하지만 밝기가 더 낮기 때문에 특히 문제가 된다. 많은 알고리즘은 HSV와 같은 색 공간을 통합하여 색차(chrominance)와 휘도(luminance)를 분리하거나, 그래디언트 기반 특징을 사용하여 그림자와 실제 전경을 구분한다.
2010년대 중반 이후로 머신러닝 및 신경망 접근법이 주목을 받고 있다. 합성곱 신경망, 특히 U-Net 아키텍처의 변형은 CDnet 2014와 같은 레이블이 지정된 데이터셋에서 픽셀 단위 전경 분할을 수행하도록 훈련되었다. 이러한 방법은 고전적 기법보다 그림자를 억제하고 동적 배경을 더 효과적으로 처리하지만, 대규모 주석 데이터셋과 상당한 계산 자원이 필요하다. 하이브리드 시스템은 초기 감지를 위한 빠른 고전적 방법과 정제를 위한 딥 모델을 결합하여 속도와 정확도의 균형을 맞추는 경우가 많다.
응용 분야
배경 제거는 고정 카메라 피드에서 침입자나 유기물을 감지하는 보안 및 감시 시스템에 널리 배포된다. 교통 관리에서는 차량 수를 세고 고속도로에서 속도를 추정한다. 인간 동작 분석에서는 보행 인식이나 제스처 제어를 위해 사람의 실루엣을 분리하며, 초기 인터랙티브 시스템에서 사용되었다. 이 기법은 또한 조영 전 이미지에서 조영 후 이미지를 빼는 의료 영상과 망원경 이미지에서 정적 하늘 배경을 제거하는 천문학에도 나타난다.
산업 환경에서 배경 제거는 컨베이어 벨트의 결함이나 이물질을 감지하여 조립 라인의 품질 검사를 가능하게 한다. 엣지 컴퓨팅의 부상과 함께 ARM이나 Qualcomm과 같은 저전력 장치의 구현은 드론과 스마트 카메라에서 실시간 처리를 가능하게 하여, 이 기법의 적용 범위를 전통적인 서버 기반 시스템을 넘어 확장한다.
평가 및 데이터셋
벤치마킹은 알고리즘 비교에 중요하다. 몬트리올 대학교가 만든 CDnet 2012 및 CDnet 2014 데이터셋은 기준선, 동적 배경, 간헐적 움직임, 그림자와 같은 범주를 포함하는 다양한 비디오 시퀀스와 픽셀 수준의 정답 주석을 제공한다. 지표에는 정밀도, 재현율, F-측정값, 오분류 비율이 포함된다. 2014년 버전은 53개의 비디오가 포함된 11개 범주를 도입하여 학술 평가의 표준이 되었다.
LASIESTA 데이터셋과 같은 최근의 노력은 다양한 난이도의 합성 및 실제 시나리오를 추가한다. 딥러닝 모델이 이러한 벤치마크에서 더 높은 F-측정값을 달성하는 경우가 많지만, 고전적 방법은 속도에서 여전히 경쟁력이 있으며 훈련 데이터가 부족하거나 해석 가능성이 요구될 때 선호된다. 알고리즘 선택은 궁극적으로 하드웨어 제한, 실시간 요구 사항, 장면의 예상 변동성을 포함한 응용 분야의 특정 제약 조건에 따라 달라진다.