DeepLab은 의미론적 분할(semantic segmentation)을 위한 딥 신경망 아키텍처 계열로, 컴퓨터 비전 작업에서 이미지의 모든 픽셀에 클래스 레이블을 할당한다. Google 연구자들(초기에는 Google Research, 이후 Google DeepMind의 일부)이 개발한 DeepLab 모델은 필터의 수용 영역을 파라미터 수를 늘리거나 공간 해상도를 잃지 않고 확장하는 기술인 atrous(팽창) 합성곱을 사용하는 점에서 구별된다. 이 계열은 여러 버전을 거쳐 발전하며 각 버전마다 아키텍처와 훈련 방법론에 개선을 도입했고, PASCAL VOC 및 Cityscapes와 같은 벤치마크 데이터셋에서 지속적으로 최첨단 결과를 달성했다.
DeepLab의 핵심 혁신은 의미론적 분할에 atrous 합성곱(팽창 합성곱이라고도 함)을 적용한 것이다. 표준 합성곱에서는 필터가 입력의 연속 영역에 적용된다. atrous 합성곱은 필터 가중치 사이에 0(구멍)을 삽입하여 효과적으로 간격을 벌린다. 팽창률은 간격을 제어하며, 1은 표준 합성곱이고 더 높은 비율은 시야를 확장한다. 이를 통해 네트워크는 특징 맵을 다운샘플링하지 않고 더 큰 컨텍스트에서 정보를 포착할 수 있으며, 이는 분할 경계의 미세한 세부 사항을 보존하는 데 중요하다. DeepLab은 또한 서로 다른 팽창률을 가진 여러 atrous 합성곱을 병렬로 적용한 후 출력을 융합하는 모듈인 atrous 공간 피라미드 풀링(ASPP)을 사용한다. 이 다중 스케일 접근 방식은 모델이 다양한 크기의 객체를 인식하는 데 도움이 된다.
초기 버전: DeepLabv1 및 DeepLabv2
첫 번째 버전인 DeepLabv1은 2015년에 소개되었으며 atrous 합성곱을 완전 연결 조건부 무작위 필드(CRF)와 결합하여 후처리를 수행했다. CRF는 공간 일관성을 강제하여 객체 경계를 선명하게 만들고 거친 네트워크 출력을 개선했다. 2016년에 발표된 DeepLabv2는 ASPP 모듈을 추가하고 VGG-16 백본을 ResNet으로 교체하여 정확도와 효율성을 향상시켰다. v2 모델은 PASCAL VOC 2012 벤치마크에서 최고 결과를 달성하여 해당 분야의 새로운 표준을 세웠다.
DeepLabv3 및 DeepLabv3+
2017년에 발표된 DeepLabv3는 배치 정규화가 포함된 ASPP 모듈이 다중 스케일 컨텍스트를 포착하기에 충분하다는 것이 입증되었기 때문에 CRF 후처리를 제거하여 아키텍처를 단순화했다. 또한 이후 DeepLabv3+ 버전에서 더 효과적인 인코더-디코더 구조를 도입했으며, 특히 작은 객체의 분할 경계를 개선하기 위해 디코더 모듈을 추가했다. DeepLabv3+는 머신 러닝 커뮤니티에서 널리 채택된 기준선이 되었으며, 인스턴스 분할 및 범주 분할과 같은 다른 작업의 백본으로 자주 사용된다. Cityscapes 및 기타 자율 주행 데이터셋에서의 모델 성능은 실제 응용 프로그램에서 인기 있는 선택이 되게 했다.
기술적 세부 사항 및 훈련
DeepLab 모델은 일반적으로 사전 훈련된 백본 네트워크(예: ResNet 또는 Xception)를 사용하며 최종 완전 연결 레이어는 제거된다. 입력 이미지 크기와 출력 특징 맵 크기의 비율을 결정하는 출력 보폭은 핵심 하이퍼파라미터이다. DeepLabv3+는 훈련 중에는 출력 보폭 16을, 추론 중에는 8을 사용하여 속도와 정확도의 균형을 맞추는 경우가 많다. 훈련에는 데이터 증강, 배치 정규화, 확률적 경사 하강법 또는 그 변형을 사용한 최적화와 같은 표준 기술이 포함된다. 손실 함수는 일반적으로 픽셀별 교차 엔트로피 손실이며, 때로는 중간 레이어에 대한 보조 손실과 결합된다.
응용 및 영향
DeepLab은 자율 주행(Waymo 및 기타 회사가 장면 이해를 위해 유사한 분할 모델을 사용), 의료 이미지 분석(예: 스캔에서 장기 또는 종양 분할), 위성 이미지 분석 및 증강 현실을 포함한 다양한 분야에 적용되었다. 그 영향은 의미론적 분할을 넘어 확장되며, atrous 합성곱 기술은 U-Net 변형 및 객체 감지 모델과 같은 다른 아키텍처에서도 채택되었다. DeepLab 계열은 정밀한 객체 경계가 필요한 이미지 편집 및 생성형 AI 응용 프로그램을 포함한 더 큰 시스템의 공통 구성 요소이기도 하다.
DeepLab의 개발은 딥 러닝의 더 넓은 추세를 반영한다: 수작업 특징에서 종단 간 학습 표현으로의 전환, 다중 스케일 처리의 중요성, 정확성과 계산 효율성의 균형을 맞추는 아키텍처에 대한 추구. 비전에 적응된 트랜스포머 및 대규모 언어 모델 기반의 최신 모델이 일부 벤치마크에서 DeepLab을 능가했지만, DeepLab 계열은 의미론적 분할 분야에서 여전히 기본적인 참조 지점으로 남아 있다.