SegNet은 의미론적 분할(semantic segmentation)을 위해 설계된 심층 신경망 아키텍처로, 이미지의 모든 픽셀에 클래스 레이블을 할당하는 컴퓨터 비전 작업이다. 이는 2015년 케임브리지 대학교 연구자들(Vijay Badrinarayanan, Alex Kendall, Roberto Cipolla)에 의해 소개되었다. SegNet은 인코더-디코더 구조로 유명하며, 고수준 의미론적 특징을 포착하면서도 인코더에서 디코더로 max-pooling 인덱스를 전달하는 메커니즘을 통해 공간 해상도를 보존한다. 이러한 설계는 이전 접근 방식에 비해 메모리와 계산 측면에서 효율적이며, 자율 주행 및 장면 이해와 같은 응용 분야에서 널리 사용되어 왔다.
이 아키텍처는 합성곱 및 풀링 계층을 통해 입력 이미지를 점진적으로 다운샘플링하는 인코더 네트워크와, 특징 맵을 원래 해상도로 업샘플링하는 대응하는 디코더 네트워크로 구성된다. 핵심 혁신은 풀링 인덱스의 사용이다. 인코더에서 max-pooling을 수행하는 동안 최대값의 위치가 기록되어 디코더로 전달되며, 디코더는 이를 사용하여 업샘플링된 값을 올바른 위치에 배치한다. 이는 학습 가능한 업샘플링 계층의 필요성을 제거하고 매개변수 수를 줄여, 특정 상황에서 U-Net과 같은 대안보다 SegNet을 더 효율적으로 만든다.
아키텍처 및 훈련
SegNet의 인코더는 ImageNet에서 사전 훈련된 VGG16 네트워크의 합성곱 계층을 기반으로 하지만, 매개변수 수를 줄이기 위해 완전 연결 계층을 제거한다. 인코더는 13개의 합성곱 계층으로 구성되며, 각 계층 뒤에는 배치 정규화와 ReLU 활성화가 따르고, max-pooling 사이에 5개의 스테이지로 구성된다. 디코더는 13개의 합성곱 계층으로 이 구조를 반영하지만, 해당 인코더 스테이지에서 풀링 인덱스를 가져오는 업샘플링 계층을 사용한다. 마지막 계층은 각 픽셀에 대한 클래스 확률 분포를 생성하는 softmax 분류기이다.
훈련은 교차 엔트로피 손실 함수와 확률적 경사 하강법을 사용하여 종단 간(end-to-end)으로 수행된다. 저자들은 사전 훈련된 인코더 가중치를 사용하면 수렴이 가속화되고 정확도가 향상된다고 보고했다. 또한 무작위 자르기 및 뒤집기와 같은 데이터 증강 기법을 사용하여 견고성을 높였다. 모델은 11개 클래스의 도로 장면을 포함하는 CamVid 데이터셋으로 훈련되었으며, 이후 SUN RGB-D 및 Cityscapes와 같은 다른 벤치마크에서도 평가되었다.
성능 및 비교
원본 논문에서 SegNet은 CamVid 테스트 세트에서 평균 교차-합집합(IoU) 60.1%를 달성하여 FCN(완전 합성곱 네트워크) 및 DeconvNet과 같은 초기 방법을 능가했다. 특히 풀링 인덱스 메커니즘이 경계 정보를 보존하여 도로 경계 및 작은 물체와 같은 미세한 세부 사항을 포착하는 데 효과적이었다. 그러나 추론 중 메모리 사용량은 일부 후속 아키텍처보다 높았으며, 이후 더 정교한 어텐션 메커니즘이나 팽창 합성곱을 갖춘 모델에 의해 정확도가 추월당했다.
생의학 이미지 분할을 위해 비슷한 시기에 개발된 U-Net과 비교할 때, SegNet은 다른 업샘플링 전략을 사용한다. U-Net은 스킵 연결을 통해 인코더 특징을 디코더 특징과 연결하는 반면, SegNet은 풀링 인덱스만 전달한다. 이는 훈련 중 SegNet을 더 메모리 효율적으로 만들지만, 미세한 공간 세부 사항이 중요한 작업에서는 정확도가 떨어질 수 있다. 둘 사이의 선택은 종종 특정 응용 분야와 계산 제약에 따라 달라진다.
응용 및 영향
SegNet은 자율 주행을 포함한 다양한 분야에 적용되었으며, 도로, 차량, 보행자, 건물과 같은 범주로 도로 장면을 분할하는 데 사용된다. 또한 로봇 공학의 장면 이해, 원격 탐사의 토지 피복 분류, 의료 영상의 장기 또는 종양 분할에도 사용되었다. 그 효율성 덕분에 임베디드 장치의 실시간 응용에 적합했으며, 이후 딥러닝의 인코더-디코더 아키텍처에 영향을 미쳤다.
논문 "SegNet: A Deep Convolutional Encoder-Decoder Architecture for Image Segmentation"은 2017년 IEEE Transactions on Pattern Analysis and Machine Intelligence에 게재되었으며, 코드는 오픈소스 라이선스로 공개되었다. 이 아키텍처는 수천 번 인용되었으며 의미론적 분할 연구의 기준점으로 남아 있다.
한계 및 진화
장점에도 불구하고 SegNet에는 한계가 있다. 풀링 인덱스 메커니즘은 효율적이지만 전체 특징 맵이 아닌 최대값의 위치만 기록하므로 일부 공간 정보를 잃을 수 있다. 이는 경우에 따라 경계가 흐릿해질 수 있다. 또한 고정된 인코더-디코더 구조는 PSPNet이나 DeepLab과 같은 후속 모델처럼 피라미드 풀링이나 팽창 합성곱을 사용하여 다중 스케일 컨텍스트를 효과적으로 통합하지 못한다.
후속 연구는 저수준 및 고수준 특징을 결합하는 스킵 연결 사용이나 분할 맵을 정제하는 어텐션 메커니즘 도입과 같은 SegNet의 아이디어를 기반으로 구축되었다. U-Net 변형 및 트랜스포머와 같은 현대 아키텍처는 정확도 측면에서 SegNet을 대체했지만, 그 원리는 여전히 기초적이다. 2020년대 중반 현재 SegNet은 학술 비교의 기준선과 계산 효율성이 최첨단 정확도보다 우선시되는 응용 분야에서 여전히 사용된다.
참고 문헌 및 유산
SegNet의 기여는 풀링 인덱스 전달을 통한 인코더-디코더가 비교적 작은 메모리 공간으로 경쟁력 있는 분할 결과를 달성할 수 있음을 입증한 데 있다. 이는 여러 머신러닝 프레임워크와 툴킷에 통합되었으며, 그 설계는 수많은 변형에 영감을 주었다. 원본 구현은 GitHub에서 제공되며, 논문은 컴퓨터 비전 문헌에서 널리 인용된다. 그 유산은 트랜스포머 및 생성형 AI 접근 방식을 포함한 현대 분할 모델에서 인코더-디코더 구조의 지속적인 사용에서 분명하게 드러난다.