U-Net은 이미지 분할, 특히 생물의학 분야에서 사용하기 위해 개발된 합성곱 신경망 아키텍처입니다. 2015년 프라이부르크 대학의 올라프 론베르거, 필리프 피셔, 토마스 브록스가 이전의 완전 합성곱 네트워크를 기반으로 도입했습니다. 이 아키텍처는 대칭적인 인코더-디코더 설계와 스킵 연결로 구별되며, 이를 통해 비교적 적은 수의 훈련 이미지에서 정밀한 분할 맵을 생성할 수 있습니다. U-Net 아키텍처를 사용하면 512 × 512 이미지의 분할이 최신(2015년) GPU에서 1초 미만이 소요됩니다.
U-Net 아키텍처는 2014년 에반 셸하머, 조나단 롱, 트레버 다렐이 개발한 이른바 "완전 합성곱 네트워크"(FCN)에서 유래했습니다. 주요 아이디어는 풀링 연산이 업샘플링 연산자로 대체되는 연속적인 레이어로 일반적인 축소 네트워크를 보완하는 것입니다. 따라서 이러한 레이어는 출력의 해상도를 높입니다. 연속적인 합성곱 레이어는 이 정보를 기반으로 정밀한 출력을 조립하는 방법을 학습할 수 있습니다.
네트워크 아키텍처
네트워크는 축소 경로와 확장 경로로 구성되며, 이로 인해 U자형 아키텍처가 형성됩니다. 축소 경로는 합성곱의 반복 적용으로 구성된 전형적인 합성곱 네트워크로, 각 합성곱 뒤에는 정류 선형 유닛(ReLU)과 최대 풀링 연산이 이어집니다. 축소 과정에서 공간 정보는 줄어들고 특징 정보는 증가합니다. 확장 경로는 축소 경로의 고해상도 특징과의 업컨볼루션 및 연결 시퀀스를 통해 특징 정보와 공간 정보를 결합합니다.
U-Net의 중요한 수정 사항 중 하나는 업샘플링 부분에 많은 수의 특징 채널이 있다는 점으로, 이를 통해 네트워크가 컨텍스트 정보를 더 높은 해상도의 레이어로 전파할 수 있습니다. 결과적으로 확장 경로는 축소 부분과 거의 대칭을 이루며 U자형 아키텍처를 생성합니다. 네트워크는 완전 연결 레이어 없이 각 합성곱의 유효 부분만 사용합니다. 따라서 네트워크는 다양한 입력 해상도의 혼합으로 훈련 및 실행될 수 있습니다.
이미지의 경계 영역에 있는 픽셀을 예측하기 위해 이미지 경계 너머의 누락된 컨텍스트는 이미지 경계에서 입력 이미지를 미러링하여 외삽됩니다. 원래 U-Net 논문은 또한 타일링 전략을 제안했는데, 여기서 큰 이미지는 독립적으로 처리되는 겹치는 타일로 잘립니다. 이를 통해 사용 가능한 GPU 메모리를 초과할 수 있는 고해상도 이미지를 처리할 수 있습니다. 최근에는 의료 이미지 분할을 위한 수용 영역 기반 U-Net 모델에 대한 관심도 있었습니다.
훈련 및 손실 함수
U-Net은 픽셀 단위 손실 함수(일반적으로 교차 엔트로피 또는 가중치 변형)를 사용하여 확률적 경사 하강법(SGD)으로 종단 간 훈련됩니다. 에너지 함수는 교차 엔트로피 손실과 결합된 최종 특징 맵에 대한 픽셀 단위 소프트맥스로 계산됩니다. 저자들은 접촉하는 객체 간의 경계 근처 픽셀에 더 높은 중요성을 부여하는 가중치 맵을 도입했으며, 이를 통해 네트워크가 생물의학 이미지에서 개별 인스턴스를 분리하는 방법을 학습할 수 있습니다. 이 가중치 맵은 각 훈련 이미지에 대해 미리 계산되며 경계 영역의 오류를 더 크게 패널티하는 데 사용됩니다.
네트워크는 탄성 변형, 회전, 강도 변형을 포함한 데이터 증강을 사용하여 유효 훈련 세트 크기를 늘립니다. 이는 주석이 달린 데이터가 부족한 생물의학 이미징에서 특히 중요합니다. 원래 구현은 안정적인 수렴을 보장하기 위해 높은 모멘텀(0.99)과 낮은 학습률(0.00001)을 사용했습니다.
생물의학 이미징에서의 응용
U-Net은 생물의학 이미지 분할에서 많은 응용 분야가 있으며, 예를 들어 컴퓨터 단층 촬영(CT) 및 자기 공명 영상(MRI) 스캔에서 다양한 장기 및 신체 시스템의 분할이 있습니다. 구체적인 사례로는 뇌 이미지 분할(BRATS) 및 간 이미지 분할(siliver07)뿐만 아니라 단백질 결합 부위 예측이 있습니다. U-Net 구현은 또한 재료의 미세 구조 사진 분석과 같은 물리 과학에서도 사용됩니다.
U-Net의 변형은 의료 이미지 재구성에도 적용되었습니다. U-Net의 일부 변형 및 응용은 다음과 같습니다.
- U-Net을 사용한 픽셀 단위 회귀 및 팬샤프닝에 대한 응용.
- 3D U-Net: 희소 주석에서 조밀한 체적 분할 학습.
- TernausNet: 이미지 분할을 위해 ImageNet에서 사전 훈련된 VGG11 인코더를 갖춘 U-Net.
- 형광 염색을 추정하기 위한 이미지 간 변환.
- 단백질 구조의 결합 부위 예측.
확산 모델에서의 사용
U-Net 아키텍처는 반복적인 이미지 노이즈 제거를 위한 확산 모델에서도 사용되었습니다. 이 기술은 DALL-E, Midjourney, Stable Diffusion과 같은 많은 현대 이미지 생성 모델의 기반이 됩니다. 이러한 모델에서 U-Net은 확산 과정의 각 단계에서 이미지에 추가된 노이즈를 예측하도록 훈련되며, 이를 통해 모델이 무작위 노이즈 입력을 점진적으로 일관된 이미지로 정제할 수 있습니다. U-Net의 스킵 연결은 노이즈 제거 과정에서 고주파 세부 정보를 보존하기 때문에 여기서 특히 유리합니다.
언어 모델 탐색
U-Net은 언어 모델에서도 탐구되고 있습니다. 토큰화는 별도의 단계가 아니므로 모델이 철자를 더 쉽게 이해하고 동시에 더 높은 수준의 개념을 벡터화/토큰화할 수 있습니다. 이는 U-Net의 다중 스케일 특징 포착 능력을 활용하는 새로운 연구 분야로, 자연어 처리에서 지배적인 Transformer (architecture) 아키텍처에 대한 대안을 제공할 가능성이 있습니다.
역사 및 유산
U-Net은 2015년 올라프 론베르거, 필리프 피셔, 토마스 브록스가 만들었으며 "U-Net: Convolutional Networks for Biomedical Image Segmentation" 논문에서 보고되었습니다. 이는 FCN의 개선 및 발전입니다: 에반 셸하머, 조나단 롱, 트레버 다렐(2014). "Fully convolutional networks for semantic segmentation". 이 논문은 딥 러닝 분야에서 가장 많이 인용된 논문 중 하나가 되었으며, 아키텍처는 생물의학 이미징을 넘어 수많은 작업에 적용되었습니다.
U-Net의 성공은 다양한 인코더(VGG 또는 ResNet 등), 어텐션 메커니즘, 다중 스케일 처리를 포함한 많은 변형에 영감을 주었습니다. 그 영향은 머신 러닝의 다른 영역, Generative AI 및 컴퓨터 비전에도 확장됩니다. 이 아키텍처는 또한 의료 이미징 챌린지에서 일반적인 기준선이며 TensorFlow 및 PyTorch와 같은 프레임워크에서 널리 구현됩니다.
구현
U-Net의 여러 오픈 소스 구현이 제공됩니다. J Akeret(2017)의 Tensorflow Unet은 인기 있는 구현입니다. 원래 U-Net 소스 코드는 독일 프라이부르크 대학 컴퓨터 과학부의 패턴 인식 및 이미지 처리 그룹에서 제공됩니다. 이러한 구현은 연구 및 산업 분야에서 U-Net의 광범위한 채택을 촉진했습니다.