딥 이미지 프라이어는 머신 러닝 및 딥 러닝 분야에서 무작위로 초기화된 신경망을 이미지 처리의 역문제 해결을 위한 수작업 사전(prior)으로 사용하는 기법이다. 대규모 데이터셋을 필요로 하는 기존의 딥 러닝 접근 방식과 달리, 딥 이미지 프라이어는 합성곱 네트워크 구조의 내재적 귀납적 편향을 활용하여 저수준 이미지 통계를 포착한다. 네트워크를 단일 손상 이미지에 맞춤으로써 사전 학습된 가중치나 외부 데이터 없이도 노이즈 제거, 초해상도, 인페인팅과 같은 작업을 수행할 수 있다.
이 방법은 2017년 Dmitry Ulyanov, Andrea Vedaldi, Victor Lempitsky가 소개했으며, 2018년 IEEE 컴퓨터 비전 및 패턴 인식 학회(CVPR)에서 "Deep Image Prior"라는 제목의 논문으로 발표되었다. 핵심 관찰은 무작위로 초기화된 합성곱 네트워크가 노이즈보다 자연 이미지 신호에 대해 강한 선호도를 가진다는 것이다. 이러한 선호 덕분에 네트워크는 정규화기 역할을 하여 최적화 과정에서 신호와 노이즈를 효과적으로 분리할 수 있다.
작동 방식
딥 이미지 프라이어 접근 방식은 합성곱 네트워크를 무작위 가중치로 초기화한 다음, 손상된 입력에서 대상 이미지를 재구성하도록 해당 가중치를 최적화하는 것을 포함한다. 네트워크는 고정된 무작위 노이즈 텐서를 입력으로 받아 출력 이미지를 생성한다. 손실 함수는 네트워크 출력과 손상된 관측값 간의 차이를 측정하며, 일반적으로 평균 제곱 오차(MSE) 또는 기타 픽셀 단위 지표를 사용한다.
최적화 과정에서 네트워크는 Adam (Optimizer) 또는 Stochastic Gradient Descent Variants와 같은 경사 기반 방법을 사용하여 훈련된다. 핵심 통찰은 네트워크 구조가 자연 이미지를 선호하는 평활성 사전을 부과한다는 것이다. 그 결과, 네트워크는 먼저 기본 clean 신호에 맞추는 법을 학습하고, 노이즈나 손상은 최적화 후반부에만 맞추게 된다. 최적화를 조기에 중단하면 노이즈가 제거되거나 복원된 이미지 버전을 얻을 수 있다.
응용 분야
딥 이미지 프라이어는 여러 이미지 복원 작업에 성공적으로 적용되었다. 노이즈 제거에서는 노이즈-클린 쌍의 훈련 데이터셋 없이도 이미지에서 가산성 가우시안 노이즈를 제거한다. 초해상도에서는 저해상도 이미지를 고해상도로 업스케일링하면서 선명한 가장자리와 질감을 보존한다. 인페인팅에서는 주변 영역의 정보를 전파하여 이미지의 누락되거나 손상된 영역을 채운다.
이러한 고전적 작업 외에도 딥 이미지 프라이어는 디블러링, 아티팩트 제거, 의료 영상 재구성 등 다른 역문제로 확장되었다. 단일 이미지로 작업할 수 있는 능력은 쌍을 이루는 훈련 데이터가 부족하거나 사용할 수 없는 분야, 예를 들어 Bhabha Atomic Research Centre 또는 Samsung Research 환경에서 독점적이거나 민감한 데이터를 공유할 수 없는 경우에 특히 유용하다.
장점과 한계
딥 이미지 프라이어의 주요 장점은 데이터 효율성이다. 사전 훈련이 필요 없으므로 대규모 예시 모음 없이도 모든 이미지에 적용할 수 있다. 이는 일회성 복원 작업이나 일반적인 훈련 세트의 분포에서 벗어난 이미지에 유용하다. 또한 이 방법은 최적화 중에 손상된 이미지 자체만 사용하므로 비지도 학습 방식이다.
그러나 이 접근 방식에는 한계가 있다. 최적화 과정은 계산 집약적이며, 종종 수천 번의 반복과 상당한 GPU 리소스가 필요하다. 레이어 수와 채널 수와 같은 네트워크 구조 선택은 성능에 큰 영향을 미칠 수 있으며, 모든 작업에 최적으로 작동하는 보편적인 구성은 없다. 또한 심각한 손상이나 손상이 암시적 사전으로 잘 모델링되지 않는 경우에는 어려움을 겪을 수 있다.
다른 기법과의 관계
딥 이미지 프라이어는 개념적으로 다른 비지도 및 자기 지도 학습 방법과 관련이 있다. 자연 이미지의 구조를 활용하는 Data Augmentation 기법과 유사점을 공유한다. 또한 Generative AI의 더 넓은 분야와도 연결되지만, 새로운 이미지를 생성하는 것이 아니라 기존 이미지를 재구성한다는 점에서 차이가 있다. 이 방법은 이후 딥 생성 모델과 합성곱 신경망 구조의 귀납적 편향 이해에 관한 연구에 영감을 주었다 (단, 합성곱 신경망의 슬러그는 제공된 목록에 없으므로 링크는 사용되지 않음).
연구는 또한 수렴성과 안정성을 개선하기 위해 딥 이미지 프라이어를 Residual Network (ResNet) 구조와 결합하는 방식을 탐구했다. 이 기법은 Loss Functions 및 Weight Initialization 맥락에서 분석되었으며, 여기서 무작위 초기화는 사전의 효과에 중요한 역할을 한다.
현재 연구 및 향후 방향
소개 이후 딥 이미지 프라이어는 다양한 방향으로 확장되었다. 연구자들은 Model Pruning을 사용하여 더 효율적인 네트워크를 만드는 등 계산 비용을 줄이는 방법을 조사했다. 다른 연구자들은 최적의 반복 횟수를 자동으로 결정하기 위한 적응형 중단 기준을 탐구했다. 이 방법은 또한 훈련 역학을 개선하기 위해 Batch Normalization 및 Layer Normalization과 결합되었다.
향후 작업은 시간적 일관성이 중요한 비디오 데이터로 접근 방식을 확장하거나 Transformer (architecture) 기반 아키텍처와 통합하는 데 초점을 맞출 수 있다. 2020년대 초반 현재 딥 이미지 프라이어는 여전히 활발한 연구 분야로, Google Cloud 및 Amazon Web Services와 같은 클라우드 기반 이미지 처리 서비스가 이러한 비지도 기법의 이점을 얻을 수 있는 분야에서 이론적 기반과 실제 응용에 대한 지속적인 연구가 진행 중이다.