심층 단층 재구성(deep tomographic reconstruction)은 Deep learning 모델을 적용하여 X선 컴퓨터 단층 촬영(CT), 양전자 방출 단층 촬영(PET) 또는 전자 현미경에서 획득한 투영 측정값으로부터 단면 이미지를 재구성하는 계산 이미징 기법이다. 영상 시스템의 명시적 수학적 모델에 의존하는 고전적 방법과 달리, 심층 접근법은 대규모 데이터 세트에서 직접 원시 센서 데이터 또는 저품질 재구성에서 고충실도 이미지로의 매핑을 학습한다. 이 분야는 2010년대 중반에 Neural network 아키텍처의 발전과 대규모 의료 이미징 데이터 세트의 가용성에 힘입어 등장했다.
단층 재구성의 핵심 과제는 역문제(inverse problem)이다. 즉, 객체의 선적분(투영) 집합이 주어졌을 때 객체의 공간 분포를 추정하는 것이다. 필터 역투영(FBP) 및 반복 재구성과 같은 고전적 알고리즘은 잘 확립되어 있지만, 인공물을 피하기 위해 많은 투영이 필요한 경우가 많고 계산 비용이 많이 들 수 있다. 심층 단층 재구성은 학습된 사전 정보를 활용하여 더 적은 투영, 더 낮은 방사선 선량 또는 노이즈가 있는 측정값에서 정확한 재구성을 가능하게 함으로써 이러한 한계를 극복하는 것을 목표로 한다.
신경망 아키텍처
대부분의 심층 단층 재구성 방법은 2015년 생의학 이미지 분할을 위해 도입된 U-Net 아키텍처를 특히 포함하는 합성곱 신경망(CNN)을 사용한다. U-Net은 스킵 연결이 있는 인코더-디코더 구조를 특징으로 하여 미세한 세부 사항을 보존하면서 다중 스케일 특징을 포착할 수 있다. 단층 촬영에서 U-Net은 일반적으로 후처리에 사용된다. 즉, 초기 FBP 재구성을 입력으로 받아 스트리킹 인공물과 노이즈를 줄인 보정된 이미지를 출력한다.
더 고급 접근법은 신경망을 반복 재구성 루프에 직접 통합하는데, 이는 언롤된 최적화(unrolled optimization)로 알려진 전략이다. 이러한 방법은 데이터 일관성 단계(출력이 측정된 투영과 일치하는지 확인)와 학습된 노이즈 제거 또는 정규화 단계를 번갈아 수행한다. 예로는 Learned Primal-Dual 알고리즘과 ADMM-Net이 있으며, 이들은 수작업으로 설계된 정규화기를 훈련 가능한 네트워크로 대체한다. 이 하이브리드 접근법은 모델 기반 재구성의 해석 가능성과 딥러닝의 표현력을 결합한다.
훈련 데이터 및 손실 함수
심층 단층 재구성 모델을 훈련하려면 저품질 입력과 고품질 정답 이미지의 쌍을 이루는 데이터 세트가 필요하다. 의료 이미징에서 이러한 데이터는 종종 기존 CT 스캔의 시뮬레이션된 투영에서 얻어지며, 고선량 재구성이 대상으로 사용되고 저선량 또는 희소 뷰 투영이 시뮬레이션된다. Low-Dose CT Grand Challenge(2016) 및 AAPM CT Lymph Node 데이터 세트와 같은 공개 데이터 세트는 벤치마킹을 용이하게 했다.
손실 함수는 훈련에서 중요한 역할을 한다. 가장 일반적인 것은 평균 제곱 오차(MSE)로, 픽셀 단위 차이를 페널티로 주지만 흐릿한 출력을 생성할 수 있다. 사전 훈련된 네트워크의 특징을 기반으로 하는 지각 손실(perceptual losses)과 생성적 적대 신경망(GAN)의 적대적 손실은 선명도와 현실감을 개선하는 데 사용되었다. Loss Functions과 같은 구조적 유사성 지수(SSIM)도 지각 품질 메트릭에 대한 미분 가능한 근사치로 통합된다.
응용 및 성능
심층 단층 재구성은 진단 품질을 유지하면서 선량 감소를 가능하게 하는 의료 이미징에서 응용 분야를 찾았다. 예를 들어, 딥러닝을 사용한 저선량 흉부 CT 재구성은 FBP에 비해 노이즈가 감소하고 반복 방법과 유사한 성능을 보여주었다. 산업용 비파괴 검사에서 심층 방법은 제한된 각도의 X선 스캔에서 내부 구조를 재구성하여 제조된 부품이나 고고학적 유물을 검사하는 데 유용하다.
구조 생물학에 사용되는 전자 단층 촬영에서 딥러닝은 제한된 각도 범위의 틸트 시리즈에서 거대 분자의 3D 구조를 재구성하는 데 도움을 준다. 이 기술은 파동장 데이터에서 지하 특성을 추정하는 지진 단층 촬영에도 적용되었다. 성능 벤치마크는 심층 방법이 특히 희소 뷰 시나리오에서 고전적 접근법에 비해 피크 신호 대 잡음비(PSNR) 및 SSIM과 같은 우수한 이미지 품질 메트릭을 자주 달성함을 나타낸다.
과제 및 한계
성공에도 불구하고 심층 단층 재구성은 여러 과제에 직면해 있다. 일반화는 주요 우려 사항이다. 특정 스캐너 기하학 또는 조직 유형에 대해 훈련된 모델은 새로운 데이터 분포에서 성능이 저하될 수 있다. 이는 환자 해부학 및 스캐너 하드웨어의 변이가 일반적인 의료 이미징에서 특히 문제가 된다. 연구자들은 이 문제를 완화하기 위해 도메인 적응 및 물리 정보 네트워크를 탐구했다.
해석 가능성은 또 다른 장애물로 남아 있다. 명확한 수학적 보장이 있는 고전적 알고리즘과 달리 심층 네트워크는 종종 블랙 박스로 취급된다. 이는 방사선 전문의와 규제 기관이 재구성의 신뢰성에 대한 확신을 요구하므로 규제 및 임상 수용 문제를 제기한다. 이를 해결하기 위한 노력에는 네트워크가 신뢰도 맵을 출력하는 불확실성 정량화와 설명 가능한 AI 기술 개발이 포함된다.
계산 비용도 상당하다. 심층 모델을 훈련하려면 대규모 GPU 클러스터가 필요하며, 추론은 FBP보다 느릴 수 있지만 많은 반복 방법보다는 여전히 빠르다. Data Augmentation과 같은 무작위 회전 및 노이즈 주입 기술은 견고성을 개선하는 데 사용되지만 일반화 문제를 완전히 해결하지는 못한다. 2020년대 초 현재 심층 단층 재구성은 하이브리드 모델, 자기 지도 학습 및 임상 워크플로우에서 Artificial intelligence 시스템과의 통합에 대한 지속적인 작업이 있는 활발한 연구 영역이다.