광음향 영상에서의 딥러닝은 신경망을 사용하여 역문제를 해결하고 광음향 단층촬영(PAT) 및 광음향 현미경(PAM)의 영상 품질을 향상시키는 것을 의미한다. 광음향 영상은 짧은 레이저 펄스로 조직을 조명하여 열탄성 팽창을 유발하고, 이로 인해 발생하는 초음파를 변환기로 감지함으로써 광학적 대비와 초음파 해상도를 결합한다. 역투영 및 모델 기반 방법과 같은 전통적인 재구성 알고리즘은 종종 조밀한 샘플링과 정확한 음향 전파 모델링을 요구하며, 이는 계산 비용이 높고 노이즈에 민감할 수 있다. 2016년경 실험적으로 도입된 딥러닝 방법은 원시 센서 데이터 또는 저품질 영상에서 고충실도 재구성으로의 매핑을 학습하며, 종종 실시간 성능과 개선된 정량적 지표를 달성한다.
이 분야는 딥러닝 및 머신러닝의 광범위한 발전, 특히 U-Net 및 잔차 네트워크와 같은 합성곱 아키텍처를 활용한다. 이러한 모델은 시뮬레이션 또는 실험적으로 획득한 데이터셋으로 훈련되며, 구조적 세부 사항을 보존하고 아티팩트를 줄이도록 설계된 손실 함수를 사용한다. 응용 분야에는 희소 뷰 재구성, 노이즈 제거, 혈관 네트워크 분할, 광흡수 계수 추정이 포함된다. 딥러닝의 통합은 생성 모델을 사용한 비대응 데이터 학습과 같은 새로운 영상 패러다임을 가능하게 했으며, 임상 의사 결정을 위한 불확실성 정량화 연구를 촉진했다.
역사적 발전
광음향 영상에서 딥러닝의 초기 연구는 광학과 컴퓨터 과학 그룹 간의 협력에서 등장했으며, 특히 카네기 멜론 대학교와 토론토 대학교와 같은 기관에서 두드러졌다. 2016년, 연구자들은 완전 연결 네트워크가 시계열 광음향 신호를 초기 압력 분포로 매핑할 수 있음을 처음으로 입증했으며, 시뮬레이션에서 선형 역투영보다 우수한 성능을 보였다. 2018년까지 합성곱 아키텍처가 표준이 되었으며, U-Net 기반 모델이 제한된 뷰 측정의 아티팩트를 최대 신호 대 잡음비에서 50% 이상 줄일 수 있음을 보여주는 연구가 발표되었다.
주요 이정표는 최적화 알고리즘을 네트워크 계층으로 펼치는 학습된 반복 재구성의 도입이었으며, 이는 모델 기반 사전 정보와 데이터 기반 정제를 결합했다. 2019년에 발표된 이 접근법은 음향 이질성에 대한 견고성을 개선하고 산소 포화도의 정량적 영상을 가능하게 했다. 이 분야는 또한 k-Wave 툴박스와 같은 오픈 소스 시뮬레이션 도구의 혜택을 받았으며, 이는 훈련을 위한 대규모 합성 데이터셋을 생성했다. 2021년까지 여러 그룹이 소동물에서 생체 내 시연을 보고했으며, 유방암 검진 및 혈관 영상을 위한 임상 타당성 연구가 진행 중이었다.
핵심 방법 및 아키텍처
광음향 영상의 대부분의 딥러닝 접근법은 후처리, 직접 재구성, 모델 기반 언롤링으로 분류할 수 있다. 후처리 네트워크는 기존 재구성 결과를 입력으로 받아 향상된 영상을 출력하며, 종종 데이터 증강을 사용하여 일반화를 개선한다. 직접 재구성 네트워크는 원시 무선 주파수 데이터를 영상으로 매핑하여 전통적인 빔포밍이나 역투영을 완전히 우회한다. 이러한 네트워크는 일반적으로 U-Net과 유사한 스킵 연결이 있는 인코더-디코더 구조를 사용하여 고주파 세부 사항을 보존한다.
모델 기반 언롤링은 물리적 순방향 모델을 네트워크 아키텍처에 통합한다. 경사 하강법이나 교대 방향 승수 방법과 같은 최적화 알고리즘의 각 반복은 학습 가능한 계층으로 대체된다. 이 접근법은 필요한 매개변수 수를 줄이고 해석 가능성을 개선한다. 손실 함수에는 일반적으로 평균 제곱 오차, 구조적 유사성 지수, 지각 손실이 포함된다. 훈련은 종종 알려진 실제 값을 가진 시뮬레이션 데이터를 사용한 후 실험 측정으로 미세 조정한다. 배치 정규화 및 드롭아웃과 같은 기술은 훈련을 안정화하고 과적합을 방지하기 위해 적용되며, 특히 실험 데이터셋이 제한적인 경우에 유용하다.
응용 및 임상 전환
딥러닝은 오랜 병목 현상을 해결함으로써 광음향 영상의 임상 전환을 가속화했다. 유방암 영상에서 네트워크는 희소 변환기 배열에서 고해상도 영상을 재구성하도록 훈련되어 스캔 시간을 수 분에서 수 초로 줄였다. 류마티스 관절염 평가에서 혈관 및 활막 구조의 딥러닝 분할은 전문 방사선 전문의와 비교할 수 있는 정확도를 달성했다. 피부과에서 딥러닝을 사용한 PAM 시스템은 수술 중 흑색종 경계의 실시간 시각화를 가능하게 했다.
또 다른 중요한 응용 분야는 기능 영상으로, 딥러닝이 다파장 광음향 데이터에서 산소 포화도와 혈류를 추정한다. 이러한 작업은 파장 의존적 빛 감쇠로 인해 잘못된 조건의 문제이지만, 신경망은 깊이 의존적 효과를 보상하도록 학습할 수 있다. 연구에 따르면 딥러닝 기반 sO2 매핑은 선형 언믹싱 방법보다 오류를 30-40% 줄인다. 또한 생성 모델은 초음파 또는 광간섭 단층촬영 데이터에서 광음향 영상을 합성하는 데 사용되어 추가 하드웨어 없이 다중 모드 융합을 가능하게 한다.
과제 및 한계
약속에도 불구하고 광음향 영상의 딥러닝은 여러 과제에 직면해 있다. 표준화된 대규모 실험 데이터셋의 부족은 재현성과 벤치마킹을 저해한다. 대부분의 모델은 시뮬레이션 데이터로 훈련되며, 이는 조직 이질성과 음향 감쇠의 전체 복잡성을 포착하지 못할 수 있다. 시뮬레이션과 실제 측정 간의 도메인 이동은 종종 성능을 저하시키며, 전이 학습이나 적대적 도메인 적응과 같은 기술이 필요하다. 해석 가능성은 여전히 우려 사항으로, 임상의가 진단을 위해 모델 출력을 신뢰해야 하기 때문이다. 연구자들은 베이지안 신경망이나 몬테카를로 드롭아웃을 사용한 불확실성 추정을 탐구했지만, 이러한 방법은 계산 비용을 증가시킨다.
또 다른 한계는 특히 3D 체적 영상에서 훈련 및 추론의 계산 부담이다. 그래프코어 및 기타 AI 하드웨어 회사가 가속기를 개발했지만, 대부분의 임상 시스템은 표준 GPU에 의존한다. 실시간 성능은 2D 영상에서 달성 가능하지만, 3D 재구성은 종종 오프라인 처리를 요구한다. 또한 AI 기반 의료 기기에 대한 규제 승인은 여전히 진화 중이며, 딥러닝 구성 요소를 갖춘 광음향 시스템은 엄격한 검증을 거쳐야 한다. 2025년 현재, 딥러닝 기반 광음향 영상 시스템은 FDA 승인을 받지 못했지만, 여러 시스템이 임상 시험 중에 있다.
향후 방향
향후 연구는 다양한 영상 시스템과 조직 유형에 걸쳐 일반화할 수 있는 자기 지도 및 기반 모델에 초점을 맞출 가능성이 높다. 다른 분야에서 트랜스포머 아키텍처의 성공은 광음향 재구성에 주의 메커니즘을 사용하는 초기 연구에 영감을 주었지만, 계산 비용은 여전히 높다. 종양 감지 또는 치료 반응 모니터링과 같은 자동 진단을 위한 인공지능 시스템과의 통합은 활발한 연구 영역이다. 또한 연합 학습은 환자 데이터를 공유하지 않고 다기관 훈련을 가능하게 하여 개인 정보 보호 문제를 해결할 수 있다. 더 빠른 레이저 시스템과 더 민감한 변환기와 같은 하드웨어의 발전은 알고리즘 개선을 보완하여 딥러닝 기반 광음향 영상을 향후 10년 내에 일상적인 임상 도구로 만들 가능성이 있다.