深度学习在光声成像中的应用是指利用神经网络来解决光声断层成像(PAT)和光声显微成像(PAM)中的逆问题并提升图像质量。光声成像通过向组织发射短激光脉冲,引起热弹性膨胀并产生由换能器检测到的超声波,从而将光学对比度与超声分辨率相结合。传统的重建算法,如反投影和基于模型的方法,通常需要密集采样和对声传播的精确建模,这可能导致计算成本高昂且对噪声敏感。深度学习方法的实验性引入大约始于2016年,它学习从原始传感器数据或低质量图像到高保真重建的映射,通常能实现实时性能并改善定量指标。
该领域借鉴了深度学习和机器学习的更广泛进展,特别是卷积架构,如U-Net和残差网络。这些模型在模拟或实验采集的数据集上进行训练,并使用为保留结构细节和减少伪影而定制的损失函数。应用包括稀疏视图重建、去噪、血管网络分割以及光学吸收系数的估计。深度学习的整合还催生了新的成像范式,例如使用生成模型从未配对数据中学习,并推动了用于临床决策的不确定性量化研究。
历史发展
光声成像深度学习的早期工作源于光学与计算机科学团队的合作,特别是在卡内基梅隆大学和多伦多大学等机构。2016年,研究人员首次证明全连接网络可以将光声时间序列信号映射为初始压力分布,在模拟中优于线性反投影。到2018年,卷积架构成为标准,研究表明基于U-Net的模型可以将有限视角测量中的伪影在峰值信噪比方面减少超过50%。
一个关键里程碑是学习型迭代重建的引入,它将优化算法展开为网络层,结合基于模型的先验与数据驱动的细化。这种方法于2019年发表,提高了对声学异质性的鲁棒性,并允许对血氧饱和度进行定量成像。该领域还受益于开源模拟工具,如k-Wave工具箱,它生成了大量用于训练的合成数据集。到2021年,多个研究小组已报告了小动物体内的演示,并启动了用于乳腺癌筛查和血管成像的临床可行性研究。
核心方法与架构
光声成像中的大多数深度学习方法可分为后处理、直接重建和基于模型的展开三类。后处理网络将常规重建结果作为输入并输出增强图像,通常使用数据增强来提高泛化能力。直接重建网络将原始射频数据映射为图像,完全绕过传统的波束形成或反投影。这些网络通常采用带有跳跃连接的编码器-解码器结构,类似于U-Net,以保留高频细节。
基于模型的展开将物理正向模型整合到网络架构中。优化算法(如梯度下降或交替方向乘子法)的每次迭代被替换为可学习层。这种方法减少了所需参数数量并提高了可解释性。损失函数通常包括均方误差、结构相似性指数和感知损失。训练通常使用已知真实值的模拟数据,随后在实验测量上进行微调。应用批归一化和丢弃等技术来稳定训练并防止过拟合,尤其是在实验数据集有限的情况下。
应用与临床转化
深度学习通过解决长期存在的瓶颈加速了光声成像的临床转化。在乳腺癌成像中,网络已被训练用于从稀疏换能器阵列重建高分辨率图像,将扫描时间从几分钟缩短到几秒。对于类风湿关节炎评估,深度学习对血管和滑膜结构的分割已达到与专家放射科医生相当的准确性。在皮肤病学中,使用深度学习的PAM系统能够在手术期间实时可视化黑色素瘤边缘。
另一个重要应用是功能成像,其中深度学习从多波长光声数据估计血氧饱和度和血流。由于波长相关的光衰减,这些任务是不适定的,但神经网络可以学习补偿深度相关效应。研究表明,基于深度学习的sO2映射相比线性解混方法将误差减少了30-40%。此外,生成模型已被用于从超声或光学相干断层扫描数据合成光声图像,从而无需额外硬件即可实现多模态融合。
挑战与局限
尽管前景广阔,深度学习在光声成像中仍面临若干挑战。缺乏标准化的大规模实验数据集阻碍了可重复性和基准测试。大多数模型在模拟数据上训练,这可能无法完全捕捉组织异质性和声衰减的复杂性。模拟与真实测量之间的域偏移通常会降低性能,需要迁移学习或对抗性域适应等技术。可解释性仍然是一个问题,因为临床医生需要信任模型输出以进行诊断。研究人员已探索使用贝叶斯神经网络或蒙特卡洛丢弃进行不确定性估计,但这些方法增加了计算成本。
另一个局限是训练和推理的计算负担,尤其是对于3D体积成像。虽然Graphcore等AI硬件公司开发了加速器,但大多数临床系统依赖标准GPU。2D图像可以实现实时性能,但3D重建通常需要离线处理。此外,基于AI的医疗器械的监管审批仍在发展中,带有深度学习组件的光声系统必须经过严格验证。截至2025年,尚无基于深度学习的光声成像系统获得FDA批准,尽管有几项正在进行临床试验。
未来方向
未来研究可能聚焦于自监督和基础模型,这些模型能够跨不同成像系统和组织类型进行泛化。Transformer架构在其他领域的成功启发了使用注意力机制进行光声重建的初步研究,尽管计算成本仍然很高。与人工智能系统集成以实现自动诊断(如检测肿瘤或监测治疗反应)是一个活跃领域。此外,联邦学习可以在不共享患者数据的情况下实现多中心训练,解决隐私问题。硬件方面的进步,如更快的激光系统和更灵敏的换能器,将补充算法改进,可能使基于深度学习的光声成像在未来十年内成为常规临床工具。