Light | 基于深度学习的去散射技术

Banner 推广

撰稿 | 隆中雯

导读

近日，来自美国哈佛大学文理学院Dushan N. Wadduwage等人开发了一种深度学习驱动的图像去散射化技术--DEEP²，是一种深层组织显微成像技术。作者利用了深度学习的计算成像框架，实现了仅需数十（32）个模式激发去除散射并重建深层组织图像，与之前提出的DEEP技术相比，DEEP²的成像通量提高了近一个数量级，且成像深度可达四个散射长度（约200 μm）。为使用深度学习提高宽场深层组织显微成像技术的成像通量奠定了基础。

研究背景

对生物组织内部的神经元或血管等结构进行深层显微成像具有重要挑战性，目前的标准方法是使用点扫描双（或三）光子显微镜（PSTPM）。PSTPM通过聚焦的长波飞秒激光穿透散射组织激发荧光分子，随后利用探测器收集穿过相同散射组织的发射荧光成像。相比于激发光，发射光的波长要短很多，因而在通过探测器的过程中会产生明显的散射。因此，PSTPM的成像过程需要逐点激发和解析，速度较慢，若要提升成像速度，可能会牺牲分辨率或成像视场。

时间聚焦显微镜（TFM）实现了多光子宽场显微成像，通过时间上聚焦放大的飞秒激光脉冲，实现了深度选择成像。然而，在宽场深层组织成像中，部分光子被错误映射到探测器像素上，降低了信噪比和空间分辨率。

本论文课题组的之前研究工作提出了一种“通过激发模式去散射（DEEP）”技术，使用了宽场检测代替了单像素检测。单像素检测完全依赖编码模式进行去散射，而宽场检测保留了一些空间信息，仅部分依赖于编码模式。因此，TRAFIX需要数万个激发图像来重建经典的WFTPM图像，而DEEP仅需要数百个。尽管有了这样的速度提升，DEEP与用于光学透明或薄样品的其他深度解析宽场成像技术相比，仍然慢了几个数量级。

创新研究

在这项工作中，作者基于深度学习的计算成像框架，利用先前的图像信息来进一步提高DEEP的通量，提出的方法被称为DEEP²。从计算成像的角度来看，描述理想图像（x）到观察图像（y）转换的成像过程被称为正向模型（f）。在正向成像过程中，观察到的图像（y）受到图像噪声、低通滤波、像素值量化、子采样和我们案例中的散射等的影响而退化。应构建反向传播模型将观察到的图像（y）映射到理想的预期图像（x），改善图像质量，深度学习在这一方面已展现出令人印象深刻的能力。DEEP²的模型架构受到UNet的启发，但在扩展路径上添加了自注意力机制和终止重建模块。作者使用模拟数据集来训练DEEP²。首先，作者构建了DEEP显微镜成像过程的正向模型，使用了蒙特卡洛模拟对散射组织的光学行为进行建模。随后，作者使用正向模型模拟了从PSTPM图像堆栈（模拟或实验获取的）中转换的DEEP图像。最后，作者利用实验获取的荧光珠和小鼠皮层的DEEP图像测试了基于模拟数据集训练的DEEP的成像效果。结果表明，DEEP²实现了仅需数十（32）个激发模式来去除散射并重建深层组织图像，将DEEP的成像通量提高了近一个数量级。DEEP²可重建深入小鼠皮层血管中的4个散射长度（SLS）（约200 μm）的图像。

图1展示了DEEP²的成像方案。图1A显示了DEEP-TFM显微镜的光路图。利用了时间聚焦的放大的飞秒激光脉冲用于深度分辨多光子激发。在激发物镜前的共轭成像平面上放置了一个数字微镜装置（DMD）。DMD镜面在样品的焦平面上投射二进制的图案化照明。发射的光子由物镜收集并成像到相机探测器上。图1B展示了深度学习模型利用激发图案和测量图案的知识来重建去散射图像。在模型训练中，将PSTPM 的图像输入物理模拟的正向模型，转换为像素匹配的DEEP图像，生成模拟训练数据。随后，使用这些模拟图像来训练DEEP²反向传播模型。在模型测试中，将实验获得的DEEP²图像输入DEEP模型重建图像。作者在三种数据集中进行了测试：（1）混合荧光微珠（2）带有树突的小鼠金字塔神经元和（3）小鼠皮层血管。

图1 DEEP²的成像方案。（A）DEEP-TFM显微镜的光路图。（B）利用激发模式和测量图像来重建去散射图像。

图2为利用DEEP²重建距离表面4个SLS（约200 μm）深度的混合荧光微珠（直径为1 μm和4 μm）图像的结果。DEEP²成功重建了半径为0.5 μm的微珠的图像。

图2 利用DEEP²重建距离表面4个SLS（约200 μm）深度的混合荧光微珠（直径为1 μm和4 μm）图像的结果。（A）、（D）为两个代表性的模拟DEEP-TFM图像堆栈（平均32个模式）。（B）、（E）对应的（A）和（D）实例的合成基准图像。（C）、（F）对应于（A）和（D）实例的DEEP²重建结果。绿色和黄色线条的强度剖面显示在（G）和（H）图中。类似地，线条I和J的强度显示在（I）和（J）图中。

图3展示了处于2个和6个SLS深度的具有树突的小鼠锥体神经元上的DEEP²的验证结果。

图3 处于2个和6个SLS深度的具有树突的小鼠锥体神经元的DEEP²验证结果。（A）、（D）、（G）、（J）用于验证的四个代表性模拟DEEP-TFM图像堆栈（在32个模式上取平均）。（B）、（E）、（H）、（K）对应于（A）、（D）、（G）和（J）的PSTPM基准图像。（C）、（F）、（I）、（L）对应于（A）、（D）、（G）和（J）实例的DEEP²重建结果（dCNN预测）。黄色线段M、N、O和P的强度在（M）、（N）、（O）和（P）图表中可视化。

图4展示了利用DEEP²重建位于表面以下2个和4个SLS的小鼠皮层血管结构的结果。

图4 在位于表面以下2个和4个SLS的小鼠皮层血管结构的DEEP²的验证结果。（A）、（D）、（G）和（J）用于验证的四个代表性模拟DEEP-TFM图像堆栈（在32个模式上取平均）。（B）、（E）、（H）和（K）分别表示（A）、（D）、（G）和（J）实例的相应PSTPM基准图像。（C）、（F）、（I）和（L）表示与（A）、（D）、（G）和（J）实例相对应的DEEP²重建图像。在图中，沿着黄线的强度剖面展示在（M）、（N）、（O）和（P）图表中。

图5展示了利用DEEP²重构实验获得的透过散射脂肪乳液层（4个SLS长度）的荧光微珠混合物的DEEP-TFM图像。DEEP-TFM图像中的微珠信号微弱，而提出的DEEP²可以重建出这些细小的微珠，消除背景噪音。

图5 在表面下4个SLS处的荧光微珠上进行的DEEP²重建图像测试结果。(A) 32个图案激发的DEEP-TFM显微镜观察穿过脂肪乳液层的直径为1 μm和4 μm的微珠混合物的实验图像。（B）对应于（A）的DEEP²重建结果。（C）对应于（A）的无脂肪乳液生成的基准图像。（D）、（E）和（F）为在（A）、（B）和（C）图像上红色方框标识区域的放大图。（G）、（H）、（I）为（D）、（E）和（F）图中黄色线条的归一化强度剖面图。

随后，作者使用了DEEP²模型对实验采集的位于2个及4个SLS长度处的小鼠皮质血管的DEEP-TFM图像进行了图像重构，如图6所示。DEEP²的重建结果（使用32个DEEP-TFM图像）显示出了反向算法重建结果中缺失的额外细节。

图6 利用DEEP²模型对实验采集的在表面下2和4个散射长度（SLS）的小鼠皮质血管的DEEP-TFM图像进行了图像重构结果。（A）、（G）、（M）和（S）为四个代表性的DEEP-TFM图像堆栈。（B）、（H）、（N）和（T）对应于（A）、（G）、（M）和（S）的DEEP²重建结果，使用32个模式的激发。（C）、（I）、（O）和（U）对应于（A）、（G）、（M）和（S）带有正则化的常规DEEP重建结果，使用256个模式的激发。（D）、（J）、（P）和（V）对应于（A）、（G）、（M）和（S）带有正则化的常规DEEP重建结果，使用32个模式的激发。（E）、（K）、（Q）和（W）对应于（A）、（G）、（M）和（S）不带有正则化的常规DEEP重建结果，使用256个模式的激发。（F）、（L）、（R）和（X）对应于（A）、（G）、（M）和（S）不带有正则化的常规DEEP重建结果，使用32个模式的激发。

论文信息

该研究成果以“DEEP-squared: deep learning powered De-scattering with Excitation Patterning”为题发表在国际顶尖光学期刊《Light: Science & Applications》。Navodini Wijethilake为本文的第一作者，Dushan N. Wadduwage为本文的通讯作者。

论文地址

‍‍https://www.nature.com/articles/s41377‍-023-01248-6

论文传送门在此，请进>>>

免责声明：本文旨在传递更多科研资讯及分享，所有其他媒、网来源均注明出处，如涉及版权问题，请作者第一时间后台联系，我们将协调进行处理，所有来稿文责自负，两江仅作分享平台。转载请注明出处，如原创内容转载需授权，请联系下方微信号。