Nature Methods | 浙江大学刘华锋等报道结合物理模型的深度学习显著提高光学仪器成像质量

iNature

所有的荧光图像都受到模糊和噪声的污染，但这种退化可以通过反卷积得到改善。例如，迭代Richardson-Lucy反褶积(RLD)通常用于荧光显微镜，如果主要噪声源是用泊松分布描述的，它是合适的。不幸的是，RLD对于三维(3D)和3D时间间隔(4D)数据的计算是繁重的，特别是在应用复杂正则化或大量迭代的情况下。为了应对这一挑战，研究人员最近提出了RLD变体，通过减少迭代次数，可以将反褶积速度加快至少10倍。部署这些方法需要仔细的参数优化，以避免引入工件。

2022年10月31日，浙江大学刘华锋教授团队与美国国家生物医学成像和生物工程研究所Hari Shroff及Yicong Wu合作在Nature Methods 杂志在线发表题为“Incorporating the image formation process into deep learning improves network performance”的研究论文，该研究提出了Richardson-Lucy网络(Richardson–Lucy network, RLN)，一种快速、轻量级的三维荧光显微反褶积深度学习方法。RLN结合了传统的Richardson-Lucy迭代和全卷积网络结构，建立了与图像形成过程的连接，从而提高了网络性能。

RLN只包含大约16000个参数，相比具有更多参数的纯数据驱动网络，RLN的处理速度快4到50倍。通过可视化和定量分析，研究表明RLN比其他网络具有更好的反褶积、更好的泛化性和更少的伪影，特别是沿轴向维数。在严重失焦荧光或噪声污染的体积上，RLN优于经典的Richardson-Lucy反褶积，并提供比经典的多视图管道快4到6倍的大型清除组织数据集的重建。总之，该研究展示了RLN在细胞、组织和胚胎上的表现，用广角显微镜、光片显微镜、共聚焦显微镜和超分辨率显微镜成像。