成像通量提升100多倍，南科大团队研发高通量成像深度学习框架，实现全细胞的三维超分辨成像

从 2009 年赴德留学，到 2019 年回国加入南方科技大学担任独立 PI。暌违十年之久，李依明终于回到故乡之地。

图 | 李依明（来源：李依明）

三维超高分辨显微成像技术及其生物应用，是他的主要研究方向。前不久，他和团队研发出一款名为 FD-DeepLoc 的深度学习框架，借此将单分子定位显微镜（SMLM，Single-molecule localization microscopy）的有效成像视野扩展到约 180×180μm² 的范围，并在全细胞范围实现三维超高分辨成像，相比之前实现了高出 100 多倍的成像通量。

概括来说，该成果突破了传统卷积神经网络对于空间位置不敏感的局限，在大面阵科研级互补金属氧化物半导体相机（sCMOS,scientific Complementary Metal–Oxide–Semiconductor）的整个感光芯片视场范围内，均能对空间移变的单分子数据精准定位，并能实现三维大视场高通量超分辨成像。

最近几年，随着脑科学技术的发展，针对神经元甚至全脑切片进行成像的需求愈发高涨。由于神经细胞的尺寸较大，且在大脑中大范围地密集分布，这对成像的视野和分辨率提出了更高的要求，因此领域内亟需一种兼具高分辨率与高视野的显微成像技术。

而本次成果则让 SMLM 技术的应用范围从单细胞量级的成像，扩展到细胞种群乃至组织的成像。这大大提高了研究效率，让研究人员在解析生物大分子结构的同时，还能捕捉到细胞种群间的微小差异。

在超分辨技术发展趋势走向更高通量和更大视野的背景下，全球多个实验室都在进行高通量、高分辨、大视场的成像，而本次成果恰好为相关研究中提供了一个及时的手段。

（来源：Nature Methods）

结合超分辨技术本身的超高分辨率和分子特异性，李依明认为 FD-DeepLoc 额外提供的高通量成像能力，将带来以下几个方面的潜在应用：

其一，未来大尺寸的超分辨成像将不再局限于玻片表面的细胞，而是能够研究多种不同类型的样本比如组织切片和原位样本，因此有些研究在临床环境中就能进行；

其二，当使用药物影响细胞种群之后，还可以研究药物的作用机制、毒性和治疗效果，从而为药物研发提供新机会；

其三，该成果可以帮助医生更快速、更准确地诊断疾病，从而为临床治疗提供更可靠的依据，进而提高疾病诊断水平；

其四，将该技术与其他技术比如基因组学、蛋白质组学和分子生物学技术等结合使用，可以让研究者获得更全面、更准确的信息。

日前，相关论文以《视场相关的深度学习可实现高通量全细胞三维超分辨成像》（Field-dependent deep learning enables high-throughput whole-cell 3D super-resolution imaging）为题发在 Nature Methods 上[1]，博士生傅爽和石伟为共同第一作者，李依明担任通讯作者。

图 | 相关论文（来源：Nature Methods）

难题：如何提高超分辨成像的视野？

作为一种超分辨技术，单分子定位显微镜的分辨率比光学衍射极限高出一个数量级以上，能将传统光学显微镜的分辨率从 200nm 提升到 20nm 左右，是在分子水平观测亚细胞器微观结构的一个重要利器。研发这一技术的科学家，也获得了 2014 年诺贝尔奖。

直到现在，它依然是一个前沿研究方向，人们通过这一技术不断地观测得到新的生物发现。但是，“天下没有免费的午餐”，分辨率的提升往往会导致成像视野的缩小。

由于超分辨显微镜对像差非常敏感，一般只能在视场中心像差比较小的几十微米范围内，传统超分辨显微镜才能取得较好的成像效果。

一直以来，高通量超分辨成像都是领域内一个重要难题。此前，也有学者提出多个基于硬件扫描的方法。但是，这些方法的复杂度往往较高，成像效率也比较低。

而且，本质上它们仍是通过拼接多个小视场图像实现大范围成像，这不仅需要一整套复杂的扫描成像设备，还需要对图像进行高精度配准以减少伪影，这限制了高通量超分辨成像技术的广泛应用。

最近几年，sCMOS 的不断发展让人们获得了更多的像素、以及越来越大的感光芯片，这为高通量成像带来了新机遇。

然而，在超分辨成像领域却并未借此得到相应的视野提升。其中一个重要原因在于，视场相关的像差限制了全画幅的大视野成像。

为了充分利用现代 sCMOS 相机提供的大尺寸芯片，实现整个感光芯片范围的高质量全细胞超分辨成像，李依明团队在硬件和重建算法上开展了一系列原创性工作。

破题：用深度学习“之钥”，打开高通量超分辨成像“之门”

据了解，在李依明回国之前他就想做这一课题，尤其是领域内几个深度学习成果在高密度单分子成像的成功应用，让他意识到深度学习将是解决单分子定位领域内复杂 PSF 建模和定位的重要技术手段。

回国之后，他将该项目作为重点推进课题。万事开头难，回国刚成立实验室的时候，面临着人员招聘和培养、设备采购及搭建、确定研究课题和推进等任务。

“可以说是事无巨细，这些都需要我亲力亲为。回国初期，工作困难大、强度大是一方面，还有一方面是精神压力大。当我从博士后转为一个独立 PI，面对各种考核指标我也不免有些焦躁。但我很庆幸自己坚持了下来，这离不开南科大的支持，正因此我才有足够的底气坚持做自己认准的事。研究中我们一点一点地积累项目所需要的各种技术。当很多设想变成现实，并最终整合在一起攻克领域内的重要问题时，也是我在科研中感到最享受的时候。”李依明说。

同时，本次工作的顺利完成，也得益于前期的理论和技术积累，尤其是在单分子点扩散函数建模以及 GPU 加速算法方面，此前李依明和团队获得领域内权威数据分析挑战赛的第一名，这些积淀也确保了本次研究的成功。

具体来说，本次研究中他们先是设计和搭建一套大视场照明以及成像系统，并将自适应光学器件可变形镜和大面阵的 sCMOS 相机集成到光路中，从而在硬件上满足了大视场成像的基本条件。

接下来，课题组选用基于矢量衍射的德拜积分理论，来对整个视野的像差进行精确建模。考虑到建模整个大视场空间移变的像差，需要对整个视场进行上千次的采样，而矢量衍射德拜积分理论的计算复杂度较高，传统算法通常耗时数天左右才能完成整个视场的建模。

为了加速这一过程，该团队开发了领域内第一个基于 GPU 加速的矢量点扩散函数（Point Spread Function，PSF）模型拟合算法和像差校正软件，将校正速度提高了 50 倍，并将大视场像差建模时间控制在一小时左右。

此外，为了实现对于全细胞的超分辨成像，课题组提出一种以可变形镜促动器响应函数为基函数的相位设计框架，借此得到一系列基于可变形镜的三维精度最优点扩散函数（Deformable Mirror Optimized PSF, DMO PSF）[2]。

DMO PSF 能对景深进行自由控制，并具备较高的光子信号利用率。在 SMLM 成像中，验证结果显示 DMO PSF 的景深是传统方法的 5 倍左右。

在硬件设计上实现大视场、大景深的成像，只是高通量超分辨成像的第一步。另一个亟需解决的问题是，如何针对存在空间移变像差的大视场数据进行超分辨重建。

近年来，深度学习算法已被广泛用于科学研究中。凭借出色的特征感知能力和端到端的图像拟合能力，深度学习在单分子定位中展现出远超传统算法的性能。

然而，对于传统卷积神经网络来说，面向图像中的不同区域，它使用的是同一个卷积核，因此它对空间位置并不具备敏感性。

针对空间移变点扩散函数的精准定位，该团队提出一套深度学习算法框架 FD-DeepLoc，借此克服了视场相关的像差。

在 FD-Deep Loc 中，他们引入两个位置相关的通道。这样一来，卷积核在卷积单分子图片的时候，也会对这两个位置通道进行卷积，从而把位置相关的信息编码到神经网络里。

相对于领域内之前最好的基于三次样条插值的传统单分子拟合 Cspline 算法[3,4]、以及基于神经网络的 DECODE 算法[5]，FD-DeepLoc 均有显著的提升。相比 DECODE 在三维超分辨定位精度指标均方根误差上的表现，FD-DeepLoc 提升了将近两倍。

（来源：Nature Methods）

此外，他们还通过制备多种生物样品以进行大视场的成像，来对大尺寸的样品加以研究。例如，体外培养的神经细胞通常在几百微米的范围内生长，而传统的超分辨成像一般只能看到小于 50µm 的轴突片段，其景深极限在 1μm 左右，因此会忽略掉一些不常见的结构，也无法在更大的三维空间尺度上观测神经元之间的精细互作信息。

FD-DeepLoc 的优点在于，即使在大直径的神经突中，也可以精细地重建出目标蛋白的三维分布，从而能为大尺寸样品的研究提供新的技术手段。

在细胞组学的研究中，通常需要分析和比较大量的细胞，以揭示其组成、功能和相互关系等。而 FD-DeepLoc 能对大量细胞进行高效成像和数据获取，从而为科研人员提供更多信息和线索，进而为细胞组学研究提供更全面、更准确的结果。

例如，在本次工作中，李依明团队在短时间内就能采集到上百个不经过人工挑选的全细胞线粒体超分辨图像，通过提取这些细胞的形态（分叉、长度、球形度等）并进行聚类分析，他们得到了三种不同类型的线粒体细胞。

“这些结果让我们相信，FD-DeepLoc 将为超分辨显微成像领域提供新的技术思路和视角，对研究完整细胞群或组织中纳米级生物结构具有重要的应用价值。大视场结合大景深的成像，也给我们带来了数据通量的显著提升。我们相信，这项技术将为结构生物学和细胞生物学的研究提供新思路。”李依明说。

另据悉，针对 FD-DeepLoc 包含的大视场空间移变的矢量 PSF 建模、以及基于深度学习的单分子定位算法，课题组均已进行开源（https://github.com/Li-Lab-SUSTech/FD-DeepLoc）。

（来源：Nature Methods）

亲历科学开源潮流，用实际行动践行共享精神

在国产替代的大潮之下，李依明认为开放和合作依然非常重要。在过去十年间，学界经历了一波开源科学的潮流，很多数据和源代码都被开源和共享。

他说：“我自己也有幸参与了耶鲁大学 Joerg Bewersdorf 教授牵头的基于双镜头的 4Pi 显微成像系统的一个群体研究团队中。在这个集群中，每个团队有各自不同的研究侧重点，大家可以非常坦诚沟通交流，并互相共享技术。”

这一经历给李依明的个人成长带来了极大帮助，这让他也积极拥抱开源共享。他的课题组发表的论文，涉及到的相关代码都会开源，以让其他团队能更快地使用相关技术。“我相信，开源的科学研究能更好促进整个学界的交流和合作，提升大家的研究效率。”李依明表示。

都说学海无涯，科研亦是如此。下一步，李依明打算提升超分辨成像的通量至毫米级尺寸，并将在成像系统硬件设计上实现超大视场的均匀照明和超大面阵探测器成像，在核心算法上对整个视野范围内的原位 PSF 进行精确建模，以及对空间移变的大数据进行快速分析，以期实现对于多细胞类器官、病理组织切片和脑切片等样品的高通量超分辨成像。

李依明补充称，超分辨成像是一个新兴的领域，国内的发展水平已经能和国际先进水平比肩。在高端科学仪器国产化的背景下，对相关成果进行产业化十分有必要，同时机会也非常多。基于此，他也将和团队再接再厉。

参考资料：

1.Fu, S., Shi, W., et al. Real-time 3D single-molecule localization using experimental point spread functions. Field-dependent deep learning enables high-throughput whole-cell 3D super-resolution imaging. Nat. Methods, 20, 459 (2023).

2.Fu, S. et al. Deformable mirror based optimal PSF engineering for 3D super-resolution imaging. Opt. Lett. 47, 3031 (2022).

3.Li, Y. et al. Real-time 3D single-molecule localization using experimental point spread functions. Nat. Methods 15, 367 (2018).

4.Li, Y. et al. Global fitting for high-accuracy multi-channel single-molecule localization. Nat. Commun. 13, 3133 (2022).

5.Speiser, A. et al. Deep learning enables fast and dense single-molecule localization with high accuracy. Nat. Methods 18, 1082 (2021).