Nat. Biotechnol. | 用于快速亚细胞过程持续实时成像的合理化深度学习超分辨率显微镜

编译 | 程志祥

审稿 | 陈泽慧

荧光显微镜对于阐明活细胞中各种生物过程的动力学至关重要。最近开发的超分辨率（SR）技术增强了它的功能。结构光照明显微镜（SIM）通常被认为是活细胞成像的最佳 SR 方法，因为与其他 SR 技术相比，它需要更少的原始图像和更低的照明强度。尽管如此，SIM 相关技术通常要求每个原始图像具有适当的信噪比（SNR），以防止重建伪影。但是，光漂白和光毒性限制了现有 SR-SIM 技术的成像性能。

除了显微镜硬件的进步，计算方法对于光学显微镜中的图像恢复和增强也变得越来越重要。传统算法采用具有某些假设的分析模型来迭代地恢复/去噪 SR 图像。然而，显微镜成像是一个统计复杂的过程。因此，手工分析模型受到其假设准确性的限制，通常会导致空间和时间分辨率的损失。深度神经网络（DNN）不仅能够学习图像变换过程的伪逆函数，而且能够通过利用成对的端到端变换图像来学习良好解决方案的随机特征。此外，DNN 比高频模式更快、更稳健地学习低频模式，这种现象称为光谱偏差，这表明从衍射限制对应物重建高频丰富的 SR 图像比去噪衍射限制图像更具挑战性。随着输入图像变得嘈杂、包含更复杂的结构或从二维 (2D) 扩展到三维 (3D)，不适定问题和光谱偏差的影响会加剧。因此，在大多数生物成像应用中，获得用于训练 DNN 的高质量基本事实 (GT) 并非易事。

作者为 SIM 和高速晶格光片显微镜（LLSM）开发了合理化深度学习方法（rDL）。rDL 网络架构与现有的用于图像转换的 DNN 不同，它将每种显微镜技术的预表征物理模型（例如，SIM 中使用的照明模式的先验知识）合并到网络中，以指导网络训练并将网络输出调节到比其他方法更接近 GT 的低维流形。

作者设计了rDL网络，该网络由三个经过监督训练的深度残差卷积神经网络分支组成(图1a)。分支1被称为主要特征提取（PFE）分支，是经过训练提取观察到的特定生物结构的特征（图1b），并将这些特征从噪声特征中分离出来。分支2，命名为莫尔条纹提取（MPE）分支，该分支将SIM的物理模型集成到rDL框架中。分支3被称为特征合并和去噪（FCD）分支，被设计用于自适应地集成从原始图像和模式处理图像中学习到的特征。这些特征被解码为去噪图像的最终输出，具有与原始GT图像相同的生物结构和莫尔条纹（图1d,e），这保证了高质量的SIM重建。作者比较了CARE-SIM和rDL SIM之间从内质网（ER）数据的45,000个时间点估计的模式参数的稳定性。结果表明，CARE去噪后，估计的模式周期、方向和初始相位仍有较大变化（图1g）。相比之下，rDL去噪的原始图像允许在SIM重建过程中稳定估计模式周期和方向。

图1  rDL SIM方法

作者使用BioSR数据集对rDL SIM和其他最先进的SIM方法（包括DFCAN/DFGAN-SIM和Hessian-SIM）进行了系统评估。图2a显示，在低信噪比条件下，深度学习超分辨率（DLSR）方法总体优于Hessian-SIM方法。虽然DFCAN-SIM和DFGAN-SIM都能推断出感知良好的SR图像，但rDL SIM更精确地重构了MT和F-actin的精细结构。此外，作者将F-actin SIM图像的PSNR和分辨率作为荧光强度的函数进行了量化（图2b），结果表明，在所有荧光水平下，rDL SIM在四种SIM方法中具有接近GT-SIM的最大精度和分辨率。与未使用GAN策略（例如DFCAN）的DLSR模型相比，rDL方法消除了光谱偏差效应。与基于GAN的DLSR模型（DFGAN）相比，rDL方法抑制了SR图像重建的不确定性，即由于训练数据代表性不足而导致的模型不确定性(图2c)。与基于传统SIM重构算法的CARE-SIM和Hessian-SIM相比，rDL SIM约提高了SR分量强度10倍（图2d）。作者用活细胞标本进一步评估了这些SIM方法的SR成像能力。传统SR显微镜的高光照射常常破坏细胞的粘附和迁移。rDL TIRF-SIM实现了长达一小时的延时记录细胞扩散的过程。（图2e,f,g）

图2 rDL SIM与最先进SIM方法的比较

运动纤毛是一种非常有活力的细胞器，可以持续一致地跳动。纤毛搏动频率（CBF）和纤毛内毛束内输运（IFT）的表征是目前荧光显微镜所面临的挑战，因为它需要高分辨率、快速度和长时间的成像。研究人员利用 rDL-GI-SIM 表征了 60,000 帧 SR 成像速度高达684 Hz（受 sCMOS 相机读取率限制）的运动纤毛搏动模式和频率，首次没有明显的光漂白现象，纤毛和 IFT 序列的双色活细胞可视化揭示了IFT序列在纤毛中段碰撞、重塑和翻转的多种新行为，以前只在纤毛尖端发生。最近的研究表明，不同的细胞器相互作用，在各种各样的生物过程中协同作用。功能性细胞器间接触位点（CSs）包括蛋白质复合体，它将相反的膜系在一起，使接触的细胞器之间能够持续相关运动。rDL SIM提供的高速和长时间SR成像能力非常有助于从随机相互作用中区分相关运动。

图3运动纤毛和细胞器相互作用的rDL SIM成像

空间SR成像比平面成像对原始图像的信噪比要求更高。空间SR技术很少用于研究跨越整个细胞的生物过程。为了将长时间SR成像的能力从2D扩展到3D，作者将rDL去噪策略集成到3D-SIM和LLS-SIM中。虽然3D-SIM中使用的宽视场外景照明配置会导致高荧光背景和快速光褪色，但rDL 3D-SIM可以持续生成超过400卷的线粒体嵴高质量SR图像（图4a），捕捉线粒体裂变期间的嵴动态（图4b）。相比之下，传统3D-SIM在相同条件下产生的SR图像无法解释（图4a）。

图4 通过rDL 3D-SIM和rDL LLS-SIM进行空间长期SR成像

虽然噪声和GT图像对可以有效地训练去噪模型，但获取高质量的GT数据是困难的，有时对于动态生物标本来说是不切实际的。为了扩展rDL方案的适用性，作者将LLSM的采样率提高到每秒1000个z片，保证了噪声原始图像序列的时间连续性。利用连续噪声原始图像中信息的双重性和LLSM的光传递函数（OTF）模型，构建了时间交织自监督rDL （TiS-rDL）去噪网络（图5a）。TiS-rDL产生的去噪结果类似于GT监督下得到的结果（图5b）。首先使用TiS-rDL LLSM研究了含有唾液酰转移酶（SiT）的高尔基体运输中间体的超动力学。发现~47%、~32%和~21%的SiT囊泡分别发生了受限扩散、定向移动和自由扩散（图5e）。一半表现出定向运动的SiT囊泡向高尔基池移动，而另一半以类似的速度移动（图5f,g）。此外，一小部分SiT囊泡发生了双向运动（图5h）。这些结果揭示了高尔基衍生囊泡的异质性和动态行为。

图5 SiT的高尔基体运输中间体的空间、高速TiS-rDL LLSM成像

TiS-rDL方案适用于时间连续性的延时数据去噪，但高速活细胞成像不适用于光敏生物过程。例如，由于有丝分裂细胞的脆弱性，双色共聚焦成像通常部署在单个x-y切片上，间隔几分钟，传统的LLSM成像需要5-10分钟，以使有丝分裂细胞从100个双色体的光照中恢复。为了进一步扩展rDL方案的适用性，作者设计了空间交织自监督rDL（SIS-rDL）方案。在 3D 成像场景中，rDL-LLS-SIM 使研究人员能够在内源性水平分析核仁过有丝分裂的多相转变过程。他们一致观察到 RPA49 的大液滴在内部纤维中心相可以分裂成几个独立的焦点，这表明活性裂变机制可能在核仁的组装中起作用。

图6 通过 SiS-rDL LLSM 进行有丝分裂中膜细胞器的遗传和相互作用

通过协同光学前端和算法后端方法的优势，rDL SIM和rDL LLSM大大提高了SR活细胞2D/3D成像。作者强调rDL方法的以下优点：

(1)与传统的DLSR算法简单地将物理约束引入损失函数相比，rDL方法首先将特定显微镜的确定性物理模型融入到网络训练和推理中，大大降低了最终SR图像的病态性。

(2)采用rDL方法对SIM原始图像去噪，将超出衍射极限的高频信息降调为低频莫尔条纹。

(3)现有的DLSR方法存在较大的模型不确定性，依赖于训练数据集和网络结构，而且还降低了对科学研究至关重要的SR图像的量化和保真度。

(4) rDL概念具有广泛的兼容性和强大的功能。这些特性奠定了rDL方法的优越性能，极大地扩展了SR实时成像的适用范围。

rDL方法有望得到进一步改进。自适应光学与rDL LLS-SIM系统的结合应该能够在具有光学挑战性的标本中实现微创高速五维（5D）（x-y-z - time-color）SR成像。此外，由于rDL方法对SR图像的荧光要求较低，它们提供了额外的带宽来扩展颜色维度，允许更多的蛋白质通过光谱分离或组合标记方法同时成像。总之，rDL SRM 以超高的空间和时间分辨率、高保真度和长时间可量化性满足了细胞内动力学微创 2D/3D 成像中尚未实现的需求。rDL 方法的实施和改进为揭示各种生物现象显示了巨大的希望。

Qiao, C., Li, D., Liu, Y. et al. Rationalized deep learning super-resolution microscopy for sustained live imaging of rapid subcellular processes. Nat Biotechnol (2022). 

https://doi.org/10.1038/s41587-022-01471-3