添加微信号:CVer2233,小助手会拉你进群!
扫描下方二维码,加入CVer学术星球!可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料,及最前沿应用!发论文/搞科研/涨薪,强烈推荐!
光学超分辨率成像的目标是获取生物过程的可靠亚衍射信息,以促进科学发现。结构光照明显微术(SIM)被认为是活细胞超分辨率成像的最佳方式。尽管最近的深度学习技术极大地推动了SIM的发展,但其透明度和可靠性仍然存在不确定性且未被充分研究,这常常导致结果不可靠以及对生物学的错误解读。
2025年5月30日,华中科技大学在Nature Communications 在线发表题为“Bayesian deep-learning structured illumination microscopy enables reliable super-resolution imaging with uncertainty quantification”的研究论文。该研究SIM开发了贝叶斯深度学习(BayesDL),它在增强密集标记结构重建的同时,能够实现超分辨率不确定性的量化。
凭借这种不确定性,BayesDL-SIM实现了高保真度的分布引导型SIM成像,能够向用户传达有关模型结果的可信度估计。作者还证明了BayesDL-SIM通过识别并防止各种模型误用场景中的错误泛化,提高了SIM的可靠性。此外,BayesDL不确定性在日常超分辨率成像中具有多种用途,例如误差估计、数据采集评估等。此外,还证明了BayesDL-SIM在活细胞成像中的有效性和优越性,它能够可靠地揭示F-肌动蛋白的动态变化以及细胞骨架的重组。这项工作为将基于深度学习的SIM方法可靠地应用于实际应用奠定了基础。
由于促炎巨噬细胞向抗炎巨噬细胞的复极化受损,传统的骨组织工程材料难以在糖尿病期间恢复生理性骨重塑。
近年来,超分辨率(SR)荧光显微技术蓬勃发展,能够突破衍射极限,并以前所未有的高分辨率呈现各种生物过程。在众多的超分辨率成像方式中,结构化照明显微术(SIM)因其快速成像速度、低光毒性、高光子效率以及与荧光团的出色兼容性,被认为是活细胞成像最有前景的技术。SIM通常会在样品上施加一系列具有不同相位偏移和方向的空间模式照明,将通常无法分辨的高频信息编码到显微镜光学传递函数的通带中。除了硬件部分,作为一种计算型超分辨率技术,SIM还需要重建算法从原始图像中提取超分辨率信息,进而生成超分辨率SIM(SR-SIM)图像。传统的重建方法基于复杂的频域工作流程或采用手工制作的分析模型,通常容易产生伪影,或在信号保留与噪声抑制之间做出妥协。基于深度学习的SIM(DL-SIM)方法利用深度神经网络(DNNs)以数据驱动的方式从成对的原始图像和SIM数据中获取统计知识,与传统方法相比,展现出显著优势,例如提高了保真度和出色的抗噪能力,因此已成为SIM计算成像的主流标准。
尽管DL-SIM方法广泛流行,但目前仍面临两个实际挑战。首先,由于存在噪声,SIM重建本质上是一个不适定的逆问题,这意味着对于任何给定的一组原始图像,都存在许多潜在的超分辨率解决方案。然而,无论输入图像的信噪比(SNR)和对重建模型的适用性如何,当前的DL-SIM方法仅输出一个重建结果,而不考虑其不适定性或超分辨率信息的正确性。其次,生物样本/结构的多样性极高,即使是经验丰富的用户也很难判断输入图像是否与训练好的DL-SIM模型在知识一致性(KC)方面相符,因此,评估和量化KC规范对于可靠地采用DL-SIM模型至关重要,但迄今为止尚未实现。需要注意的是,模型知识应涵盖成像统计的所有方面,任何方面的知识不一致(KIC)都会导致性能严重下降和严重的伪影。然而,由于模型知识隐含在预训练的权重中,对用户来说是不可见的,因此保持KC规范并非易事,尤其是对于那些没有太多深度学习经验的生物学家或新手用户。
因此,作者为SIM开发了一个贝叶斯深度学习(BayesDL)框架。BayesDL-SIM不仅提高了复杂结构的保真度,而且能够量化SIM重建中不同类型的不确定性,包括数据不确定性(AleaU)和模型不确定性(EpisU),其中AleaU表征由于原始数据中缺乏超分辨率信息而导致的成像不适定性,而EpisU则突出了重建模型在泛化过程中的知识缺陷。
图1:通过BayesDL-SIM实现精确的分布引导型超分辨率成像。 a. BayesDL网络架构及其解耦训练(DeT)方案示意图。 b. 在F-肌动蛋白数据上,DFCAN、RCAN和BayesDL在重建峰值信噪比(PSNR)(上)和成像分辨率(下)方面的统计比较,n=30张细胞图像。 c. 代表性单张原始SIM图像(左上角,第一列)以及由传统(Conv.)SIM(右下角,第一列)、DFCAN(第三列)、RCAN(第四列)和BayesDL(第五列)重建的相应超分辨率图像,在CCPs(第一行)、MTs(第二行)和F-肌动蛋白(第三行)的情况中。以超高信噪比(SNR)水平获取的GT-SIM图像显示为参考(第二列)。 d. BayesDL-SIM量化出的(b)中所示的三种亚细胞结构对应的高斯标准差(即AleaU图)。AleaU越小越好。 e. 三种亚细胞结构对应的可信度(cred.)图,误差率容差(δ)为0.2。可信度越高越好。 f. BayesDL-SIM在CCPs、MTs和F-肌动蛋白图像上的校准(calib.)图,其中也呈现了校准误差,n=60。 g. 沿着(b)中两个箭头所指示的线,DFCAN(蓝色)、RCAN(绿色)、BayesDL(品红色虚线)和GT-SIM(黑色虚线)的强度剖面。还显示了以BayesDL强度剖面为中心的三个预测高斯标准差的置信区间(CI)(浅蓝色阴影)。中心线,中位数;限制,75%和25%。比例尺,500纳米(b,d,e)。F-肌动蛋白图像在(b)中的伽马值为0.8。AU,任意单位。
图2:通过BayesDL-SIM识别由于错误泛化导致的不可靠超分辨率成像。 a. BayesDL-SIM中模型不确定性(EpisU)量化流程示意图。 b. 分别用微管(MTs,左上角)、有被小泡(CCPs,右下角)和F-肌动蛋白(中间)数据训练的BayesDL-SIM模型重建的F-肌动蛋白的代表性超分辨率图像。 c. (b)中结果对应的SIM EpisU。EpisU越小越好。 d. (b)和(c)中框选区域的放大图。同时展示对应的原始图像和GT-SIM图像以供参考。 e-f. 用不同亚细胞结构数据训练的三种BayesDL-SIM模型在重建峰值信噪比(PSNR)指标(e)和前景EpisU分布(f)方面的统计比较,n=60张细胞图像。 g-h. 用稀疏分布(左)和正常分布(右)的荧光微珠数据训练的BayesDL-SIM模型产生的荧光微珠的代表性超分辨率图像(g)和对应的EpisU(h)。实验重复了150次,结果相似。 i. (g)和(h)中两个框选区域的放大图。同时展示对应的原始图像和GT-SIM图像以供参考。每个成像结果的右下角展示了沿两个箭头所指示的线的强度剖面。比例尺,3微米(b,c),1微米(d,g,h),200纳米(i)。
图3:BayesDL揭示超分辨率成像误差的分布。 a–c 上:代表性单张原始SIM图像(左上角,第一列)、对应的GT-SIM图像(右下角,第一列)以及由BayesDL-SIM重建的SR-SIM图像(第二列)。还展示了SR-SIM与GT-SIM图像之间的绝对超分辨率误差(第三列);下:由BayesDL-SIM量化出的重建AleaU(第一列)和EpisU(第二列)以及SQUIRREL的超分辨率误差估计(第三列);在有被小泡(CCPs,a)、微管(MTs,b)和F-肌动蛋白(c)的情况下。 d–f 在有被小泡(CCPs,d)、微管(MTs,e)和F-肌动蛋白(f)的情况下,以真实的超分辨率误差、AleaU、EpisU和SQUIRREL误差为排序标准的稀疏化曲线图。比例尺:1微米(a,b,c)。c中F-肌动蛋白图像的伽马值为0.7。实验独立重复了45张以上的细胞图像,所有结果均相似。
图4:用于长期活细胞超分辨率成像的BayesDL-SIM。 a. 延时BayesDL-SIM超分辨率成像揭示了COS-7细胞在玻璃盖玻片上粘附3小时过程中F-肌动蛋白的动态变化。 b. 代表性F-肌动蛋白超分辨率图像,分别由Hifi-SIM(第一列)、DFCAN(第二列)和BayesDL-SIM(第三列)在两个不同时间点重建。还展示了BayesDL AleaU(第四列)和可信度(第五列)图。DFCAN和BayesDL-SIM重建图像中的线的强度剖面显示在最右侧,其中BayesDL-SIM不仅提供了强度值,还提供了以强度值为中心的3-σ置信区间(CI)。 c. 在知识一致性(KC)的情况以及亚细胞结构、采样率和荧光信噪比(SNR)的知识不一致性(KIC)的三种情况下,BayesDL-SIM预测的超分辨率图像和相应的EpisU的比较。 d. 在KC和三种不同KIC场景下,3小时成像期间前景EpisU的时间过程。比例尺,8微米(a),1微米(b,c)。b和c中F-肌动蛋白图像的伽马值为0.8。实验独立重复了n=3个COS-7细胞,所有结果均相似。
参考:
Liu, T., Liu, J., Li, D. et al. Bayesian deep-learning structured illumination microscopy enables reliable super-resolution imaging with uncertainty quantification. Nat Commun 16
, 5027 (2025). https://doi.org/10.1038/s41467-025-60093-w
在CVer公众号后台回复:何恺明,即可下载本课程的所有566页课件PPT!赶紧学起来!在CVer公众号后台回复:CVPR2025,即可下载CVPR 2025论文和代码开源的论文合集
在CVer公众号后台回复:ECCV2024,即可下载ECCV 2024论文和代码开源的论文合集
CV垂直方向和论文投稿交流群成立
扫描下方二维码,或者添加微信号:CVer2233
,即可添加CVer小助手微信,便可申请加入CVer-垂直方向和论文投稿微信交流群。另外其他垂直方向已涵盖:目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer、NeRF、3DGS、Mamba等。
一定要备注:研究方向+地点+学校/公司+昵称(如Mamba、多模态学习或者论文投稿+上海+上交+卡卡),根据格式备注,可更快被通过且邀请进群
▲扫码或加微信号: CVer2233,进交流群
CVer计算机视觉(知识星球)人数破万!如果你想要了解最新最快最好的CV/DL/AI论文、实战项目、行业前沿、从入门到精通学习教程等资料,一定要扫描下方二维码,加入CVer知识星球!最强助力你的科研和工作!

▲扫码加入星球学习
▲点击上方卡片,关注CVer公众号
整理不易,请点赞和在看