Py学习  »  机器学习算法

Nat. Commun. | 基于深度学习将组织切片图像进行虚拟特殊染色,减少诊断时间和成本

DrugAI • 2 年前 • 252 次点击  

编译 | 陶雯

审稿 | 周珍冉

本文介绍由加州大学洛杉矶分校及加州大学戴维斯分校的研究人员联合发表在Nature Communications上的工作。病理学家为了进行医学诊断,需要目测检查经组织化学染色的组织切片。虽然最常用的染色是苏木精和伊红(H&E)染色,但特殊染色可以对不同的组织成分进行对比和染色。作者开发了一种基于深度学习的技术,将现有的H&E染色组织图像转换为特殊染色(过碘酸希夫(PAS)、琼斯银染色剂(JMS)和马森三色染色剂(MT))的新图像,无需人类组织技术专家制备这些特殊染色剂。如果使用作者的染色转换技术,每个组织样本仅仅需要不到一分钟的处理时间,而人类专家的处理过程需要几个小时甚至一天以上,可以大大节省时间和成本。作者表明从现有的H&E图像中生成虚拟的特殊染色,可以提高对几种非肿瘤性肾脏疾病的诊断,使用计算生成的特殊染色图像和H&E图像比仅使用H&E图像在统计上有显著改善。作者还表明通过计算生成的特殊染色图像的质量在统计上与人类专家使用组织化学染色的染色图像相当。

1

研究背景

染色的人体组织样本的组织学分析是评估许多疾病的黄金标准,对贴在玻片上的组织学染色组织进行检查是病理评估的根本基础。组织学染色步骤是病理学工作流程的一个关键部分,需要通过促进不同组织成分之间的色差来为组织提供对比度和颜色。最常见的染色(也被称为常规染色)是苏木精和伊红(H&E),几乎适用于所有的临床病例。H&E染色相对容易进行,在整个行业中被广泛使用。除H&E外,还有其他各种具有不同特性的组织学染色,病理学家使用这些染色可以更好地突出不同的组织成分,对某些疾病类型如非肿瘤性肾脏疾病具有重要意义。这些非H&E染色也被称为特殊染色,它们的使用是某些疾病(包括非肿瘤性肾脏、肝脏和肺部疾病等)进行病理学评估的标准。


传统的组织病理学工作流程耗时且昂贵,并且需要实验室的基础设施。此外,如果需要多种染色,则需要切割多个组织切片,并且每种染色必须使用单独的程序,这在资源、材料方面都是浪费。虽然H&E染色是使用简化的染色程序进行的,但特殊的染色往往需要更多的准备时间、努力和组织技术专家的监督,这增加了程序的成本,并且需要额外的时间来制作,增加了诊断的时间。


2

主要贡献

作者提出了一个基于监督深度学习的染色转化框架,如图1所示。该技术的训练是基于spatially-registered图像数据集,这样可以在不依赖于未配对的图像数据和相应的分布匹配损失的情况下训练染色转化网络。作者通过评估患有各种非肿瘤性疾病的肾脏组织来证明这种技术的有效性。非肿瘤性肾脏疾病依靠特殊染色来提供病理评估标准。在许多临床实践中,H&E染色在准备好特殊染色之前就可以使用,病理学家可以提供一个初步诊断。在最初只有H&E切片的情况下,病理学家在进行初步诊断之后通过检查特殊染色图像做出最终诊断,而特殊染色图像通常在第二个工作日才能提供。使用作者所提出的染色转化技术(图1)可以减少需要等待特殊染色的情况,这对一些紧急的医疗状况特别有用。



3

结果

为了证明作者的染色转化技术的效用,作者调查了在只有H&E的情况下,它是否可以用来改善病理学家的初步诊断。为了做到这一点,作者使用了stain-to-stain转化网络,从现有的H&E组织切片中生成了三个额外的计算生成的特殊染色,即PAS、MT和JMS。用于生成染色转换网络训练数据的深度神经网络如图2所示。这些全切片图像(WSI)与现有的组织化学染色的H&E图像一起被病理学家审查(即完全不需要染色和等待切片)。基于由三位肾脏病理学家评估的58位患者的组织样本(即N=174的总诊断数),作者的结果显示,三种染色转化的特殊染色(PAS、MT和JMS)的生成改善了各种非肿瘤性肾脏疾病的诊断。这些利用深度学习从现有的H&E图像中计算生成的特殊染色给病理学家提供了所需的额外信息渠道。作者表明,这种独特的stain-to-stain转化工作流程可以应用于各种疾病,并在需要额外的特殊染色时显著提高初步诊断的质量,还可以节省时间,有助于降低医疗费用,减轻组织病理学实验室和病人的负担。



4

总结

虽然在过去的几年里,人们已经探索了不同的方法来进行两种染色之间的转换,但这里提出的方法有几个独特的优势:

(1)它对组织的化学处理较少,不需要去染和重新染色;

(2)作者的方法是基于使用通过无标签虚拟染色生成的训练图像对染色转化网络进行监督训练,显著地帮助其泛化。


换句话说,由于信息来源对所有虚拟染色图像来说是共同的,因此在这些训练数据中不存在stain-to-stain图像畸变或错位。这一特点极大地提高了使用作者的方法学习的stain-to-stain转换的可靠性和准确性。使用作者的方法训练出来的网络可以将任何现有的化学染色的组织图像转化成新类型的染色图像。

参考资料

de Haan, K., Zhang, Y., Zuckerman, J.E. et al. Deep learning-based transformation of H&E stained tissues into special stains. Nat Commun 12, 4884 (2021). https://doi.org/10.1038/s41467-021-25221-2

Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/120081
 
252 次点击