更清晰的信号：机器学习如何对显微图像降噪

经过训练以减少显微照片噪点的计算机现在已经可以独立处理新的数据。

简单地说，噪点就是图像中所有不真实的信号。光照越弱，图像的噪点就越多，这就解释了为什么夜间手机自拍会呈现颗粒状，更不用说为保护脆弱的样本而拍摄的微光显微照片了。

但是，没有图像是完全没有噪点的。“噪点一直都在。”位于海法的以色列理工学院的计算机科学家Michael Elad说。为了将其最小化，研究人员长期以来一直使用降噪算法，最早的算法是由计算机科学家开发的数学过程。“然后是深度学习时代。” Elad说。目前，研究人员通过将图像上传到计算机，再让它们找出最佳的降噪方法，得到了非常惊艳的结果。

人工编写的老式算法在大多数情况下仍很奏效，而且许多算法已经构建到流行的图像处理环境中，如ImageJ、Fiji和MATLAB。Elad倾向于一种称为块匹配和3D滤波的方法，这种方法能将内容和噪点相似的图像部位组合在一起，并在重新组合图像之前过滤每一组的噪点。Carolina Wählby是瑞典乌普萨拉大学国家科学实验室生物图像信息中心的主任，她使用一种叫做Top-Hat的算法来清除荧光显微照片和其他图像中的背景噪点。（Top-Hat执行数学转换，从图像中移除过亮或过暗的元素。）她说：“像这样简单的方法在很多情况下真的很管用。”

机器学习则更进一步，计算机首先要学会如何对一组图像降噪，然后将学到的知识应用到新数据中。“你可以跳过中间人，也就是数学家。” Royer说。

不过有一个问题，计算机的推理过程有时候是隐藏的。Royer说：“学习算法正在构建一个非常复杂的黑箱，它可以提取图像的精髓。”

除此之外，额外的计算成本也是一个问题，特别是在训练阶段。快速培训可能需要计算机连接到多个图形处理单元或云服务器。然而，只要机器完成了这一阶段，研究人员通常可以用一台标准笔记本电脑完成降噪，Avinash Nehemiah表示。Nehemiah是开发MATLAB的MathWorks（位于马萨诸塞州）的计算机视觉产品推广经理。

在基于“监督”学习的方法中，机器知道它在寻找什么，因为训练者会用噪点和干净的图像配对来训练它。马克斯·普朗克分子细胞生物学和遗传学研究所（MPI-CBG）的计算机科学家Florian Jug说：“使用正确的数据监督总是能得到最好的结果。”

随着用户提供更多的输入配对，有监督的模型会变得更好。但研究人员有时候没有预先清理过的图像可用。在这种情况下，他们可以尝试能自我训练的算法。中国天津南开大学的计算机科学家徐君说：“这一领域的新方向是开发自我监督算法。”

第一批自我监督类别的代表，Noise2Void和Noise2Self，是这几年里开发出来的。Royer协助开发了Noise2Self，他解释说，由于随机噪点的存在，开发者假设每个像素值都有一点偏离，但附近的像素会强烈提示应该是什么值。对于每个像素来说，机器使用周围的像素来预测合适的值，然后就能将这些参数应用到新图像上。

Royer说：“噪点会在这个过程中被消灭，因为它只是某个像素上的信息。”

Noise2Void软件降噪前（左）和降噪后（右）秀丽隐杆线虫胚胎的显微图像。来源：C. Broaddus et al./Proc. IEEE

成像专家已经开始改进这项技术了。例如，如果噪点不是随机分布在整个图像中，Noise2Self和Noise2Void就会失败。但MPI-CBG的研究生Coleman Broaddus对Noise2Void进行了调整，以规避这个问题。在他的StructN2V版本中，用户可以选择一个与图像的噪点位相匹配的多像素区域。然后，机器学习算法会尝试通过预测周围像素的中心值来降噪。

这些模型的输出，无论是经典模型还是基于机器学习的模型，看起来都很棒，但这并不意味着它是真实的。Nehemiah表示：“这是有个权衡，虽然图像更清晰，但也是被修改过的。”

噪点越多，这些修改可能就越大。Elad说：“当噪点变得非常强烈时——强烈到你几乎看不到图像——那得到的结果也有点像幻觉。”

例如，为了消除快速扫描图像中模糊的地方，Wählby和一名学生用一个空的电子显微镜网格的图片创建了条纹图案，训练了一台机器。当他们用训练过的模型运行新照片时，额外的条纹出现了。“它学会了寻找条纹，而不是理解什么是动态模糊。”Wählby说。

解决方法是添加更多的训练数据：具体而言就是一组没有条纹只有噪点的图像。添加数据后，机器也学会了如何正确地去除模糊。

还有些图像噪点过多，难以补救。在休斯顿大学从事红外成像数据研究的Rupali Mankar说，她通过对同一样品拍摄多张照片来进行检查。她说，如果图像之间的输出变化很大，则不是一个好的信号，而只是噪点。

在Jug的经历中，数字幻觉之类的情况相对较少。他说，当降噪出现问题时，通常很明显，因为图像看起来模糊或怪异。“这些问题很少出现真的很不寻常。”尽管如此，Jug建议图像分析师在提交的文件中包含原始的、有噪点的数据，或者将这些数据发布到公开的服务器上。这样，读者和审稿人可以自己比较前后的数据。威斯康星大学麦迪逊分校的生物医学工程师Kevin Eliceiri指出，许多期刊都有专门的小组来检查图像处理中的错误。

斯德哥尔摩皇家理工学院SciLifeLab的计算机科学家Wei Ouyang建议，研究人员也应该注意使用一种辅助方法来验证结果。例如，人们可以使用不同的成像技术，比如更宽的视野，来确认降噪后的数据是可靠的。

正是这位生物学家的“人机回圈”（human-in-the-loop）评估，让Lippens有信心对她的电子显微镜图像进行降噪。Roels和她及其合作者设计了一个ImageJ插件，名为DenoisEM，它配备了八种经典的降噪方法。使用图形处理单元来提高速度，显微镜工作者可以尝试不同的选择，调试参数，直到得到他们满意的结果。“实际上是生物学专家来决定哪些图像能用，哪些不能用。” Lippens说。

需要咨询问题时，研究人员可以尝试他们当地的显微镜设备或网络社区，如http://forum.image.sc。Mankar建议，对成像技术不熟悉的研究人员也可以考虑在线课程，比如在线教育公司Coursera提供的课程，或是实操的培训班。

越来越多的工具让研究人员能够找到并比较多种降噪方法，并贡献出新的方法。例如，由Jug和合作者开发的CSBDeep是一个在线机器学习工具箱，可以与Fiji图像处理环境或Python编程语言一起使用。同样，Ouyang的网络应用程序ImJoy为多种机器学习方法的试用提供了一站式服务。

Ouyang、Jug等人也在开发Bioimage Model Zoo。显微镜专家将用预先训练好的机器学习模型构建这个存储库，用于降噪和其他目的，这可能允许用户跳过计算成本高昂的训练步骤。但是，Jug说，借用其他研究人员的模型可能很危险，他们的数据和你的数据之间的密切匹配是很重要的。例如，一个被训练用来阐述微管的模型如果应用于核膜的照片，甚至是不同显微镜设置的微管照片时，就可能会失败。但香港理工大学低层次计算机视觉研究员Lei Zhang表示，如果信号和噪点相似，那么预先训练过的模型就能起作用。

Elad说，无论如何，今天的模型和算法并不是图像降噪的最终定论。“这是一届永不停止的奥运会：每个人都试图打败其他人。”

对于Lippens这样的研究人员来说，未来以及显微摄影技术的发展看起来从未像现在这般清晰。

原文以Sharper signals: how machine learning is cleaning up microscopy images标题发表在 2021年1月11日的《自然》的科技特写版块上

星标我们🌟，还要记得点赞、在看+转发哦!