深度学习（Deep learning, DL）模型对包括生命科学在内的各种成像应用影响深远，但由于大多数DL方法都以源代码形式提供，对于很多非专业用户来说存在一定的技术挑战。因此，越来越多的团队开发不同工具来解决这个问题，例如，通过预训练的DL模型在我们常用的ImageJ软件中执行图像分类任务的DeepClass4Bio【1】，以及在没有任何编程基础的情况下即可利用CSBDeep团队开发出的插件训练显微图像的去噪模型【2】等。虽然这些工具已经极大的方便DL在生物医学图像分析任务中的应用，但同时具备非代码方式和统一整合格式的工具仍然缺失。 2021年9月30日，来自瑞士洛桑联邦理工学院的Daniel Sage团队和来自西班牙马德里卡洛斯三世大学的Arrate Muñoz-Barrutia 团队在Nature Methods杂志上合作发表了一篇题为 DeepImageJ: A user-friendly environment to run deep learning models in ImageJ 的文章，该团队开发出一种可以访问最大的预训练深度学习模型生物图像存储库（BioImage Model Zoo）的deepImageJ工具，支持不含编程基础的研究人员在ImageJ中使用预训练的深度学习模型进行生物医学图像分析，包括像素和对象分类、实例分割、去噪或虚拟染色等任务，进一步推动了深度学习模型在生物图像处理的应用和传播。 DeepImageJ可以运行支持DL框架（TensorFlow和PyTorch）的主要DL库中的多种第三方模型，被设计为ImageJ插件，安装和运行非常简单，且无需上传数据，从而为用户提供更好的隐私保护。在应用层面上，deepImageJ可以使用多种类型的模型来执行图像处理任务，比如从图像到矢量（图像分类）、图像到图像（图像分割、解卷积、虚拟标记、超分辨率）或金字塔特征池化网络（全景分割）等，重要的是，deepImageJ的格式几乎通用，因此无论使用哪种模型对用户而言都没有技术难度。DeepImageJ格式遵循BioImage Model Zoo（https://bioimage.io/）规范，允许合作软件之间的互操作性以及对模型存储库的无缝访问。DeepImageJ工具箱的主要插件DeepImageJ_Run允许使用者一键执行DL模型，还由三个配套插件补充，分别用于模型捆绑、模型安装和结果验证（图1）。 图1. DeepImageJ的功能 然而，大多数用于显微镜图像处理的DL模型仍然缺乏跨数据集泛化的能力，虽然该团队对这一工具的通用性和数据交叉兼容性的未来发展充满信心，但就当前而言仍需确保与其他现有的用户友好工具，如Ilastik、ImJoy、ZeroCostDL4Mic 或 YAPIC的交叉兼容性以提供组合解决方案。YAPIC团队已在软件中集成了一项新功能，可以将他们的任何模型导出为deepImageJ格式。因此，利用这类组合可以更加灵活地连接不同的图像处理步骤。 由于DL模型由很多层和操作组成，因此使用它们来处理图像需要相当大的内存消耗，而DeepImageJ正好集成了一个智能功能，允许在可能的情况下将补丁大小调整为更小的图像尺寸并自动完成平铺策略，而无需进一步更改模型规范。尽管如此，未来仍可以进一步改进以设计用于运行DL模型的智能内存管理策略，例如，DeepimageJ 为用户提供相关信息，以了解模型执行将消耗多少内存，从而确定模型是否可以在特定机器上使用等。总的来说，deepImageJ对生物图像分析中DL的可用性和以标准化方式传播DL模型做出了贡献，并为生命科学研究人员的数据分析工作提供了帮助。 原文链接：https://doi.org/10.1038/s41592-021-01262-9 制版人：十一
参考文献
1. Inés, A., Domínguez, C., Heras, J., Mata, E. & Pascual, V. DeepClas4Bio: Connecting bioimaging tools with deep learning frameworks for image classification. Computers Biol. Med. 108, 49–56 (2019).2. Weigert, M. et al. Content-aware image restoration: pushing the limits of fluorescence microscopy. Nat. Methods 15, 1090–1097 (2018).
