新冠在全球范围内的传播已致14多亿人感染COVID-19并导致300多万人死亡。逆转录聚合酶链式反应（RT-PCR）检测技术是被广泛接受的标准诊断方法，但该方法存在一些缺点，如它需要从鼻咽拭子中提取病毒RNA为模板进行检测；RT-PCR检测技术比较耗时等。因此，世界各地的研究人员正在寻求一种快速、安全和自动化的方法来诊断COVID-19。由于X射线和CT扫描这两种医学成像技术在COVID-19等肺部炎症相关疾病上显示了优越性，所以研究人员考虑以这两种成像技术为基础，建立一个快速、准确并且自动化的COVID-19检测系统。武汉的一项研究表明，CT扫描对COVID-19的诊断具有比RT-PCR检测具有更高的敏感性。
自去年以来，有许多研究在COVID-19的诊断、治疗和随访中探索了基于机器学习（ML）的方法，其中深度学习（DL）相关的方法备受青睐。但从医学成像中诊断COVID-19仍然具有挑战性。更高的检测精度和确诊能力是COVID-19检测的首要任务。本文旨在揭示研究人员提出的基于DL的架构，以建立一个使用CT扫描和X射线的COVID-19自动诊断系统。作者总共将98篇相关领域的文章纳入了调查，与过去的类似领域的调查进行比较，并主要关注数据源和预处理策略，特征提取，分类，视觉解释技术，以及对比基于ML的模型和放射科医生的检测性能。
作者首先介绍了98篇文章中常用的数据来源，其中包括COVID-19 CT segmentation、COVID-CT等8个CT扫描数据集和Covid-chestxray-dataset、COVID-19 radiography database等13个胸部X光片图像数据集。作者列出了这些数据集的来源文献、下载网址和图像数量。这些数据集大部分是公开的，但也有一些不能通过公开途径获取。
接下来，作者介绍了针对CT和X光片图像数据的预处理方法，以及其调查的98篇工作分别使用了哪些方法及所占比例。涉及的方法包括调整大小、翻转、旋转等对图像的直接操作，也有少量工作使用了生成对抗网络来做图像预处理（图1）。
(A) 224×224 重调整. (B) 亮度调节. (C) 生成对抗网络图解表示. (D) 垂直翻转
图像的特征提取通常是此类工作的核心步骤，作者同样是对CT数据和X光片数据的特征提取进行了分类讨论。在泛图像处理领域常用的特征提取神经网络模型也被广泛用于COVID-19检测工作中，其中包括ResNet、VGG、DenseNet、CapsNet等十多种网络，作者列出了使用每一种网络的文章。此外，针对CT和X光片数据的特殊性质，也有很多新的网络结构被提出，包括PDCOVIDNet、CovMUNET等9个针对X光的结构和DECAPS一个针对CT的结构。作者对每种网络的基本原理和得到的结果进行了简单介绍（表1）。
模型的最后一步是对提取的特征做分类，要实现分类，既可以直接在深度学习框架中用Logistic层或softmax层作为神经网络的最后一层，也可以将网络提取出的特征用SVM、KNN等传统分类方法进行分类。作者指出，在其调查的工作中，使用二分类的工作数量远远多于使用多分类的工作，然而，二元分类在检测COVID-19时可能会有歧义，因为它不能区分其他病毒性肺炎和COVID-19。
为了评估模型的检测性能，这些方法大多通过划分训练、验证、测试集的方法，计算模型在测试集上的正确率、准确率、灵敏度、特异性或F1分数等指标。作者整理了每篇文章划分数据集的方法、使用的评估指标和最后得到的分数，并根据模型对CT图像（表2）和X-光片（表3）的检测结果分别进行比较。
值得注意的是，不同模型的输出结果也不一样，一些模型只能判断图像中有没有COVID-19感染，但也有部分工作可以定位到图像异常区域，或是给出异常的解释，作者对98篇文章的这一区别也进行了分类、讨论和统计。在调查的文章中，有一些文章将自己的模型结果与放射科医生的诊断结果进行了比较。该调查也对这些比较结果进行了介绍，结论是基于ML的方法提供了比独立放射科医生更好的检测性能。
对结果的解释性较弱是深度学习方法的缺点，这也使得CNN架构不太适合用于医疗诊断系统。在调查的文章中，有一些工作尝试了对结果的解释，大多是通过可视化的方法，突出神经网络决策过程中重要图像区域。以前使用的一些可视化方法有：类激活图（CAM）、基于梯度的类激活图（Grad-CAM，Grad-CAM++）、分层相关性传播（LRP）和局部可解释模型-诊断解释（LIME）等。对于CT扫描和X光片，Grad-CAM是使用最多的可视化技术。
最后，作者讨论了本文调查的工作，指出其中的部分工作虽然准确率高，但仍有数据集小、类不平衡等问题，可能导致模型的过拟合。此外，这些研究没有包括临床症状信息（如发烧、咳嗽、疲劳）和人口统计信息（如年龄、性别、地点）。由于COVID-19有可能发生突变，冠状病毒的行为相对未知，所以使用这两类信息可以提升基于ML模型的性能。第三个限制是，以前的研究大多没有注意到对基础事实的验证。因此，需要记录RT-PCR跟踪和图像信息之间的时间，以建立一个基准，并促进有效的测试，这有助于使模型更加强大。另一个局限性与可视化技术（即CAM，Grad-CAM）有关，其中激活区域高度分散，并强调了不相关的区域，特别是X射线图像中的纵膈和肩部区域。
为了加快机器学习技术在大量医疗图像上的应用，世界各地都颁布了COVID-19的CT扫描和X射线图像的各种基准。但其中仍有许多挑战，包括图像的统一预处理、机器学习专家与放射科医生的合作模式、统一的基准和外部验证。模型的可解释功能也是一大挑战，以实现模型决策的公平性和问责制。
