JBB JMIR Bioinform Biotech JMIR生物信息学和生物技术 2563 - 3570 卡塔尔世界杯8强波胆分析 加拿大多伦多 v3i1e36660 36277075 10.2196/36660 原始论文 原始论文 多输入卷积神经网络用于COVID-19分类和胸部x线片关键区域筛选:模型开发和性能评估 Mavragani 孤挺花 Benitez-Andrades 何塞•阿尔贝托。 Oladele 丹尼尔 Alhassan Zakhriya 小君 Zhongqiang 博士学位 1 https://orcid.org/0000-0001-6962-5146 1 https://orcid.org/0000-0001-9511-0701 路加福音 1 https://orcid.org/0000-0002-4066-0105 博士学位 2 https://orcid.org/0000-0002-8014-0358 博士学位 2 https://orcid.org/0000-0002-2673-8818 博士学位 3. https://orcid.org/0000-0002-0144-9489 广大 博士学位 4 https://orcid.org/0000-0001-7956-2126 砚平 博士学位 5 https://orcid.org/0000-0002-8140-5565 博士学位 1
电气与计算机工程系“, 工程学院 路易斯安那州立大学 帕特里克·F·泰勒·霍尔 3304 S Quad Dr 巴吞鲁日,洛杉矶,70803 美国 1 (225) 578 4483 jianxu1@lsu.edu
https://orcid.org/0000-0002-6595-8602
电气与计算机工程系“, 工程学院 路易斯安那州立大学 巴吞鲁日,洛杉矶 美国 计算机科学与工程学部“, 工程学院 路易斯安那州立大学 巴吞鲁日,洛杉矶 美国 可视化部 德克萨斯农工大学 大学城,德克萨斯州 美国 比较生物医学学系 兽医学院 路易斯安那州立大学 巴吞鲁日,洛杉矶 美国 环境与可持续发展学院 萨斯喀彻温大学 萨斯卡通,SK 加拿大 通讯作者:徐健 jianxu1@lsu.edu Jan-Dec 2022 4 10 2022 3. 1 e36660 19 1 2022 10 8 2022 23 8 2022 29 8 2022 ©李忠强,李铮,姚卢克,陈庆,张健,李鑫,冯吉明,李延平,徐健。最初发表在JMIR生物信息学和生物技术(https://bioinform.www.mybigtv.com), 04.10.2022。 2022

这是一篇开放获取的文章,根据创作共用署名许可协议(http://creativecommons.org/licenses/by/4.0/)的条款发布,允许在任何媒介上不受限制地使用、分发和复制,前提是正确引用首次发表在JMIR生物信息学和生物技术上的原创作品。必须包括完整的书目信息,https://bioinform.www.mybigtv.com/上的原始出版物的链接,以及此版权和许可信息。

背景

COVID-19大流行正在成为规模最大、前所未有的健康危机之一,胸部x线摄影(CXR)在诊断COVID-19方面发挥着至关重要的作用。然而,从cxr中提取和寻找有用的图像特征对放射科医生来说是一项繁重的工作。

客观的

本研究旨在设计一种新型的多输入卷积神经网络(CNN)用于COVID-19的分类和从cxr中提取关键区域。我们还研究了输入数量对新MI-CNN模型性能的影响。

方法

共有6205张CXR图像(包括3021张COVID-19 CXR和3184张正常CXR)用于测试我们的MI-CNN模型。cxr可以被平均分割为不同数量(2,4和16)的单个区域。每个区域都可以单独作为MI-CNN输入之一。这些MI-CNN输入的CNN特征将被融合用于COVID-19分类。更重要的是,每个CXR区域的贡献可以通过评估测试数据集中对应区域准确分类的图像数量来评估。

结果

在全图像和左、右肺感兴趣区(LR-ROI)数据集中,mi - cnn对COVID-19分类显示出良好的效率。特别是,具有更多输入的mi -CNN(2-、4-和16输入mi -CNN)在识别COVID-19 cxr时比1输入CNN具有更好的效率。与全图像数据集相比,LR-ROI数据集的准确性、敏感性、特异性和精密度(超过91%)降低了约4%。在考虑每个区域的贡献时,表现下降的一个可能原因是非肺区域(例如区域16)对COVID-19分类提供了假阳性贡献。具有LR-ROI数据集的MI-CNN可以更准确地评估各个区域和COVID-19分类的贡献。此外,右肺区域对COVID-19 cxr的分类有更高的贡献,而左肺区域对识别正常cxr有更高的贡献。

结论

总体而言,MI-CNN可以随着输入数量的增加(例如16输入MI-CNN)获得更高的精度。这种方法可以帮助放射科医生识别COVID-19 cxr并筛查与COVID-19分类相关的关键区域。

新型冠状病毒肺炎 胸部x射线照相 多输入卷积神经网络 筛查COVID关键区域
简介 背景

2020年初,世界卫生组织(世卫组织)正式宣布COVID-19为大流行,疫情迅速蔓延,成为全球前所未有的最大卫生危机之一[ 1].迄今为止,COVID-19大流行严重影响了全球经济,并威胁到许多人的生命[ 1].根据世卫组织的最新报告,截至2021年7月,已有190671330人确诊感染COVID-19,造成4098758人死亡。在美国,已有33,741,532例确诊病例,其中603,880例死亡[ 2].在撰写本文时,美国、印度和巴西的全球确诊病例数量最多,其次是法国、俄罗斯、土耳其和英国[ 2].

幸运的是,几种类型的COVID-19疫苗已经迅速而准确地开发出来,如辉瑞- biontech、Moderna、强生公司的Janssen等,这些疫苗正在覆盖全球越来越多的人群[ 3.].例如,截至2021年7月,全球接种了3,436,534,998剂疫苗,美国接种了341,759,270剂疫苗[ 2].不幸的是,COVID-19危机仍然严重,主要是因为2020年12月在印度首次发现了SARS-CoV-2的Delta变种,随后该国出现了第二波疫情。这种新变种迅速传播到92多个国家,成为世界上主要的COVID-19病毒毒株[ 4].此外,2021年12月报告了SARS-CoV-2的最新变种Omicron,此后在全球范围内传播[ 5- 7].

目前,聚合酶链反应(PCR),特别是实时逆转录PCR (RT-PCR)被认为是诊断COVID-19的金标准。然而,这种方法存在许多问题,如耗时或需要专门的人员和实验室[ 8 9].此外,胸部x线摄影(CXR)、胸部计算机断层扫描(CT)、磁共振成像(mri)等医学成像也是COVID-19诊断的重要替代方法[ 1 8 10].CXR是最早用于诊断COVID-19的成像技术,并继续在临床诊断中发挥重要作用[ 11- 16].

在诊断COVID-19时,胸部CT扫描可能比CXR更敏感;然而,一些重大问题阻碍了它的使用,例如高成本,扫描单个患者的时间密集过程,高水平的电离辐射,以及一些医院或健康中心的有限使用[ 8- 16].因此,CXR仍然是一种经济实惠的成像技术,广泛用于诊断COVID-19,辐射剂量低得多[ 17].此外,在临床实践中,RT-PCR检测常与CXR检查相结合,以减少假阴性,并评估疾病的程度和严重程度[ 8 9].

之前的工作

在某些情况下,从cxr中提取和寻找有用的图像特征给放射科医生带来了沉重的工作量[ 9 15 18].近年来,深度学习已经成为图像分类、识别和分割中最热门的研究课题之一[ 8 19- 24].与传统的图像分析方法相比,深度学习方法通常在提取图像特征时效率更高,因为它不需要人工监督来确定图像的关键特征。卷积神经网络(CNN)是深度学习最具代表性的例子之一,用于学习和识别特定的图像特征[ 8 19 20. 25].因此,将高效的CNN架构集成到诊断系统中将有助于减少放射科医生的工作量,同时提高结果的可靠性并实现定量分析[ 20.].迄今为止,已经报道了几种CNN模型来区分COVID-19病例与其他(非COVID-19) CXR病例,包括GoogleNet、ResNet50、VGG19、MobileNetV2和Inception。大多数模型在COVID-19的分类中准确率都非常高(高达99%)[ 11 13- 16 18 26- 31].因此,利用cxr进行深度学习可能是识别COVID-19的一种有价值的方法。

在之前的大多数研究中,CNN模型都是用全图像cxr作为分类的单一输入来训练的[ 9 11 13- 16 18 26- 31].其他研究也试图开发接受多个输入的新的CNN模型;这种多输入cnn (MI-CNN)可以有效提高分类精度,表现出比单输入cnn更好的性能[ 32- 34].由于MI-CNN可以提供不同的特征,将这些网络特征融合在一起可以提高整个系统的准确性[ 34].迄今为止,mi - cnn已应用于面部表情和性别识别领域[ 33 34]或花卉分级[ 35].

然而,在以往的研究中,大多数MI-CNN模型都将整个图像作为至少一个CNN输入,而将预特征图像作为其他输入[ 33 34].据我们所知,很少有研究报道使用mi - cnn检测和分析COVID-19 cxr。此外,获得的一些特征可以让网络判断正确的结果,而其他特征也会造成严重的误判[ 34].因此,评估特征贡献和去除负面CNN特征是提高疾病诊断可靠性的关键步骤。然而,很少有研究探索使用MI-CNN提取重要图像区域并排除不相关特征对COVID-19分类的贡献的可行性。

在本研究中,我们利用MI-CNN模型开发了一种新的COVID-19分类策略。CXR图像可以均匀分割到不同的区域,每个MI-CNN输入只能处理COVID-19 CXR的一个部分。此外,mi - cnn可以筛选出用于COVID-19 cxr分类的关键区域,并排除错误地用于COVID-19分类的无关图像区域。

方法 COVID-19和正常CXR图像数据集

本研究从既往报道中获得6205张CXR图像(包括3021张COVID-19 CXR和3184张正常CXR) [ 14 36 37].将所有CXR图像调整为320×320像素,以获得16个图像分割。所有CXR图像均为原始PNG格式,未作任何修改。

伦理批准

路易斯安那州立大学机构审查委员会认为,由于使用了二级公开数据,以及缺乏对人类受试者的操纵或干预,因此放弃了伦理审查。

MI-CNN架构设计

图1给出了MI-CNN架构的示意图,该架构由卷积部分和分类器部分组成。每个CXR被均匀分割成2、4或16个不同的区域,每种类型的图像分割被加载到相应的MI-CNN模型(2-input、4-input和16-input MI-CNN)中。对于单输入CNN,整个CXR图像直接加载到模型中。对于卷积部分,每个MI-CNN输入都有三个卷积部分。每个卷积部分包括一个二维卷积层,一个批处理归一化(Batch_Normal)和一个漏校正线性单元(ReLu)层。所有三个2D卷积层都设置为(5,5)过滤器大小。第一个2D卷积层(Conv1)的过滤器数设置为8,第二个2D卷积层(Conv2)的过滤器数设置为16,第三个2D卷积层(Conv3)的过滤器数设置为32。在三个卷积段之后使用一个最大池化层。

分类器部分有三个全连接(FC)层:第一个FC (FC1)被设置为接收每个MI-CNN输入的输出,FC2用于完全连接所有MI-CNN输入的所有FC1输出,FC3用于确定CXR类别(COVID-19或正常)。计算模型的准确性、敏感性、特异性和精密度来评价模型的性能。

多输入卷积神经网络(MI-CNN)架构示意图MI-CNN有两个部分:卷积部分和分类器部分。卷积部分由多达16个MI-CNN输入组成(取决于MI-CNN的类型),每个MI-CNN输入有三个卷积部分和一个max-pooling层。分类器部分由三个全连接(FC)层组成。CXR:胸部x线片;ReLu:整流线性单元。

通过最强激活卷积层分割肺区域

cxr自动分析的关键步骤是准确的肺边界检测及其正常或异常分类[ 17].医学成像中肺边界的分割可用于疾病识别,包括检测COVID-19 [ 17].在单输入的CNN中,第二卷积层最强的激活可以产生最好的肺区域轮廓,如图所示 图2.为了同时提取左肺感兴趣区(ROI)和右肺感兴趣区,首先将CXR均匀分为两部分,然后将CXR的左侧水平翻转。

由于肺区域相对于周围解剖结构(白色区域)颜色较深,因此可以通过每列的起始点(蓝线)和结束点(红线)来确定左右肺区域的边缘。然后将肺边缘的坐标投影到原始cxr上。然而,对于一些来自COVID-19严重阶段患者的cxr,从周围区域识别肺部区域可能具有挑战性。因此,采用具有肺边缘最小坐标和最大坐标的矩形区域对整个肺区域进行裁剪。

基于1输入卷积神经网络(CNN)模型中最大池化层最强激活的右肺和左肺感兴趣区域示意图(分别为R_ROI和L_ROI)。Conv:卷积层;CXR:胸部x线摄影;MI-CNN:多输入卷积神经网络。

COVID-19分级关键区域筛查

尽管深度学习方法已广泛应用于医学图像分析,但很少有研究报道使用MI-CNN模型来分析关键roi的贡献,并排除与疾病分类无关的区域的错误贡献。为了找到关键区域并排除与COVID-19 cxr分类无关的区域,我们探索了输出( R矩阵)和分类器部分的最终激活(FC3层),如图所示 图3

FC1和FC2激活之间的近似关系可以通过FC2层的权重矩阵( W矩阵 图3).FC3层权值矩阵( Y矩阵 图3)可以提供FC2和FC3激活之间的近似关系。因此,MI-CNN输入( R矩阵)和最终的分类(FC3激活)可以通过矩阵乘积( Z矩阵) W而且 Y权重矩阵。此外,最终的COVID-19或正常CXR分类大约由FC3激活的最大值决定。然后,分类可以由元素之间的逐元素乘法的最大元素近似确定 Z矩阵和 R矩阵( 图3).

对于区域贡献,测试数据集中正确分类的图像与相应区域(R1到R16)的标签进行分组,这些标签给出了元素乘的最大元素( Z而且 R矩阵)。然后,可以根据每个MI-CNN输入的正确分类图像的百分比来评估区域贡献。

所有分析均使用MATLAB R2020b (MathWorks Inc)在HP Z2620工作站计算机上进行,并配有NVIDIA Tesla K80 GPU加速器。

多输入卷积神经网络(MI-CNN)分类器的原理图以及对COVID-19和正常(NM)胸片(cxr)进行分类的关键区域筛选。FC:全连接层;R: MI-CNN输入之间的矩阵;W:第二全连通层(FC2)权值矩阵;Y:最后一个全连通层(FC3)的权值矩阵;Z: Y和W矩阵的乘积。

结果 不同输入mi - cnn鉴别COVID-19与正常cxr的评价

为了评估单输入CNN和mi -CNN(2、4和16输入)的性能,90%的CXR数据集用于训练,其余(10%)用于测试。所有MI-CNN模型均采用五倍交叉验证。 图4为1-、2-、4-和16输入mi - cnn的训练精度和损失曲线,每次训练有50个epoch,学习率为0.01。在50个epoch的训练过程中,三种mi -CNN的训练准确率均高于1输入CNN。此外,1输入CNN在训练开始时(20个epoch)的损失比mi -CNN高得多,但直到35个epoch时,损失与mi -CNN相似。

在50个epoch之后,mi -CNN的训练损失大约为0.02,1输入CNN的训练损失为0.05。mi -CNN的准确率也比1输入CNN高约3% (~99% vs 96%)。此外,在训练曲线开始时,MI-CNN表现出更高的训练准确率,1输入的MI-CNN为50.94%,2输入的MI-CNN为62.53%,4输入的MI-CNN为66.66%,16输入的MI-CNN为72.60%。

关于测试评估( 图5),所有mi - cnn在COVID-19和正常cxr分类中均表现良好,准确率、灵敏度、特异性和精密度均可达到93%以上。与训练精度和损失相似,2个以上输入的mi -CNN也表现出比1个输入的CNN更好的分类效率。例如,mi -CNN通常具有超过95%的准确性、敏感性、特异性和精度,而在相同条件下,1输入CNN的这些指标仅达到93%左右。

然而,对于MI-CNN来说,输入越多,测试性能就越好,其中16个输入的MI-CNN对COVID-19 cxr的分类最好,准确率最高(平均97.10%,SD 1.08%),灵敏度最高(平均97.77%,SD 1.71%);然而,2输入MI-CNN与16输入MI-CNN的特异性和精密度差异很小(约比4输入MI-CNN小1%-2%)。

中受试者工作特征(ROC)曲线所示 图6,不同输入的MI-CNN对COVID-19和正常CXR的分类效率均较好,其中4输入的MI-CNN表现最好( 图6a).与测试数据集类似,mi - cnn对所有输入的ROC曲线下面积(AUC)值为0.98。但mi -CNN的AUC值(大于0.99)远高于1输入CNN(均值0.982,SD 0.005),且4输入和16输入的mi -CNN总体AUC值最大(0.995)( 图6b)。

(a) 1输入卷积神经网络(CNN)和2-、4-和16输入CNN的精确度-epoch和(b)损失-epoch曲线。每条曲线代表5个五次交叉验证的平均值;所有病例的学习率均为0.01。

(a)精度,(b)敏感性,(c)特异性,(d)精度的1输入卷积神经网络(CNN)和2-,4-和16输入CNN。

1输入卷积神经网络(CNN)和2-、4-和16输入CNN的接收器工作特征曲线(a)和曲线下面积(AUC)值(b)。

用左右肺ROI数据集对COVID-19和正常cxr进行分类

图7表示1输入CNN和2输入MI-CNN下ROI数据集的训练精度epoch和损失epoch。左、右肺ROI曲线分别从左、右肺区域对应的数据集中获得,使用1输入CNN进行训练。从左、右数据集获得LR-ROI曲线,作为2输入MI-CNN的两个输入。所有这些模型都以100个epoch和0.001的学习率运行,并重复5次。

图7,可以看出,使用LR-ROI数据集,1输入CNN(包括左肺和右肺roi)比2输入MI-CNN表现出更高的精度曲线和更低的损失曲线;然而,这三种方法在训练结束时显示出相似的准确性(~97.0%)和损失(~0.05)。在训练开始时,LR-ROI数据集的准确性比左右ROI数据集高出约15%。

对于LR-ROI测试数据集( 图8), mi - cnn对COVID-19 cxr的分类效率较好,但准确率、灵敏度、特异性和精密度略低于全图像数据集(但仍在90%以上)。对于所有三个数据集,1输入CNN和2输入MI-CNN的准确度(~92%)几乎没有差异( 图8a). LR-ROI的灵敏度最高(平均为94.55%,SD 2.90%),其次为右侧ROI (93.30%, SD 3.27%),其次为左侧ROI (91.27%, SD 2.64%),敏感度略低。相比之下,左肺ROI数据集的特异性(平均93.09%,SD 0.23%)和精度(平均92.71%,SD 0.52%)均高于右肺ROI和LR-ROI(均约为90%)。

因此,三种roi在对COVID-19 cxr进行分类时具有相似的效率(相似的准确性)。与左肺ROI方法相比,LR-ROI和右肺ROI数据集的敏感性更高,说明两种CNN模型(特别是2输入MI-CNN)从正常cxr中正确识别COVID-19 cxr的能力更好。左肺ROI将正常cxr错误识别为COVID-19 cxr的概率较低。总体而言,LR-ROI和右肺ROI在检测COVID-19 cxr时效率更高,而左肺ROI方法在识别正常cxr时效率更高。

基于ROC曲线,具有LR-ROI数据集的2输入MI-CNN在对COVID-19和正常CXRs进行分类时,也表现出相对于1输入CNN(左肺或右肺ROI)更好的表现,因为其AUC值更大(mean 0.980, SD 0.005),如图所示 图9.在1输入CNN中,右肺ROI数据集在识别COVID-19 CXRs方面的效率(平均AUC 0.975, SD 0.008)高于左肺ROI(平均AUC 0.972, SD 0.008),如图所示 图9b。

此外,还使用4输入和16输入mi - cnn对LR-ROI数据集进行评估(见中图S1和S2) 多媒体附件1).结果表明,不同输入的MI-CNNs之间几乎没有差异,但2输入模型的灵敏度(平均94.55%,SD 2.90%)远高于4输入模型(平均92.72%,SD 4.37%)和16输入模型(平均93.42%,SD 2.25%)。

(a) 1输入卷积神经网络(CNN)和2输入卷积神经网络(CNN)与左肺感兴趣区域(L-ROI)、右肺感兴趣区域(R-ROI)以及左右肺感兴趣区域(LR-ROI)数据集的准确率-历元和损失-历元曲线。每条曲线代表5次重复的平均值;学习率为0.001。

(a)具有左肺感兴趣区(L-ROI)和右肺感兴趣区(R-ROI)的1输入卷积神经网络(CNN)和具有左肺和右肺感兴趣区(LR-ROI)数据集的2输入卷积神经网络(CNN)的准确性、(b)敏感性、(c)特异性和(d)精度。

具有左肺感兴趣区域(L-ROI)和右肺感兴趣区域(R-ROI)的1输入卷积神经网络(CNN)和具有左肺和右肺感兴趣区域(LR-ROI)的2输入CNN的接收器工作特征曲线(a)和曲线下面积(AUC)值(b)。

基于mi - cnn的新型冠状病毒识别关键区域筛选

对于区域贡献,90%的全图像和LR-ROI数据集在相同的训练条件下进行训练,如图所示 图4而且 图7,但重复了10次。从每个图像区域中正确分类的图像的百分比,然后按照中概述的步骤计算 图3

对于2输入MI-CNN,全图像和LR-ROI数据集均显示,更多的COVID-19 cxr被R1区域(右肺ROI)分类,而更多的正常cxr被R2区域(左肺ROI)识别( 图10A和11a)。然而,在LR-ROI数据集中,超过86.5%的COVID-19 cxr是通过R1区域识别出来的,而通过R2区域识别出来的仅为13.5%。此外,正常cxr在整个图像和LR-ROI数据集之间R1(~30%)和R2(~70%)有轻微变化。

与2输入MI-CNN相比,所有四个区域都有助于4输入MI-CNN中的COVID-19分类。在全图像数据集中,R2对COVID-19和正常cxr的贡献最大,而R3的贡献最低。然而,在COVID-19和正常图像的分类中,R4区域的差异最大,在正常CRXs中约为35%,而在COVID-19 CRXs中仅为10% ( 图10b).在LR-ROI数据集中,COVID-19在R3区域的图像百分比最大(高达60%),在R2区域的图像百分比最低(仅为10%)( 图11b).在正常cxr中,R2的图像百分比最大(高达50%,COVID-19的最低区域),其次是R3(高达30%)( 图11b)。

在16输入的MI-CNN中,由于使用较小的区域作为MI-CNN输入,关键区域变得更加明显。从整个图像数据集中 图10c, R1区域在COVID-19 cxr中贡献最大,约占准确分类COVID-19图像总数的22%。R6的贡献排名第二(约占正确分类图像的15%)。与COVID-19 cxr相比,正常cxr的最大差异出现在R9区域(高达20%,而在COVID-19图像中为~3%),R4区域的贡献最大(高达27%)( 图10c)。

在LR-ROI数据集中,关键区域和无关区域变得更加清晰。在COVID-19 CRXs中,R1、R2、R5和R9区域均有显著区域,其中R5约占35%。这些区域在正常cxr中几乎没有贡献,而正常cxr中最大的临界区域是R10、R12和R14,它们的贡献都远高于其他区域(每个区域的贡献高达20%)。这些地区对COVID-19分类几乎没有贡献。

从16个输入的MI-CNN中,发现非肺区域在分类COVID-19中起着关键作用(例如,R16贡献了高达15%的测试图像)。在4输入和16输入mi - cnn中合并左肺和右肺区域时,左肺对COVID-19和正常cxr的分类都有更大的贡献( 图12a),这与2输入MI-CNN的结果不一致( 图12a).然而,如果去除非肺区域R16,右肺在COVID-19 cxr的分类中有更大的贡献(约占分类检测图像的60%)。相比之下,左肺对正常cxr的分类贡献更大(也约占分类测试图像的60%)( 图12b).因此,从右肺数据集中似乎可以更有效地对COVID-19 cxr进行分类,而从左肺数据集中则更容易找到正常cxr。从颜色到cxr的映射如图S4所示 多媒体附件1, COVID-19 cxr的分类关键区域大多分布在右肺区,而正常cxr的分类关键区域大多分布在左肺区。

通过多输入卷积神经网络(MI-CNN)分类器部分的初始输入和最终激活,筛选和评估整个图像数据集的关键区域(R1-R16):(a) 2输入MI-CNN;(b) 4输入MI-CNN;(c) 16输入MI-CNN。

通过具有两个以上输入的多输入卷积神经网络(MI-CNN)分类器部分的初始输入和最终激活,筛选和评估肺成像数据集(R1-R16)的关键区域:(a) 2输入MI-CNN;(b) 4输入MI-CNN;(c) 16输入MI-CNN。L-ROI:左肺感兴趣区域;LR-ROI:左、右肺感兴趣区域;R-ROI:右肺感兴趣区域。

左肺区(L-Lung)和右肺区(R-Lung)在使用多输入卷积神经网络对COVID-19胸片(CXR)分类中的贡献。(a)全像CXR数据集;(b)左肺和右肺感兴趣区域(LR-ROI)数据集。

不同输入mi -CNN中最大池化层的CNN特征可视化

图13为LR-ROI数据集提供mi -CNN特征的可视化表示。在COVID-19 cxr中,可视化CNN特征中的大部分强强度像素(红色区域)分布在肺部区域。与左肺相比,右肺区域的颜色映射更多,尤其是4输入MI-CNN ( 图13a).在正常cxr(蓝色区域)中,mi -CNN使用LR-ROI数据集提取的大部分CNN特征都可以在肺边缘找到( 图13b)。

与LR-ROI数据集相比,mi -CNN在全图像数据集中提取CNN特征的效率要低得多。大多数关键特征(强强度像素)在非肺区域被发现(图S6a 多媒体附件1).在正常cxr中,几个CNN特征(彩色图中的蓝色区域)分布在肺边缘;然而,在非肺区域发现了一些特征(图S6b 多媒体附件1).

卷积神经网络(CNN)特征的可视化和映射,从最大池化层的最强激活中提取,使用具有不同输入数量的多输入CNN和感兴趣的左肺和右肺区域数据集。(a) COVID-19胸部x光片的CNN特征;(b)正常cxr的CNN特征。在颜色映射中,红色区域表示COVID-19特征,蓝色区域表示正常特征。

讨论 主要研究结果

当前,新冠肺炎大流行仍在深刻影响世界,威胁着许多人的生命安全[ 1].CXR由于其低辐射、无副作用、经济可行性和中等敏感性等优点,仍然是诊断COVID-19最常用的成像方式之一[ 11- 16 38].在本研究中,我们开发了一种新的MI-CNN方法来对COVID-19和正常CXR图像进行分类。在全图像CXR训练中,结果表明mi - cnn在COVID-19分类中表现出良好的效率,具有较高的训练精度和测试性能(准确率、灵敏度、特异性和精密度均超过95%)。与1输入的CNN相比,mi -CNN识别COVID-19 cxr的效率更高,尤其是4输入和16输入的mi -CNN,检测准确率超过97%。从训练过程开始,mi -CNN也表现出比1输入CNN更高的准确性。因此,将cxr划分为不同的区域可以提高对COVID-19和正常cxr的分类效率。对于学习率,使用更小的学习率(0.001)确实有助于从1输入CNN模型提高大约2%-3%的准确性、敏感性、特异性和精度。而对于MI-CNN模型(2输入和4输入MI-CNN,如图S7所示),学习率几乎没有影响 多媒体附件1).

在本研究中,cxr被均匀分割到不同的区域,每个图像分割可以单独作为一个MI-CNN输入。通过评估准确分类的cxr在测试数据集中的图像百分比,可以评估每个区域的贡献;特别是,更多的MI-CNN输入(例如,16输入MI-CNN)可以筛选每个地区更详细的贡献。根据我们的结果,一些CNN特征可以让网络确定正确的分类,而一些图像特征可能会造成严重的误判[ 34].虽然全图像数据集比LR-ROI数据集可以获得更高的COVID-19识别精度,但部分贡献来自非肺区域。例如,在16输入MI-CNN中,R1区域对COVID-19的分类有准确的贡献,但非肺区域R16对COVID-19的分类也有显著的贡献。因此,如果使用医学图像作为单一输入,并非所有地区都将为COVID-19 cxr分类提供正确的贡献。一些非肺的区域可能有明显的错误贡献。

此外,肺部区域(LR-ROI数据集)的提取可以极大地帮助提取COVID-19分类的关键区域。与全像数据集相比,LR-ROI数据集的关键区域位于R1、R2、R3、R5、R9和R13。这些区域对COVID-19 cxr的准确分类有显著贡献(如R2、R9和R13对准确分类的COVID-19 cxr的贡献约为65%),但对正常cxr没有显著贡献。相比之下,在正常cxr中发现R6、R10、R12、R14和R16。其中,R6、R10和R12对正常cxr准确分类的贡献率超过80%,而这些区域对COVID-19分类的贡献率几乎为零。

此外,右肺区在COVID-19分类中的贡献高于左肺区。使用16输入MI-CNN,在右肺中筛选出更多的关键区域。此外,右肺数据集的敏感性与1输入CNN(约94%,如图所示 图8b)高于左肺数据集(约91%),这也表明右肺区域在COVID-19 cxr的分类中往往更有效。相比之下,剔除带有16输入MI-CNN的LR-ROI ( 图12b),大部分与正常cxr相关的关键区域都在左肺区域,而左肺ROI的精度更高(94%),进一步证明了这一点( 图8c).从分布上看,在右肺区也发现了更多与COVID-19相关的关键区域。相比之下,在左肺中发现更多与正常cxr相关的区域,特别是16输入MI-CNN与LR-ROI数据集(图S4b) 多媒体附件1).

最后,从可视化的CNN特征来看,mi -CNN仍然比1输入CNN具有更好的特征提取。对于全图像数据集中重症COVID-19病例的cxr, 1输入CNN提取的CNN特征主要分布在肺部区域(图S5) 多媒体附件1).然而,对于轻度COVID-19病例的crx,大多数CNN特征都出现在肺边缘(而不是肺区域内)。因此,使用1输入CNN提取CNN特征会受到全图像cxr质量的很大影响。然而,LR-ROI数据集对COVID-19的分类精度高于全图像数据集。大多数与COVID-19分类相关的关键特征分布在肺区域。这一点与关键区域的评价是一致的,其中LR-ROI数据集可以比全图数据集更准确地对COVID-19进行分类。mi - cnn倾向于从LR-ROI数据集中的肺区域边缘识别正常cxr。可视化CNN特征中的强强度区域大多分布在肺边缘附近。

与之前工作的比较

尽管已有研究报道,深度学习方法在对COVID-19 cxr或CT扫描进行分类时可以达到非常高的精度,但这些分析大多是基于整个图像作为单一输入,对COVID-19成功分类的具体区域几乎没有进行过探索[ 8 9 13 15 16 18 20. 26- 29].与单输入CNN模型相比,mi -CNN将为分类提供更多的CNN特征,可以提高整个系统的准确率[ 33 34].然而,以往的研究大多集中在不同格式的整幅图像作为CNN输入[ 33 34],很少有研究试图将医学图像分割成不同的区域,作为CNN输入,并评估它们对疾病图像最终分类的贡献。因此,我们的mi - cnn可以独立提取不同区域的特征;更重要的是,可以通过MI-CNN模型来评估每个区域的贡献。

此外,与传统的CNN模型GoogLeNet和ResNet_50相比,我们提出的1输入模型可以在相同的数据集(整个cxr)和学习率(0.001)下实现相似的性能。我们的模型也需要更少的时间(每次训练大约只有14分钟),而GoogLeNet和ResNet_50分别需要130分钟和300分钟,比我们的模型需要的时间分别增加了10倍和20倍。

限制

虽然mi - cnn在COVID-19 cxr的分类和筛选与COVID-19相关的关键区域和特征方面具有较好的效率,但本研究仍存在几个主要的局限性。首先,新冠肺炎和正常数据集的规模仍然很小,需要更多的cxr来进一步测试我们的mi - cnn的可靠性。二是特征可视化效率较低。其他算法(如GRAD)可用于更好地将关键特征映射到原始CXR。第三,所有MI-CNN模型对所有CXR区域使用相同的卷积层结构。更复杂的结构可以在未来进一步探索。例如,不同的区域可以使用不同的卷积设计,例如肺部边界使用较少的卷积层,肺部区域使用较多的卷积层。最后,目前无法用MI-CNN模型评估COVID-19的严重程度,特别是从关键特征来看。最后,可以使用更多的参数(如图像分辨率)来更好地评估mi - cnn的精度和性能。

结论

总之,每个MI-CNN输入只能单独处理一部分cxr,这有助于高效地对COVID-19 cxr进行分类。在全图像数据集上,mi -CNN比单输入CNN的分类效率更高(准确率、灵敏度、特异性和精度均超过95%)。此外,mi - cnn的性能随着输入数量的增加而增加,特别是4输入和16输入的mi - cnn的准确率超过97%。在LR-ROI数据集中,mi - cnn显示,与全图像数据集相比,COVID-19 cxr的分类减少了约4%。一些非肺区域(如R16)对COVID-19分类有积极的贡献(也在可视化的CNN特征中显示),这欺骗性地提高了全图像数据集中的更高性能。因此,相对于全图像数据集,LR-ROI数据集可以更准确地评估每个区域的贡献,以及CNN特征的提取。

从检测数据集中关键区域的贡献分析,右肺对COVID-19 cxr的分类贡献更大。然而,左肺区域对正常cxr的分类有更大的贡献。从LR-ROI数据集中,mi - cnn对肺边缘敏感,在正常cxr中发现了更重要的分布在肺边缘周围的特征。对于COVID-19 cxr,可视化CNN特征主要分布在肺区域(特别是在16输入MI-CNN中)。

综上所述,mi - cnn对COVID-19 cxr具有良好的分类效率。MI-CNN输入越多,分类效率越高。我们的方法可以帮助放射科医生从cxr中自动筛选在COVID-19分类中起关键作用的区域。

支持信息;数字S1-S8。

缩写 AUC

接收机工作特性曲线下面积

美国有线电视新闻网

卷积神经网络

CT

计算机断层扫描

CXR

胸部x射线照相

足球俱乐部

全连接层

LR-ROI

左肺和右肺区域

MI-CNN

多输入卷积神经网络

聚合酶链反应

聚合酶链反应

线性整流函数(Rectified Linear Unit)

线性整流函数

中华民国

接收机工作特性

ROI

感兴趣地区

rt - pcr

逆转录实时聚合酶链反应

世界卫生组织

本研究由路易斯安那州立大学(LSU)教师研究基金(资助号009875)资助;路易斯安那州立大学利用创新技术转让(LIFT2)赠款(LSU-2021- lift -009, LSU-2020- lift -008);路易斯安那州立大学新奥尔良健康科学中心资助项目(HSCNO-2019-LIFT-004);路易斯安那州董事会拨款(LEQSF (2018-21)-RD-A-09);国家卫生研究院(1U01AA029348-01);国家科学基金会职业奖(2046929)。

没有宣布。

阿斯兰 曼氏金融 Unlersen 曼氏金融 萨班吉 K Durdu 一个 基于cnn的迁移学习- bilstm网络:一种新型COVID-19感染检测方法 应用软计算 2021 01 98 106912 10.1016 / j.asoc.2020.106912 33230395 s1568 - 4946 (20) 30850 - 4 PMC7673219 世卫组织冠状病毒(COVID-19)仪表盘 世界卫生组织 2021 2022-07-20 https://covid19.who.int/ 对公众的COVID-19建议:接种疫苗 世界卫生组织 2021 2021-07-20 https://www.who.int/emer gencies /疾病/小说-冠状病毒- 2019 / covid-19-vaccines /建议 Kupferschmidt K Wadman Delta变种引发了大流行的新阶段 科学 2021 06 25 372 6549 1375 1376 10.1126 / science.372.6549.1375 Mahase E Covid-19:欧米克隆和助推器的需求 BMJ 2021 12 14 375 n3079 10.1136 / bmj.n3079 34906956 卡里姆 SSA 卡里姆 质量保证 欧米克隆SARS-CoV-2变种:COVID-19大流行的新篇章 《柳叶刀》 2021 12 11 398 10317 2126 2128 10.1016 / s0140 - 6736 (21) 02758 - 6 34871545 s0140 - 6736 (21) 02758 - 6 PMC8640673 Torjesen 随着欧米克隆病例每两到三天翻一番,Covid限制收紧 BMJ 2021 12 09 375 n3051 10.1136 / bmj.n3051 34887256 Arias-Londono JD Gomez-Garcia 晶澳 Moro-Velazquez l Godino-Llorente 人工智能应用于胸部x线图像,实现新冠肺炎的自动检测。深思熟虑的评估方法 IEEE访问 2020 8 226811 226827 10.1109 / ACCESS.2020.3044858 34786299 PMC8545248 伊斯兰教 MZ 伊斯兰教 毫米 Asraf 一个 利用x射线图像检测新型冠状病毒(COVID-19)的联合深度CNN-LSTM网络 通知Med解锁 2020 20. 100412 10.1016 / j.imu.2020.100412 32835084 s2352 - 9148 (20) 30562 - 1 PMC7428728 克雷默 年代 Lersy F de Seze J 费雷 JC Maamar 一个 Carsin-Nicol B Collange O 博纳维尔 F 亚当 G Martin-Blondel G 拉菲克 Geeraerts T Delamarre l 年代 Krainik 一个 Caillard 年代 君士坦斯 JM Metanbou 年代 Heintz 一个 头盔 J Schenck Lefebvre N Boutet C 法布尔 X 弗赖斯节 G de Beaurepaire Bornet G Lacalm 一个 《企业 H Bolognini F Messie J Hmeydia G Benzakoun J 奥本海姆 C Bapst B Megdiche 亨利Feugeas 卡里尔 一个 Gaudemer 一个 贼鸥 l 新经济学院 P 要这种Mba Y Hemmert C 福伊尔斯坦 P •塞巴格• N 卡雷 年代 Alleg 勒科克 C 施密特 E Anxionnat R F 蜂巢状的 P Ricolfi F Thouant P 脱盐 H Boulouis G J 齐米。 一个 Pyatigorskaya N Lecler 一个 Saleme 年代 Edjlali-Goujon Kerleroux B 该研究 P 马修 Baloglu 年代 Ardellier F 假如 T Brisset JC 布雷 C Mutschler V 斯曼 Y 莫特 P 施耐德 F Fafi-Kremer 年代 Ohana Meziani F 大卫 J 迈耶 N Anheim 棉花 F 重症COVID-19患者的脑MRI结果:一项回顾性观察研究 放射学 2020 11 297 2 E242 E251 10.1148 / radiol.2020202222 32544034 PMC7301613 阿巴斯 一个 Abdelsamea 毫米 Gaber 毫米 基于DeTraC深度卷积神经网络的胸部x线图像COVID-19分类 :智能 2021 09 05 51 2 854 864 10.1007 / s10489 - 020 - 01829 - 7 34764548 1829 PMC7474514 中方通过 毫米 史密斯 P Agresta SV D Letson GD 骨、软组织病变术中冰冻切片诊断的实践问题 癌症控制 2008 01 01 15 1 7 12 10.1177 / 107327480801500102 18094656 Misra 年代 年代 年代 Managuli R 张成泽 C 胸部x线图像多通道迁移学习用于COVID-19筛查 电子产品 2020 08 27 9 9 1388 10.3390 / electronics9091388 拉赫曼 T Khandakar 一个 Qiblawey Y Tahir 一个 Kiranyaz 年代 阿布Kashem 某人 伊斯兰教 艾尔Maadeed 年代 Zughaier SM 女士 Chowdhury 探讨图像增强技术在胸部x线图像检测新冠肺炎中的作用 Comput Biol Med 2021 05 132 104319 10.1016 / j.compbiomed.2021.104319 33799220 s0010 - 4825 (21) 00113 - x PMC7946571 Ismael Şengur 一个 基于胸片图像的新型冠状病毒肺炎深度学习检测方法 专家系统应用 2021 02 164 114054 10.1016 / j.eswa.2020.114054 33013005 s0957 - 4174 (20) 30819 - 8 PMC7521412 Haque K Abdelgawad 一个 一种从胸部x线图像中检测COVID-19患者的深度学习方法 人工智能 2020 09 22 1 3. 418 435 10.3390 / ai1030027 Candemir 年代 Antani 年代 胸部x线检查肺边界的研究进展 国际计算辅助放射外科 2019 04 14 4 563 576 10.1007 / s11548 - 019 - 01917 - 1 30730032 10.1007 / s11548 - 019 - 01917 - 1 PMC6420899 阿拉姆 N Ahsan 基于 海德尔 J 科瓦尔斯基 利用特征融合和深度学习从胸部x线图像中检测COVID-19 传感器 2021 02 20. 21 4 1480 10.3390 / s21041480 33672585 s21041480 PMC8078171 X Y 首歌 G Z Y 风扇 Y 一种融合fcnn和crf的脑肿瘤分割深度学习模型 医学影像 2018 01 43 98 111 10.1016 / j.media.2017.10.002 29040911 s1361 - 8415 (17) 30141 - x PMC6029627 Narin 一个 卡亚 C 帕慕克 Z 利用x射线图像和深度卷积神经网络自动检测冠状病毒疾病(COVID-19) 模式肛门应用 2021 05 09 24 3. 1207 1220 10.1007 / s10044 - 021 - 00984 - y 33994847 984 PMC8106971 K C Y Z 一种用于图像识别的深度学习和图像识别系统 模式识别 2019 3. 2 1 11 戈什 年代 达斯 N 达斯 Maulik U 理解用于图像分割的深度学习技术 ACM计算调查 2020 07 31 52 4 1 35 10.1145 / 3329784 Z Z J 邓纳姆 麦克沃特 AJ J Y 年代 J 机器学习辅助自发拉曼光谱分类和特征提取用于人类喉癌诊断 Comput Biol Med 2022 07 146 105617 10.1016 / j.compbiomed.2022.105617 35605486 s0010 - 4825 (22) 00409 - 7 P Z H Y Lei Y Abbaszadeh 年代 自动检测啮齿动物颅骨解剖图像中的布雷玛点和lambda点 《公共科学图书馆•综合》 2020 12 15 12 e0244378 10.1371 / journal.pone.0244378 33373400 玉米饼- d - 20 - 26591 PMC7771702 Z Z 拉莫斯 一个 J 摩根大通 Thiagarajan R Bren-Mattison Y 邓纳姆 麦克沃特 AJ X JM Y 年代 J 通过卷积神经网络辅助自发拉曼光谱与关键特征可视化检测胰腺癌 神经 2021 12 144 4 455 464 10.1016 / j.neunet.2021.09.006 34583101 s0893 - 6080 (21) 00356 - 7 Loey Smarandache F 哈利法塔 NEM 在缺乏胸部COVID-19 x射线数据集的情况下:基于GAN和深度迁移学习的新型检测模型 对称 2020 04 20. 12 4 651 10.3390 / sym12040651 33177550 10.1038 / s41598 - 020 - 76550 - z PMC7658227 l 的ZQ 一个 COVID-Net:定制的深度卷积神经网络设计,用于从胸部x线图像中检测COVID-19病例 Sci代表 2020 11 11 10 1 19549 10.1038 / s41598 - 020 - 76550 - z 33177550 10.1038 / s41598 - 020 - 76550 - z PMC7658227 Apostolopoulos ID Mpesiana 助教 Covid-19:利用卷积神经网络迁移学习从x射线图像中自动检测 物理、工程和医学 2020 06 43 2 635 640 10.1007 / s13246 - 020 - 00865 - 4 32524445 10.1007 / s13246 - 020 - 00865 - 4 PMC7118364 德苏萨 Carneiro 个人电脑 奥利维拉 毫米 佩雷拉 通用汽车 小达科斯塔 CA 德·莫拉 LV Mattjie C 达席尔瓦 一个mm Patrocinio 交流 基于卷积神经网络的x射线胸部图像COVID-19分类:CNN-COVID 生物医学研究 2021 01 04 38 1 87 97 10.1007 / s42600 - 020 - 00120 - 5 32895587 s0208 - 5216 (20) 30095 - 4 PMC7467028 亚伯拉罕 B 奈尔 女士 基于多cnn和贝叶斯网络分类器的x射线图像新冠病毒的计算机辅助检测 Biocybern Biomed Eng 2020 06 40 4 1436 1445 10.1016 / j.bbe.2020.08.005 32895587 s0208 - 5216 (20) 30095 - 4 PMC7467028 对ğacar Ergen B Comert Z 使用深度学习模型进行COVID-19检测,利用社会模拟优化,使用模糊颜色和堆叠方法构建胸部x光图像 Comput Biol Med 2020 06 121 103805 10.1016 / j.compbiomed.2020.103805 32568679 s0010 - 4825 (20) 30173 - 6 PMC7202857 Elmoufidi 一个 Skouta 一个 Jai-Andaloussi 年代 Ouchetto O 使用眼底图像进行青光眼自动评估的多输入CNN Int J图像抓取 2022 01 10 1 8 10.1142 / S0219467823500122 Trivedi P Mhasakar P 普拉卡什 年代 密特拉 SK 多频道CNN面部表情识别 2017 模式识别与机器智能国际会议 2017年12月5日至8日 加尔各答,印度 C C 刘正 年代 利用双输入卷积神经网络的特征融合和参数优化进行人脸性别识别 :科学 2020 05 01 10 9 3166 3168 10.3390 / app10093166 太阳 Y l G F 用于花卉分级的多输入卷积神经网络 电子计算工程 2017 2017 1 8 10.1155 / 2017/9240407 Chowdhury 拉赫曼 T Khandakar 一个 Mazhar R Kadir也 Mahbub ZB 伊斯兰教 基米-雷克南 女士 伊克巴尔 一个 Emadi NA Reaz MBI 伊斯兰教 人工智能能否帮助筛查病毒性肺炎和COVID-19肺炎? IEEE访问 2020 8 132665 132676 10.1109 / ACCESS.2020.3010287 COVID-19射线摄影数据库 Kaggle 2021-07-20 https://www.kaggle.com/datasets/tawsifurrahman/covid19-radiography - database Zotin 一个 哈马德 Y 西蒙诺夫 K Kurako 基于GLCM和概率神经网络的胸部x线图像分类肺边界检测 程序计算科学 2019 159 1439 1448 10.1016 / j.procs.2019.09.314
Baidu
map