发表在第3卷第1期(2022):1 - 12月

本文的预印本(早期版本)可在https://preprints.www.mybigtv.com/preprint/36660,首次出版
多输入卷积神经网络用于COVID-19分类和胸部x线片关键区域筛选:模型开发和性能评估

多输入卷积神经网络用于COVID-19分类和胸部x线片关键区域筛选:模型开发和性能评估

多输入卷积神经网络用于COVID-19分类和胸部x线片关键区域筛选:模型开发和性能评估

原始论文

1美国路易斯安那州立大学工程学院电气与计算机工程系,巴吞鲁日,洛杉矶

2美国路易斯安那州立大学工程学院计算机科学与工程系,巴吞鲁日,洛杉矶

3.可视化系,德州农工大学,大学城,德克萨斯州,美国

4美国路易斯安那州巴吞鲁日路易斯安那州立大学兽医学院比较生物医学学系

5萨斯喀彻温大学环境与可持续发展学院,萨斯卡通,SK,加拿大

通讯作者:

徐健博士

电气与计算机工程系“,

工程学院

路易斯安那州立大学

帕特里克·F·泰勒·霍尔

3304 S Quad Dr

巴吞鲁日,洛杉矶,70803

美国

电话:1 (225)578 4483

电子邮件:jianxu1@lsu.edu


背景:COVID-19大流行正在成为规模最大、前所未有的健康危机之一,胸部x线摄影(CXR)在诊断COVID-19方面发挥着至关重要的作用。然而,从cxr中提取和寻找有用的图像特征对放射科医生来说是一项繁重的工作。

摘要目的:本研究旨在设计一种新型的多输入卷积神经网络(CNN)用于COVID-19的分类和从cxr中提取关键区域。我们还研究了输入数量对新MI-CNN模型性能的影响。

方法:共有6205张CXR图像(包括3021张COVID-19 CXR和3184张正常CXR)用于测试我们的MI-CNN模型。cxr可以被平均分割为不同数量(2,4和16)的单个区域。每个区域都可以单独作为MI-CNN输入之一。这些MI-CNN输入的CNN特征将被融合用于COVID-19分类。更重要的是,每个CXR区域的贡献可以通过评估测试数据集中对应区域准确分类的图像数量来评估。

结果:在全图像和左、右肺感兴趣区(LR-ROI)数据集中,mi - cnn对COVID-19分类显示出良好的效率。特别是,具有更多输入的mi -CNN(2-、4-和16输入mi -CNN)在识别COVID-19 cxr时比1输入CNN具有更好的效率。与全图像数据集相比,LR-ROI数据集的准确性、敏感性、特异性和精密度(超过91%)降低了约4%。在考虑每个区域的贡献时,表现下降的一个可能原因是非肺区域(例如区域16)对COVID-19分类提供了假阳性贡献。具有LR-ROI数据集的MI-CNN可以更准确地评估各个区域和COVID-19分类的贡献。此外,右肺区域对COVID-19 cxr的分类有更高的贡献,而左肺区域对识别正常cxr有更高的贡献。

结论:总体而言,MI-CNN可以随着输入数量的增加(例如16输入MI-CNN)获得更高的精度。这种方法可以帮助放射科医生识别COVID-19 cxr并筛查与COVID-19分类相关的关键区域。

JMIR Bioinform生物技术2022;3(1):e36660

doi: 10.2196/36660

关键字



背景

2020年初,世界卫生组织(世卫组织)正式宣布COVID-19为大流行,疫情迅速蔓延,成为全球前所未有的最大卫生危机之一[1].迄今为止,COVID-19大流行严重影响了全球经济,并威胁到许多人的生命[1].根据世卫组织的最新报告,截至2021年7月,已有190671330人确诊感染COVID-19,造成4098758人死亡。在美国,已有33,741,532例确诊病例,其中603,880例死亡[2].在撰写本文时,美国、印度和巴西的全球确诊病例数量最多,其次是法国、俄罗斯、土耳其和英国[2].

幸运的是,几种类型的COVID-19疫苗已经迅速而准确地开发出来,如辉瑞- biontech、Moderna、强生公司的Janssen等,这些疫苗正在覆盖全球越来越多的人群[3.].例如,截至2021年7月,全球接种了3,436,534,998剂疫苗,美国接种了341,759,270剂疫苗[2].不幸的是,COVID-19危机仍然严重,主要是因为2020年12月在印度首次发现了SARS-CoV-2的Delta变种,随后该国出现了第二波疫情。这种新变种迅速传播到92多个国家,成为世界上主要的COVID-19病毒毒株[4].此外,2021年12月报告了SARS-CoV-2的最新变种Omicron,此后在全球范围内传播[5-7].

目前,聚合酶链反应(PCR),特别是实时逆转录PCR (RT-PCR)被认为是诊断COVID-19的金标准。然而,这种方法存在许多问题,如耗时或需要专门的人员和实验室[89].此外,胸部x线摄影(CXR)、胸部计算机断层扫描(CT)、磁共振成像(mri)等医学成像也是COVID-19诊断的重要替代方法[1810].CXR是最早用于诊断COVID-19的成像技术,并继续在临床诊断中发挥重要作用[11-16].

在诊断COVID-19时,胸部CT扫描可能比CXR更敏感;然而,一些重大问题阻碍了它的使用,例如高成本,扫描单个患者的时间密集过程,高水平的电离辐射,以及一些医院或健康中心的有限使用[8-16].因此,CXR仍然是一种经济实惠的成像技术,广泛用于诊断COVID-19,辐射剂量低得多[17].此外,在临床实践中,RT-PCR检测常与CXR检查相结合,以减少假阴性,并评估疾病的程度和严重程度[89].

之前的工作

在某些情况下,从cxr中提取和寻找有用的图像特征给放射科医生带来了沉重的工作量[91518].近年来,深度学习已经成为图像分类、识别和分割中最热门的研究课题之一[819-24].与传统的图像分析方法相比,深度学习方法通常在提取图像特征时效率更高,因为它不需要人工监督来确定图像的关键特征。卷积神经网络(CNN)是深度学习最具代表性的例子之一,用于学习和识别特定的图像特征[81920.25].因此,将高效的CNN架构集成到诊断系统中将有助于减少放射科医生的工作量,同时提高结果的可靠性并实现定量分析[20.].迄今为止,已经报道了几种CNN模型来区分COVID-19病例与其他(非COVID-19) CXR病例,包括GoogleNet、ResNet50、VGG19、MobileNetV2和Inception。大多数模型在COVID-19的分类中准确率都非常高(高达99%)[1113-161826-31].因此,利用cxr进行深度学习可能是识别COVID-19的一种有价值的方法。

在之前的大多数研究中,CNN模型都是用全图像cxr作为分类的单一输入来训练的[91113-161826-31].其他研究也试图开发接受多个输入的新的CNN模型;这种多输入cnn (MI-CNN)可以有效提高分类精度,表现出比单输入cnn更好的性能[32-34].由于MI-CNN可以提供不同的特征,将这些网络特征融合在一起可以提高整个系统的准确性[34].迄今为止,mi - cnn已应用于面部表情和性别识别领域[3334]或花卉分级[35].

然而,在以往的研究中,大多数MI-CNN模型都将整个图像作为至少一个CNN输入,而将预特征图像作为其他输入[3334].据我们所知,很少有研究报道使用mi - cnn检测和分析COVID-19 cxr。此外,获得的一些特征可以让网络判断正确的结果,而其他特征也会造成严重的误判[34].因此,评估特征贡献和去除负面CNN特征是提高疾病诊断可靠性的关键步骤。然而,很少有研究探索使用MI-CNN提取重要图像区域并排除不相关特征对COVID-19分类的贡献的可行性。

在本研究中,我们利用MI-CNN模型开发了一种新的COVID-19分类策略。CXR图像可以均匀分割到不同的区域,每个MI-CNN输入只能处理COVID-19 CXR的一个部分。此外,mi - cnn可以筛选出用于COVID-19 cxr分类的关键区域,并排除错误地用于COVID-19分类的无关图像区域。


COVID-19和正常CXR图像数据集

本研究从既往报道中获得6205张CXR图像(包括3021张COVID-19 CXR和3184张正常CXR) [143637].将所有CXR图像调整为320×320像素,以获得16个图像分割。所有CXR图像均为原始PNG格式,未作任何修改。

伦理批准

路易斯安那州立大学机构审查委员会认为,由于使用了二级公开数据,以及缺乏对人类受试者的操纵或干预,因此放弃了伦理审查。

MI-CNN架构设计

图1给出了MI-CNN架构的示意图,该架构由卷积部分和分类器部分组成。每个CXR被均匀分割成2、4或16个不同的区域,每种类型的图像分割被加载到相应的MI-CNN模型(2-input、4-input和16-input MI-CNN)中。对于单输入CNN,整个CXR图像直接加载到模型中。对于卷积部分,每个MI-CNN输入都有三个卷积部分。每个卷积部分包括一个二维卷积层,一个批处理归一化(Batch_Normal)和一个漏校正线性单元(ReLu)层。所有三个2D卷积层都设置为(5,5)过滤器大小。第一个2D卷积层(Conv1)的过滤器数设置为8,第二个2D卷积层(Conv2)的过滤器数设置为16,第三个2D卷积层(Conv3)的过滤器数设置为32。在三个卷积段之后使用一个最大池化层。

分类器部分有三个全连接(FC)层:第一个FC (FC1)被设置为接收每个MI-CNN输入的输出,FC2用于完全连接所有MI-CNN输入的所有FC1输出,FC3用于确定CXR类别(COVID-19或正常)。计算模型的准确性、敏感性、特异性和精密度来评价模型的性能。

图1。多输入卷积神经网络(MI-CNN)架构示意图MI-CNN有两个部分:卷积部分和分类器部分。卷积部分由多达16个MI-CNN输入组成(取决于MI-CNN的类型),每个MI-CNN输入有三个卷积部分和一个max-pooling层。分类器部分由三个全连接(FC)层组成。CXR:胸部x线片;ReLu:整流线性单元。
查看此图

通过最强激活卷积层分割肺区域

cxr自动分析的关键步骤是准确的肺边界检测及其正常或异常分类[17].医学成像中肺边界的分割可用于疾病识别,包括检测COVID-19 [17].在单输入的CNN中,第二卷积层最强的激活可以产生最好的肺区域轮廓,如图所示图2.为了同时提取左肺感兴趣区(ROI)和右肺感兴趣区,首先将CXR均匀分为两部分,然后将CXR的左侧水平翻转。

由于肺区域相对于周围解剖结构(白色区域)颜色较深,因此可以通过每列的起始点(蓝线)和结束点(红线)来确定左右肺区域的边缘。然后将肺边缘的坐标投影到原始cxr上。然而,对于一些来自COVID-19严重阶段患者的cxr,从周围区域识别肺部区域可能具有挑战性。因此,采用具有肺边缘最小坐标和最大坐标的矩形区域对整个肺区域进行裁剪。

图2。基于1输入卷积神经网络(CNN)模型中最大池化层最强激活的右肺和左肺感兴趣区域示意图(分别为R_ROI和L_ROI)。Conv:卷积层;CXR:胸部x线摄影;MI-CNN:多输入卷积神经网络。
查看此图

COVID-19分级关键区域筛查

尽管深度学习方法已广泛应用于医学图像分析,但很少有研究报道使用MI-CNN模型来分析关键roi的贡献,并排除与疾病分类无关的区域的错误贡献。为了找到关键区域并排除与COVID-19 cxr分类无关的区域,我们探索了输出(R矩阵)和分类器部分的最终激活(FC3层),如图所示图3

FC1和FC2激活之间的近似关系可以通过FC2层的权重矩阵(W矩阵图3).FC3层权值矩阵(Y矩阵图3)可以提供FC2和FC3激活之间的近似关系。因此,MI-CNN输入(R矩阵)和最终的分类(FC3激活)可以通过矩阵乘积(Z矩阵)W而且Y权重矩阵。此外,最终的COVID-19或正常CXR分类大约由FC3激活的最大值决定。然后,分类可以由元素之间的逐元素乘法的最大元素近似确定Z矩阵和R矩阵(图3).

对于区域贡献,测试数据集中正确分类的图像与相应区域(R1到R16)的标签进行分组,这些标签给出了元素乘的最大元素(Z而且R矩阵)。然后,可以根据每个MI-CNN输入的正确分类图像的百分比来评估区域贡献。

所有分析均使用MATLAB R2020b (MathWorks Inc)在HP Z2620工作站计算机上进行,并配有NVIDIA Tesla K80 GPU加速器。

图3。多输入卷积神经网络(MI-CNN)分类器的原理图以及对COVID-19和正常(NM)胸片(cxr)进行分类的关键区域筛选。FC:全连接层;R: MI-CNN输入之间的矩阵;W:第二全连通层(FC2)权值矩阵;Y:最后一个全连通层(FC3)的权值矩阵;Z: Y和W矩阵的乘积。
查看此图

不同输入mi - cnn鉴别COVID-19与正常cxr的评价

为了评估单输入CNN和mi -CNN(2、4和16输入)的性能,90%的CXR数据集用于训练,其余(10%)用于测试。所有MI-CNN模型均采用五倍交叉验证。图4为1-、2-、4-和16输入mi - cnn的训练精度和损失曲线,每次训练有50个epoch,学习率为0.01。在50个epoch的训练过程中,三种mi -CNN的训练准确率均高于1输入CNN。此外,1输入CNN在训练开始时(20个epoch)的损失比mi -CNN高得多,但直到35个epoch时,损失与mi -CNN相似。

在50个epoch之后,mi -CNN的训练损失大约为0.02,1输入CNN的训练损失为0.05。mi -CNN的准确率也比1输入CNN高约3% (~99% vs 96%)。此外,在训练曲线开始时,MI-CNN表现出更高的训练准确率,1输入的MI-CNN为50.94%,2输入的MI-CNN为62.53%,4输入的MI-CNN为66.66%,16输入的MI-CNN为72.60%。

关于测试评估(图5),所有mi - cnn在COVID-19和正常cxr分类中均表现良好,准确率、灵敏度、特异性和精密度均可达到93%以上。与训练精度和损失相似,2个以上输入的mi -CNN也表现出比1个输入的CNN更好的分类效率。例如,mi -CNN通常具有超过95%的准确性、敏感性、特异性和精度,而在相同条件下,1输入CNN的这些指标仅达到93%左右。

然而,对于MI-CNN来说,输入越多,测试性能就越好,其中16个输入的MI-CNN对COVID-19 cxr的分类最好,准确率最高(平均97.10%,SD 1.08%),灵敏度最高(平均97.77%,SD 1.71%);然而,2输入MI-CNN与16输入MI-CNN的特异性和精密度差异很小(约比4输入MI-CNN小1%-2%)。

中受试者工作特征(ROC)曲线所示图6,不同输入的MI-CNN对COVID-19和正常CXR的分类效率均较好,其中4输入的MI-CNN表现最好(图6a).与测试数据集类似,mi - cnn对所有输入的ROC曲线下面积(AUC)值为0.98。但mi -CNN的AUC值(大于0.99)远高于1输入CNN(均值0.982,SD 0.005),且4输入和16输入的mi -CNN总体AUC值最大(0.995)(图6b)。

图4。(a) 1输入卷积神经网络(CNN)和2-、4-和16输入CNN的精确度-epoch和(b)损失-epoch曲线。每条曲线代表5个五次交叉验证的平均值;所有病例的学习率均为0.01。
查看此图
图5。(a)精度,(b)敏感性,(c)特异性,(d)精度的1输入卷积神经网络(CNN)和2-,4-和16输入CNN。
查看此图
图6。1输入卷积神经网络(CNN)和2-、4-和16输入CNN的接收器工作特征曲线(a)和曲线下面积(AUC)值(b)。
查看此图

用左右肺ROI数据集对COVID-19和正常cxr进行分类

图7表示1输入CNN和2输入MI-CNN下ROI数据集的训练精度epoch和损失epoch。左、右肺ROI曲线分别从左、右肺区域对应的数据集中获得,使用1输入CNN进行训练。从左、右数据集获得LR-ROI曲线,作为2输入MI-CNN的两个输入。所有这些模型都以100个epoch和0.001的学习率运行,并重复5次。

图7,可以看出,使用LR-ROI数据集,1输入CNN(包括左肺和右肺roi)比2输入MI-CNN表现出更高的精度曲线和更低的损失曲线;然而,这三种方法在训练结束时显示出相似的准确性(~97.0%)和损失(~0.05)。在训练开始时,LR-ROI数据集的准确性比左右ROI数据集高出约15%。

对于LR-ROI测试数据集(图8), mi - cnn对COVID-19 cxr的分类效率较好,但准确率、灵敏度、特异性和精密度略低于全图像数据集(但仍在90%以上)。对于所有三个数据集,1输入CNN和2输入MI-CNN的准确度(~92%)几乎没有差异(图8a). LR-ROI的灵敏度最高(平均为94.55%,SD 2.90%),其次为右侧ROI (93.30%, SD 3.27%),其次为左侧ROI (91.27%, SD 2.64%),敏感度略低。相比之下,左肺ROI数据集的特异性(平均93.09%,SD 0.23%)和精度(平均92.71%,SD 0.52%)均高于右肺ROI和LR-ROI(均约为90%)。

因此,三种roi在对COVID-19 cxr进行分类时具有相似的效率(相似的准确性)。与左肺ROI方法相比,LR-ROI和右肺ROI数据集的敏感性更高,说明两种CNN模型(特别是2输入MI-CNN)从正常cxr中正确识别COVID-19 cxr的能力更好。左肺ROI将正常cxr错误识别为COVID-19 cxr的概率较低。总体而言,LR-ROI和右肺ROI在检测COVID-19 cxr时效率更高,而左肺ROI方法在识别正常cxr时效率更高。

基于ROC曲线,具有LR-ROI数据集的2输入MI-CNN在对COVID-19和正常CXRs进行分类时,也表现出相对于1输入CNN(左肺或右肺ROI)更好的表现,因为其AUC值更大(mean 0.980, SD 0.005),如图所示图9.在1输入CNN中,右肺ROI数据集在识别COVID-19 CXRs方面的效率(平均AUC 0.975, SD 0.008)高于左肺ROI(平均AUC 0.972, SD 0.008),如图所示图9b。

此外,还使用4输入和16输入mi - cnn对LR-ROI数据集进行评估(见中图S1和S2)多媒体附件1).结果表明,不同输入的MI-CNNs之间几乎没有差异,但2输入模型的灵敏度(平均94.55%,SD 2.90%)远高于4输入模型(平均92.72%,SD 4.37%)和16输入模型(平均93.42%,SD 2.25%)。

图7。(a) 1输入卷积神经网络(CNN)和2输入卷积神经网络(CNN)与左肺感兴趣区域(L-ROI)、右肺感兴趣区域(R-ROI)以及左右肺感兴趣区域(LR-ROI)数据集的准确率-历元和损失-历元曲线。每条曲线代表5次重复的平均值;学习率为0.001。
查看此图
图8。(a)具有左肺感兴趣区(L-ROI)和右肺感兴趣区(R-ROI)的1输入卷积神经网络(CNN)和具有左肺和右肺感兴趣区(LR-ROI)数据集的2输入卷积神经网络(CNN)的准确性、(b)敏感性、(c)特异性和(d)精度。
查看此图
图9。具有左肺感兴趣区域(L-ROI)和右肺感兴趣区域(R-ROI)的1输入卷积神经网络(CNN)和具有左肺和右肺感兴趣区域(LR-ROI)的2输入CNN的接收器工作特征曲线(a)和曲线下面积(AUC)值(b)。
查看此图

基于mi - cnn的新型冠状病毒识别关键区域筛选

对于区域贡献,90%的全图像和LR-ROI数据集在相同的训练条件下进行训练,如图所示图4而且图7,但重复了10次。从每个图像区域中正确分类的图像的百分比,然后按照中概述的步骤计算图3

对于2输入MI-CNN,全图像和LR-ROI数据集均显示,更多的COVID-19 cxr被R1区域(右肺ROI)分类,而更多的正常cxr被R2区域(左肺ROI)识别(图10A和11a)。然而,在LR-ROI数据集中,超过86.5%的COVID-19 cxr是通过R1区域识别出来的,而通过R2区域识别出来的仅为13.5%。此外,正常cxr在整个图像和LR-ROI数据集之间R1(~30%)和R2(~70%)有轻微变化。

与2输入MI-CNN相比,所有四个区域都有助于4输入MI-CNN中的COVID-19分类。在全图像数据集中,R2对COVID-19和正常cxr的贡献最大,而R3的贡献最低。然而,在COVID-19和正常图像的分类中,R4区域的差异最大,在正常CRXs中约为35%,而在COVID-19 CRXs中仅为10% (图10b).在LR-ROI数据集中,COVID-19在R3区域的图像百分比最大(高达60%),在R2区域的图像百分比最低(仅为10%)(图11b).在正常cxr中,R2的图像百分比最大(高达50%,COVID-19的最低区域),其次是R3(高达30%)(图11b)。

在16输入的MI-CNN中,由于使用较小的区域作为MI-CNN输入,关键区域变得更加明显。从整个图像数据集中图10c, R1区域在COVID-19 cxr中贡献最大,约占准确分类COVID-19图像总数的22%。R6的贡献排名第二(约占正确分类图像的15%)。与COVID-19 cxr相比,正常cxr的最大差异出现在R9区域(高达20%,而在COVID-19图像中为~3%),R4区域的贡献最大(高达27%)(图10c)。

在LR-ROI数据集中,关键区域和无关区域变得更加清晰。在COVID-19 CRXs中,R1、R2、R5和R9区域均有显著区域,其中R5约占35%。这些区域在正常cxr中几乎没有贡献,而正常cxr中最大的临界区域是R10、R12和R14,它们的贡献都远高于其他区域(每个区域的贡献高达20%)。这些地区对COVID-19分类几乎没有贡献。

从16个输入的MI-CNN中,发现非肺区域在分类COVID-19中起着关键作用(例如,R16贡献了高达15%的测试图像)。在4输入和16输入mi - cnn中合并左肺和右肺区域时,左肺对COVID-19和正常cxr的分类都有更大的贡献(图12a),这与2输入MI-CNN的结果不一致(图12a).然而,如果去除非肺区域R16,右肺在COVID-19 cxr的分类中有更大的贡献(约占分类检测图像的60%)。相比之下,左肺对正常cxr的分类贡献更大(也约占分类测试图像的60%)(图12b).因此,从右肺数据集中似乎可以更有效地对COVID-19 cxr进行分类,而从左肺数据集中则更容易找到正常cxr。从颜色到cxr的映射如图S4所示多媒体附件1, COVID-19 cxr的分类关键区域大多分布在右肺区,而正常cxr的分类关键区域大多分布在左肺区。

图10。通过多输入卷积神经网络(MI-CNN)分类器部分的初始输入和最终激活,筛选和评估整个图像数据集的关键区域(R1-R16):(a) 2输入MI-CNN;(b) 4输入MI-CNN;(c) 16输入MI-CNN。
查看此图
图11。通过具有两个以上输入的多输入卷积神经网络(MI-CNN)分类器部分的初始输入和最终激活,筛选和评估肺成像数据集(R1-R16)的关键区域:(a) 2输入MI-CNN;(b) 4输入MI-CNN;(c) 16输入MI-CNN。L-ROI:左肺感兴趣区域;LR-ROI:左、右肺感兴趣区域;R-ROI:右肺感兴趣区域。
查看此图
图12。左肺区(L-Lung)和右肺区(R-Lung)在使用多输入卷积神经网络对COVID-19胸片(CXR)分类中的贡献。(a)全像CXR数据集;(b)左肺和右肺感兴趣区域(LR-ROI)数据集。
查看此图

不同输入mi -CNN中最大池化层的CNN特征可视化

图13为LR-ROI数据集提供mi -CNN特征的可视化表示。在COVID-19 cxr中,可视化CNN特征中的大部分强强度像素(红色区域)分布在肺部区域。与左肺相比,右肺区域的颜色映射更多,尤其是4输入MI-CNN (图13a).在正常cxr(蓝色区域)中,mi -CNN使用LR-ROI数据集提取的大部分CNN特征都可以在肺边缘找到(图13b)。

与LR-ROI数据集相比,mi -CNN在全图像数据集中提取CNN特征的效率要低得多。大多数关键特征(强强度像素)在非肺区域被发现(图S6a多媒体附件1).在正常cxr中,几个CNN特征(彩色图中的蓝色区域)分布在肺边缘;然而,在非肺区域发现了一些特征(图S6b多媒体附件1).

图13。卷积神经网络(CNN)特征的可视化和映射,从最大池化层的最强激活中提取,使用具有不同输入数量的多输入CNN和感兴趣的左肺和右肺区域数据集。(a) COVID-19胸部x光片的CNN特征;(b)正常cxr的CNN特征。在颜色映射中,红色区域表示COVID-19特征,蓝色区域表示正常特征。
查看此图

主要研究结果

当前,新冠肺炎大流行仍在深刻影响世界,威胁着许多人的生命安全[1].CXR由于其低辐射、无副作用、经济可行性和中等敏感性等优点,仍然是诊断COVID-19最常用的成像方式之一[11-1638].在本研究中,我们开发了一种新的MI-CNN方法来对COVID-19和正常CXR图像进行分类。在全图像CXR训练中,结果表明mi - cnn在COVID-19分类中表现出良好的效率,具有较高的训练精度和测试性能(准确率、灵敏度、特异性和精密度均超过95%)。与1输入的CNN相比,mi -CNN识别COVID-19 cxr的效率更高,尤其是4输入和16输入的mi -CNN,检测准确率超过97%。从训练过程开始,mi -CNN也表现出比1输入CNN更高的准确性。因此,将cxr划分为不同的区域可以提高对COVID-19和正常cxr的分类效率。对于学习率,使用更小的学习率(0.001)确实有助于从1输入CNN模型提高大约2%-3%的准确性、敏感性、特异性和精度。而对于MI-CNN模型(2输入和4输入MI-CNN,如图S7所示),学习率几乎没有影响多媒体附件1).

在本研究中,cxr被均匀分割到不同的区域,每个图像分割可以单独作为一个MI-CNN输入。通过评估准确分类的cxr在测试数据集中的图像百分比,可以评估每个区域的贡献;特别是,更多的MI-CNN输入(例如,16输入MI-CNN)可以筛选每个地区更详细的贡献。根据我们的结果,一些CNN特征可以让网络确定正确的分类,而一些图像特征可能会造成严重的误判[34].虽然全图像数据集比LR-ROI数据集可以获得更高的COVID-19识别精度,但部分贡献来自非肺区域。例如,在16输入MI-CNN中,R1区域对COVID-19的分类有准确的贡献,但非肺区域R16对COVID-19的分类也有显著的贡献。因此,如果使用医学图像作为单一输入,并非所有地区都将为COVID-19 cxr分类提供正确的贡献。一些非肺的区域可能有明显的错误贡献。

此外,肺部区域(LR-ROI数据集)的提取可以极大地帮助提取COVID-19分类的关键区域。与全像数据集相比,LR-ROI数据集的关键区域位于R1、R2、R3、R5、R9和R13。这些区域对COVID-19 cxr的准确分类有显著贡献(如R2、R9和R13对准确分类的COVID-19 cxr的贡献约为65%),但对正常cxr没有显著贡献。相比之下,在正常cxr中发现R6、R10、R12、R14和R16。其中,R6、R10和R12对正常cxr准确分类的贡献率超过80%,而这些区域对COVID-19分类的贡献率几乎为零。

此外,右肺区在COVID-19分类中的贡献高于左肺区。使用16输入MI-CNN,在右肺中筛选出更多的关键区域。此外,右肺数据集的敏感性与1输入CNN(约94%,如图所示图8b)高于左肺数据集(约91%),这也表明右肺区域在COVID-19 cxr的分类中往往更有效。相比之下,剔除带有16输入MI-CNN的LR-ROI (图12b),大部分与正常cxr相关的关键区域都在左肺区域,而左肺ROI的精度更高(94%),进一步证明了这一点(图8c).从分布上看,在右肺区也发现了更多与COVID-19相关的关键区域。相比之下,在左肺中发现更多与正常cxr相关的区域,特别是16输入MI-CNN与LR-ROI数据集(图S4b)多媒体附件1).

最后,从可视化的CNN特征来看,mi -CNN仍然比1输入CNN具有更好的特征提取。对于全图像数据集中重症COVID-19病例的cxr, 1输入CNN提取的CNN特征主要分布在肺部区域(图S5)多媒体附件1).然而,对于轻度COVID-19病例的crx,大多数CNN特征都出现在肺边缘(而不是肺区域内)。因此,使用1输入CNN提取CNN特征会受到全图像cxr质量的很大影响。然而,LR-ROI数据集对COVID-19的分类精度高于全图像数据集。大多数与COVID-19分类相关的关键特征分布在肺区域。这一点与关键区域的评价是一致的,其中LR-ROI数据集可以比全图数据集更准确地对COVID-19进行分类。mi - cnn倾向于从LR-ROI数据集中的肺区域边缘识别正常cxr。可视化CNN特征中的强强度区域大多分布在肺边缘附近。

与之前工作的比较

尽管已有研究报道,深度学习方法在对COVID-19 cxr或CT扫描进行分类时可以达到非常高的精度,但这些分析大多是基于整个图像作为单一输入,对COVID-19成功分类的具体区域几乎没有进行过探索[891315161820.26-29].与单输入CNN模型相比,mi -CNN将为分类提供更多的CNN特征,可以提高整个系统的准确率[3334].然而,以往的研究大多集中在不同格式的整幅图像作为CNN输入[3334],很少有研究试图将医学图像分割成不同的区域,作为CNN输入,并评估它们对疾病图像最终分类的贡献。因此,我们的mi - cnn可以独立提取不同区域的特征;更重要的是,可以通过MI-CNN模型来评估每个区域的贡献。

此外,与传统的CNN模型GoogLeNet和ResNet_50相比,我们提出的1输入模型可以在相同的数据集(整个cxr)和学习率(0.001)下实现相似的性能。我们的模型也需要更少的时间(每次训练大约只有14分钟),而GoogLeNet和ResNet_50分别需要130分钟和300分钟,比我们的模型需要的时间分别增加了10倍和20倍。

限制

虽然mi - cnn在COVID-19 cxr的分类和筛选与COVID-19相关的关键区域和特征方面具有较好的效率,但本研究仍存在几个主要的局限性。首先,新冠肺炎和正常数据集的规模仍然很小,需要更多的cxr来进一步测试我们的mi - cnn的可靠性。二是特征可视化效率较低。其他算法(如GRAD)可用于更好地将关键特征映射到原始CXR。第三,所有MI-CNN模型对所有CXR区域使用相同的卷积层结构。更复杂的结构可以在未来进一步探索。例如,不同的区域可以使用不同的卷积设计,例如肺部边界使用较少的卷积层,肺部区域使用较多的卷积层。最后,目前无法用MI-CNN模型评估COVID-19的严重程度,特别是从关键特征来看。最后,可以使用更多的参数(如图像分辨率)来更好地评估mi - cnn的精度和性能。

结论

总之,每个MI-CNN输入只能单独处理一部分cxr,这有助于高效地对COVID-19 cxr进行分类。在全图像数据集上,mi -CNN比单输入CNN的分类效率更高(准确率、灵敏度、特异性和精度均超过95%)。此外,mi - cnn的性能随着输入数量的增加而增加,特别是4输入和16输入的mi - cnn的准确率超过97%。在LR-ROI数据集中,mi - cnn显示,与全图像数据集相比,COVID-19 cxr的分类减少了约4%。一些非肺区域(如R16)对COVID-19分类有积极的贡献(也在可视化的CNN特征中显示),这欺骗性地提高了全图像数据集中的更高性能。因此,相对于全图像数据集,LR-ROI数据集可以更准确地评估每个区域的贡献,以及CNN特征的提取。

从检测数据集中关键区域的贡献分析,右肺对COVID-19 cxr的分类贡献更大。然而,左肺区域对正常cxr的分类有更大的贡献。从LR-ROI数据集中,mi - cnn对肺边缘敏感,在正常cxr中发现了更重要的分布在肺边缘周围的特征。对于COVID-19 cxr,可视化CNN特征主要分布在肺区域(特别是在16输入MI-CNN中)。

综上所述,mi - cnn对COVID-19 cxr具有良好的分类效率。MI-CNN输入越多,分类效率越高。我们的方法可以帮助放射科医生从cxr中自动筛选在COVID-19分类中起关键作用的区域。

致谢

本研究由路易斯安那州立大学(LSU)教师研究基金(资助号009875)资助;路易斯安那州立大学利用创新技术转让(LIFT2)赠款(LSU-2021- lift -009, LSU-2020- lift -008);路易斯安那州立大学新奥尔良健康科学中心资助项目(HSCNO-2019-LIFT-004);路易斯安那州董事会拨款(LEQSF (2018-21)-RD-A-09);国家卫生研究院(1U01AA029348-01);国家科学基金会职业奖(2046929)。

利益冲突

没有宣布。

多媒体附件1

支持信息;数字S1-S8。

DOCX文件,3275 KB

  1. Aslan MF, Unlersen MF, Sabanci K, Durdu a .基于cnn的迁移学习- bilstm网络:一种新型的COVID-19感染检测方法。应用软计算2021年1月;98:106912 [免费全文] [CrossRef] [Medline
  2. 世卫组织冠状病毒(COVID-19)仪表盘。世界卫生组织,2021年。URL:https://covid19.who.int/[2022-07-20]访问
  3. 对公众的COVID-19建议:接种疫苗。世界卫生组织,2021年。URL:https://www.who.int/emer gencies /疾病/小说-冠状病毒- 2019 / covid-19-vaccines /建议[2021-07-20]访问
  4. Kupferschmidt K, Wadman M. Delta变异引发了大流行的新阶段。科学2021年6月25日;372(6549):1375-1376。[CrossRef
  5. maase E. Covid-19:欧米克隆和助推器的需求。英国医学杂志2021年12月14日;[CrossRef] [Medline
  6. Karim SSA, Karim QA。欧米克隆SARS-CoV-2变种:COVID-19大流行的新篇章。柳叶刀2021 12月11日;398(10317):2126-2128 [免费全文] [CrossRef] [Medline
  7. 随着欧米克隆病例每两到三天翻一番,Covid限制收紧。英国医学杂志2021年12月9日;[CrossRef] [Medline
  8. Arias-Londono JD, Gomez-Garcia JA, Moro-Velazquez L, Godino-Llorente JI。人工智能应用于胸部x线图像,实现新冠肺炎的自动检测。深思熟虑的评估方法。IEEE Access 2020;8:226811-226827 [免费全文] [CrossRef] [Medline
  9. Islam MZ, Islam MM, Asraf A.利用x射线图像检测新型冠状病毒(COVID-19)的深度CNN-LSTM网络。通知Med解锁2020;20:10 00412 [免费全文] [CrossRef] [Medline
  10. 李志强,李志强,李志强,等。重症COVID-19患者的脑MRI结果:一项回顾性观察研究放射学2020 11月;297(2):E242-E251 [免费全文] [CrossRef] [Medline
  11. Abbas A, Abdelsamea MM, Gaber MM.基于DeTraC深度卷积神经网络的胸部x线图像COVID-19分类。app Intell 2021九月05;51(2):854-864 [免费全文] [CrossRef] [Medline
  12. Bui MM, Smith P, Agresta SV, Cheong D, Letson GD。骨、软组织病变术中冰冻切片诊断的实践问题。癌症控制2008 Jan 01;15(1):7-12 [免费全文] [CrossRef] [Medline
  13. Misra S, Jeon S, Lee S, Managuli R, Jang I, Kim C.用于COVID-19筛查的胸部x线图像多通道迁移学习。电子2020年8月27日;9(9):1388。[CrossRef
  14. Rahman T, Khandakar A, Qiblawey Y, Tahir A, Kiranyaz S, Abul Kashem SB,等。探讨图像增强技术在胸部x线图像检测新冠肺炎中的作用。Comput生物医学2021年5月;132:104319 [免费全文] [CrossRef] [Medline
  15. Ismael AM, Şengür A.基于胸片图像的COVID-19深度学习检测方法。专家系统应用2021年2月;164:114054 [免费全文] [CrossRef] [Medline
  16. Haque K, Abdelgawad A.一种从胸部x线图像检测COVID-19患者的深度学习方法。AI 2020 9月22日;1(3):418-435 [免费全文] [CrossRef
  17. 杨志强,李志强。x线胸片肺边界检测的研究进展。国际外科杂志2019年4月;14(4):563-576 [免费全文] [CrossRef] [Medline
  18. Alam N, Ahsan M, Based MA, Haider J, Kowalski M.基于特征融合和深度学习的胸部x线图像COVID-19检测。传感器2021年2月20日;21(4):1480 [免费全文] [CrossRef] [Medline
  19. 赵旭,吴勇,宋刚,李震,张勇,范勇。一种融合fcnn和CRFs的脑肿瘤分割深度学习模型。医学影像肛交2018年1月;43:98-111 [免费全文] [CrossRef] [Medline
  20. Narin A, Kaya C, Pamuk Z.使用x射线图像和深度卷积神经网络自动检测冠状病毒疾病(COVID-19)。模式肛交应用2021年5月09日;24(3):1207-1220 [免费全文] [CrossRef] [Medline
  21. 黄凯,林超,李勇,吴哲。一种用于图像识别的深度学习和图像识别系统。数据科学模式识别2019;3(2):1-11。
  22. Ghosh S, Das N, Das I, Maulik U.理解图像分割的深度学习技术。ACM计算调查2020年7月31日;52(4):1-35。[CrossRef
  23. 李震,李震,陈强,张杰,邓汉姆,麦克沃特,等。机器学习辅助自发拉曼光谱分类和特征提取用于人类喉癌诊断。Comput生物医学2022年7月;146:105617。[CrossRef] [Medline
  24. 周鹏,刘震,吴华,王勇,雷勇,Abbaszadeh S.啮齿动物颅骨解剖图像中bregma点和lambda点的自动检测。PLoS One 2020年12月;15(12):e0244378 [免费全文] [CrossRef] [Medline
  25. 李震,李震,陈强,Ramos A,张杰,Boudreaux JP,等。通过卷积神经网络辅助自发拉曼光谱与关键特征可视化检测胰腺癌。神经网络学报,2016,34(4):455-464。[CrossRef] [Medline
  26. Loey M, Smarandache F, Khalifa NEM。在缺乏胸部COVID-19 x射线数据集的情况下:基于GAN和深度迁移学习的新型检测模型对称2020年4月20日;12(4):651。[CrossRef] [Medline
  27. 王玲,林志强,王安。COVID-Net:一种定制的深度卷积神经网络设计,用于从胸部x线图像中检测COVID-19病例。科学通报2020年11月11日;10(1):19549。[CrossRef] [Medline
  28. Apostolopoulos ID, Mpesiana TA。Covid-19:利用卷积神经网络迁移学习从x射线图像中自动检测。物理与科学医学2020年6月;43(2):635-640 [免费全文] [CrossRef] [Medline
  29. de Sousa总理,Carneiro PC, Oliveira MM, Pereira GM, da Costa Junior CA, de Moura LV,等。基于卷积神经网络的x射线胸部图像COVID-19分类:CNN-COVID。Res Biomed Eng 2021 Jan 04;38(1):87-97 [免费全文] [CrossRef] [Medline
  30. 亚伯拉罕B, Nair MS.使用multi-CNN和Bayesnet分类器从x射线图像中辅助检测COVID-19。Biocybern Biomed Eng 2020 Jun;40(4):1436-1445 [免费全文] [CrossRef] [Medline
  31. Toğaçar M, Ergen B, Cömert Z.使用深度学习模型利用Social Mimic优化和结构化胸部x光图像进行COVID-19检测,使用模糊颜色和堆叠方法。Comput bio Med 2020 Jun;121:103805 [免费全文] [CrossRef] [Medline
  32. Elmoufidi A, Skouta A, Jai-Andaloussi S, Ouchetto O. CNN与多个输入的自动青光眼评估使用眼底图像。Int J图像抓取2022年1月10日1-8 [免费全文] [CrossRef
  33. Trivedi P, Mhasakar P, Prakash S, Mitra SK.多频道CNN面部表情识别。2017年出席:PReMI:模式识别与机器智能国际会议;2017年12月5-8日;加尔各答,印度。
  34. 林超,林超,郑森。基于双输入卷积神经网络特征融合和参数优化的人脸性别识别。应用科学2020年5月1日;10(9):3166-3168。[CrossRef
  35. 孙勇,朱林,王刚,赵峰。多输入卷积神经网络用于花卉分级。电子计算学报2017;2017:1-8。[CrossRef
  36. 乔杜里·梅,拉赫曼·T,坎达卡尔·A,马兹哈尔·R,卡迪尔·MA,马布布·ZB,等。人工智能能否帮助筛查病毒性肺炎和COVID-19肺炎?IEEE Access 2020;8:132665-132676 [免费全文] [CrossRef
  37. COVID-19射线摄影数据库。Kaggle。URL:https://www.kaggle.com/datasets/tawsifurrahman/covid19-radiography - database[2021-07-20]访问
  38. 邹涛,李志强,李志强。基于GLCM和概率神经网络的胸部x线图像分类中的肺边界检测。应用计算科学2019;49(2):439- 448。[CrossRef


AUC:接收机工作特性曲线下面积
有线电视新闻网:卷积神经网络
CT:计算机断层扫描
CXR:胸部x射线照相
舰队指挥官:全连接层
LR-ROI:左肺和右肺区域
MI-CNN:多输入卷积神经网络
聚合酶链反应:聚合酶链反应
ReLu:线性整流函数
中华民国:接收机工作特性
投资回报:感兴趣地区
rt - pcr:逆转录实时聚合酶链反应
人:世界卫生组织


A Mavragani编辑;提交19.01.22;JA Benítez-Andrades, D Oladele, Z Alhassan, J Sang同行评审;对作者10.08.22的评论;订正版本收到23.08.22;接受29.08.22;发表04.10.22

版权

©李忠强,李铮,姚卢克,陈庆,张健,李鑫,冯吉明,李延平,徐健。最初发表在JMIR生物信息学和生物技术(https://bioinform.www.mybigtv.com), 04.10.2022。

这是一篇开放获取的文章,根据创作共用署名许可协议(http://creativecommons.org/licenses/by/4.0/)的条款发布,允许在任何媒介上不受限制地使用、分发和复制,前提是正确引用首次发表在JMIR生物信息学和生物技术上的原创作品。必须包括完整的书目信息,https://bioinform.www.mybigtv.com/上的原始出版物的链接,以及此版权和许可信息。


Baidu
map