这是一篇开放获取的文章,根据创作共用署名许可协议(http://creativecommons.org/licenses/by/4.0/)的条款发布,允许在任何媒介上不受限制地使用、分发和复制,前提是正确引用首次发表在JMIR生物信息学和生物技术上的原创作品。必须包括完整的书目信息,https://bioinform.www.mybigtv.com/上的原始出版物的链接,以及此版权和许可信息。
COVID-19大流行正在成为规模最大、前所未有的健康危机之一,胸部x线摄影(CXR)在诊断COVID-19方面发挥着至关重要的作用。然而,从cxr中提取和寻找有用的图像特征对放射科医生来说是一项繁重的工作。
本研究旨在设计一种新型的多输入卷积神经网络(CNN)用于COVID-19的分类和从cxr中提取关键区域。我们还研究了输入数量对新MI-CNN模型性能的影响。
共有6205张CXR图像(包括3021张COVID-19 CXR和3184张正常CXR)用于测试我们的MI-CNN模型。cxr可以被平均分割为不同数量(2,4和16)的单个区域。每个区域都可以单独作为MI-CNN输入之一。这些MI-CNN输入的CNN特征将被融合用于COVID-19分类。更重要的是,每个CXR区域的贡献可以通过评估测试数据集中对应区域准确分类的图像数量来评估。
在全图像和左、右肺感兴趣区(LR-ROI)数据集中,mi - cnn对COVID-19分类显示出良好的效率。特别是,具有更多输入的mi -CNN(2-、4-和16输入mi -CNN)在识别COVID-19 cxr时比1输入CNN具有更好的效率。与全图像数据集相比,LR-ROI数据集的准确性、敏感性、特异性和精密度(超过91%)降低了约4%。在考虑每个区域的贡献时,表现下降的一个可能原因是非肺区域(例如区域16)对COVID-19分类提供了假阳性贡献。具有LR-ROI数据集的MI-CNN可以更准确地评估各个区域和COVID-19分类的贡献。此外,右肺区域对COVID-19 cxr的分类有更高的贡献,而左肺区域对识别正常cxr有更高的贡献。
总体而言,MI-CNN可以随着输入数量的增加(例如16输入MI-CNN)获得更高的精度。这种方法可以帮助放射科医生识别COVID-19 cxr并筛查与COVID-19分类相关的关键区域。
2020年初,世界卫生组织(世卫组织)正式宣布COVID-19为大流行,疫情迅速蔓延,成为全球前所未有的最大卫生危机之一[
幸运的是,几种类型的COVID-19疫苗已经迅速而准确地开发出来,如辉瑞- biontech、Moderna、强生公司的Janssen等,这些疫苗正在覆盖全球越来越多的人群[
目前,聚合酶链反应(PCR),特别是实时逆转录PCR (RT-PCR)被认为是诊断COVID-19的金标准。然而,这种方法存在许多问题,如耗时或需要专门的人员和实验室[
在诊断COVID-19时,胸部CT扫描可能比CXR更敏感;然而,一些重大问题阻碍了它的使用,例如高成本,扫描单个患者的时间密集过程,高水平的电离辐射,以及一些医院或健康中心的有限使用[
在某些情况下,从cxr中提取和寻找有用的图像特征给放射科医生带来了沉重的工作量[
在之前的大多数研究中,CNN模型都是用全图像cxr作为分类的单一输入来训练的[
然而,在以往的研究中,大多数MI-CNN模型都将整个图像作为至少一个CNN输入,而将预特征图像作为其他输入[
在本研究中,我们利用MI-CNN模型开发了一种新的COVID-19分类策略。CXR图像可以均匀分割到不同的区域,每个MI-CNN输入只能处理COVID-19 CXR的一个部分。此外,mi - cnn可以筛选出用于COVID-19 cxr分类的关键区域,并排除错误地用于COVID-19分类的无关图像区域。
本研究从既往报道中获得6205张CXR图像(包括3021张COVID-19 CXR和3184张正常CXR) [
路易斯安那州立大学机构审查委员会认为,由于使用了二级公开数据,以及缺乏对人类受试者的操纵或干预,因此放弃了伦理审查。
分类器部分有三个全连接(FC)层:第一个FC (FC1)被设置为接收每个MI-CNN输入的输出,FC2用于完全连接所有MI-CNN输入的所有FC1输出,FC3用于确定CXR类别(COVID-19或正常)。计算模型的准确性、敏感性、特异性和精密度来评价模型的性能。
多输入卷积神经网络(MI-CNN)架构示意图MI-CNN有两个部分:卷积部分和分类器部分。卷积部分由多达16个MI-CNN输入组成(取决于MI-CNN的类型),每个MI-CNN输入有三个卷积部分和一个max-pooling层。分类器部分由三个全连接(FC)层组成。CXR:胸部x线片;ReLu:整流线性单元。
cxr自动分析的关键步骤是准确的肺边界检测及其正常或异常分类[
由于肺区域相对于周围解剖结构(白色区域)颜色较深,因此可以通过每列的起始点(蓝线)和结束点(红线)来确定左右肺区域的边缘。然后将肺边缘的坐标投影到原始cxr上。然而,对于一些来自COVID-19严重阶段患者的cxr,从周围区域识别肺部区域可能具有挑战性。因此,采用具有肺边缘最小坐标和最大坐标的矩形区域对整个肺区域进行裁剪。
基于1输入卷积神经网络(CNN)模型中最大池化层最强激活的右肺和左肺感兴趣区域示意图(分别为R_ROI和L_ROI)。Conv:卷积层;CXR:胸部x线摄影;MI-CNN:多输入卷积神经网络。
尽管深度学习方法已广泛应用于医学图像分析,但很少有研究报道使用MI-CNN模型来分析关键roi的贡献,并排除与疾病分类无关的区域的错误贡献。为了找到关键区域并排除与COVID-19 cxr分类无关的区域,我们探索了输出(
FC1和FC2激活之间的近似关系可以通过FC2层的权重矩阵(
对于区域贡献,测试数据集中正确分类的图像与相应区域(R1到R16)的标签进行分组,这些标签给出了元素乘的最大元素(
所有分析均使用MATLAB R2020b (MathWorks Inc)在HP Z2620工作站计算机上进行,并配有NVIDIA Tesla K80 GPU加速器。
多输入卷积神经网络(MI-CNN)分类器的原理图以及对COVID-19和正常(NM)胸片(cxr)进行分类的关键区域筛选。FC:全连接层;R: MI-CNN输入之间的矩阵;W:第二全连通层(FC2)权值矩阵;Y:最后一个全连通层(FC3)的权值矩阵;Z: Y和W矩阵的乘积。
为了评估单输入CNN和mi -CNN(2、4和16输入)的性能,90%的CXR数据集用于训练,其余(10%)用于测试。所有MI-CNN模型均采用五倍交叉验证。
在50个epoch之后,mi -CNN的训练损失大约为0.02,1输入CNN的训练损失为0.05。mi -CNN的准确率也比1输入CNN高约3% (~99% vs 96%)。此外,在训练曲线开始时,MI-CNN表现出更高的训练准确率,1输入的MI-CNN为50.94%,2输入的MI-CNN为62.53%,4输入的MI-CNN为66.66%,16输入的MI-CNN为72.60%。
关于测试评估(
然而,对于MI-CNN来说,输入越多,测试性能就越好,其中16个输入的MI-CNN对COVID-19 cxr的分类最好,准确率最高(平均97.10%,SD 1.08%),灵敏度最高(平均97.77%,SD 1.71%);然而,2输入MI-CNN与16输入MI-CNN的特异性和精密度差异很小(约比4输入MI-CNN小1%-2%)。
中受试者工作特征(ROC)曲线所示
(a) 1输入卷积神经网络(CNN)和2-、4-和16输入CNN的精确度-epoch和(b)损失-epoch曲线。每条曲线代表5个五次交叉验证的平均值;所有病例的学习率均为0.01。
(a)精度,(b)敏感性,(c)特异性,(d)精度的1输入卷积神经网络(CNN)和2-,4-和16输入CNN。
1输入卷积神经网络(CNN)和2-、4-和16输入CNN的接收器工作特征曲线(a)和曲线下面积(AUC)值(b)。
从
对于LR-ROI测试数据集(
因此,三种roi在对COVID-19 cxr进行分类时具有相似的效率(相似的准确性)。与左肺ROI方法相比,LR-ROI和右肺ROI数据集的敏感性更高,说明两种CNN模型(特别是2输入MI-CNN)从正常cxr中正确识别COVID-19 cxr的能力更好。左肺ROI将正常cxr错误识别为COVID-19 cxr的概率较低。总体而言,LR-ROI和右肺ROI在检测COVID-19 cxr时效率更高,而左肺ROI方法在识别正常cxr时效率更高。
基于ROC曲线,具有LR-ROI数据集的2输入MI-CNN在对COVID-19和正常CXRs进行分类时,也表现出相对于1输入CNN(左肺或右肺ROI)更好的表现,因为其AUC值更大(mean 0.980, SD 0.005),如图所示
此外,还使用4输入和16输入mi - cnn对LR-ROI数据集进行评估(见中图S1和S2)
(a) 1输入卷积神经网络(CNN)和2输入卷积神经网络(CNN)与左肺感兴趣区域(L-ROI)、右肺感兴趣区域(R-ROI)以及左右肺感兴趣区域(LR-ROI)数据集的准确率-历元和损失-历元曲线。每条曲线代表5次重复的平均值;学习率为0.001。
(a)具有左肺感兴趣区(L-ROI)和右肺感兴趣区(R-ROI)的1输入卷积神经网络(CNN)和具有左肺和右肺感兴趣区(LR-ROI)数据集的2输入卷积神经网络(CNN)的准确性、(b)敏感性、(c)特异性和(d)精度。
具有左肺感兴趣区域(L-ROI)和右肺感兴趣区域(R-ROI)的1输入卷积神经网络(CNN)和具有左肺和右肺感兴趣区域(LR-ROI)的2输入CNN的接收器工作特征曲线(a)和曲线下面积(AUC)值(b)。
对于区域贡献,90%的全图像和LR-ROI数据集在相同的训练条件下进行训练,如图所示
对于2输入MI-CNN,全图像和LR-ROI数据集均显示,更多的COVID-19 cxr被R1区域(右肺ROI)分类,而更多的正常cxr被R2区域(左肺ROI)识别(
与2输入MI-CNN相比,所有四个区域都有助于4输入MI-CNN中的COVID-19分类。在全图像数据集中,R2对COVID-19和正常cxr的贡献最大,而R3的贡献最低。然而,在COVID-19和正常图像的分类中,R4区域的差异最大,在正常CRXs中约为35%,而在COVID-19 CRXs中仅为10% (
在16输入的MI-CNN中,由于使用较小的区域作为MI-CNN输入,关键区域变得更加明显。从整个图像数据集中
在LR-ROI数据集中,关键区域和无关区域变得更加清晰。在COVID-19 CRXs中,R1、R2、R5和R9区域均有显著区域,其中R5约占35%。这些区域在正常cxr中几乎没有贡献,而正常cxr中最大的临界区域是R10、R12和R14,它们的贡献都远高于其他区域(每个区域的贡献高达20%)。这些地区对COVID-19分类几乎没有贡献。
从16个输入的MI-CNN中,发现非肺区域在分类COVID-19中起着关键作用(例如,R16贡献了高达15%的测试图像)。在4输入和16输入mi - cnn中合并左肺和右肺区域时,左肺对COVID-19和正常cxr的分类都有更大的贡献(
通过多输入卷积神经网络(MI-CNN)分类器部分的初始输入和最终激活,筛选和评估整个图像数据集的关键区域(R1-R16):(a) 2输入MI-CNN;(b) 4输入MI-CNN;(c) 16输入MI-CNN。
通过具有两个以上输入的多输入卷积神经网络(MI-CNN)分类器部分的初始输入和最终激活,筛选和评估肺成像数据集(R1-R16)的关键区域:(a) 2输入MI-CNN;(b) 4输入MI-CNN;(c) 16输入MI-CNN。L-ROI:左肺感兴趣区域;LR-ROI:左、右肺感兴趣区域;R-ROI:右肺感兴趣区域。
左肺区(L-Lung)和右肺区(R-Lung)在使用多输入卷积神经网络对COVID-19胸片(CXR)分类中的贡献。(a)全像CXR数据集;(b)左肺和右肺感兴趣区域(LR-ROI)数据集。
与LR-ROI数据集相比,mi -CNN在全图像数据集中提取CNN特征的效率要低得多。大多数关键特征(强强度像素)在非肺区域被发现(图S6a
卷积神经网络(CNN)特征的可视化和映射,从最大池化层的最强激活中提取,使用具有不同输入数量的多输入CNN和感兴趣的左肺和右肺区域数据集。(a) COVID-19胸部x光片的CNN特征;(b)正常cxr的CNN特征。在颜色映射中,红色区域表示COVID-19特征,蓝色区域表示正常特征。
当前,新冠肺炎大流行仍在深刻影响世界,威胁着许多人的生命安全[
在本研究中,cxr被均匀分割到不同的区域,每个图像分割可以单独作为一个MI-CNN输入。通过评估准确分类的cxr在测试数据集中的图像百分比,可以评估每个区域的贡献;特别是,更多的MI-CNN输入(例如,16输入MI-CNN)可以筛选每个地区更详细的贡献。根据我们的结果,一些CNN特征可以让网络确定正确的分类,而一些图像特征可能会造成严重的误判[
此外,肺部区域(LR-ROI数据集)的提取可以极大地帮助提取COVID-19分类的关键区域。与全像数据集相比,LR-ROI数据集的关键区域位于R1、R2、R3、R5、R9和R13。这些区域对COVID-19 cxr的准确分类有显著贡献(如R2、R9和R13对准确分类的COVID-19 cxr的贡献约为65%),但对正常cxr没有显著贡献。相比之下,在正常cxr中发现R6、R10、R12、R14和R16。其中,R6、R10和R12对正常cxr准确分类的贡献率超过80%,而这些区域对COVID-19分类的贡献率几乎为零。
此外,右肺区在COVID-19分类中的贡献高于左肺区。使用16输入MI-CNN,在右肺中筛选出更多的关键区域。此外,右肺数据集的敏感性与1输入CNN(约94%,如图所示
最后,从可视化的CNN特征来看,mi -CNN仍然比1输入CNN具有更好的特征提取。对于全图像数据集中重症COVID-19病例的cxr, 1输入CNN提取的CNN特征主要分布在肺部区域(图S5)
尽管已有研究报道,深度学习方法在对COVID-19 cxr或CT扫描进行分类时可以达到非常高的精度,但这些分析大多是基于整个图像作为单一输入,对COVID-19成功分类的具体区域几乎没有进行过探索[
此外,与传统的CNN模型GoogLeNet和ResNet_50相比,我们提出的1输入模型可以在相同的数据集(整个cxr)和学习率(0.001)下实现相似的性能。我们的模型也需要更少的时间(每次训练大约只有14分钟),而GoogLeNet和ResNet_50分别需要130分钟和300分钟,比我们的模型需要的时间分别增加了10倍和20倍。
虽然mi - cnn在COVID-19 cxr的分类和筛选与COVID-19相关的关键区域和特征方面具有较好的效率,但本研究仍存在几个主要的局限性。首先,新冠肺炎和正常数据集的规模仍然很小,需要更多的cxr来进一步测试我们的mi - cnn的可靠性。二是特征可视化效率较低。其他算法(如GRAD)可用于更好地将关键特征映射到原始CXR。第三,所有MI-CNN模型对所有CXR区域使用相同的卷积层结构。更复杂的结构可以在未来进一步探索。例如,不同的区域可以使用不同的卷积设计,例如肺部边界使用较少的卷积层,肺部区域使用较多的卷积层。最后,目前无法用MI-CNN模型评估COVID-19的严重程度,特别是从关键特征来看。最后,可以使用更多的参数(如图像分辨率)来更好地评估mi - cnn的精度和性能。
总之,每个MI-CNN输入只能单独处理一部分cxr,这有助于高效地对COVID-19 cxr进行分类。在全图像数据集上,mi -CNN比单输入CNN的分类效率更高(准确率、灵敏度、特异性和精度均超过95%)。此外,mi - cnn的性能随着输入数量的增加而增加,特别是4输入和16输入的mi - cnn的准确率超过97%。在LR-ROI数据集中,mi - cnn显示,与全图像数据集相比,COVID-19 cxr的分类减少了约4%。一些非肺区域(如R16)对COVID-19分类有积极的贡献(也在可视化的CNN特征中显示),这欺骗性地提高了全图像数据集中的更高性能。因此,相对于全图像数据集,LR-ROI数据集可以更准确地评估每个区域的贡献,以及CNN特征的提取。
从检测数据集中关键区域的贡献分析,右肺对COVID-19 cxr的分类贡献更大。然而,左肺区域对正常cxr的分类有更大的贡献。从LR-ROI数据集中,mi - cnn对肺边缘敏感,在正常cxr中发现了更重要的分布在肺边缘周围的特征。对于COVID-19 cxr,可视化CNN特征主要分布在肺区域(特别是在16输入MI-CNN中)。
综上所述,mi - cnn对COVID-19 cxr具有良好的分类效率。MI-CNN输入越多,分类效率越高。我们的方法可以帮助放射科医生从cxr中自动筛选在COVID-19分类中起关键作用的区域。
支持信息;数字S1-S8。
接收机工作特性曲线下面积
卷积神经网络
计算机断层扫描
胸部x射线照相
全连接层
左肺和右肺区域
多输入卷积神经网络
聚合酶链反应
线性整流函数
接收机工作特性
感兴趣地区
逆转录实时聚合酶链反应
世界卫生组织
本研究由路易斯安那州立大学(LSU)教师研究基金(资助号009875)资助;路易斯安那州立大学利用创新技术转让(LIFT2)赠款(LSU-2021- lift -009, LSU-2020- lift -008);路易斯安那州立大学新奥尔良健康科学中心资助项目(HSCNO-2019-LIFT-004);路易斯安那州董事会拨款(LEQSF (2018-21)-RD-A-09);国家卫生研究院(1U01AA029348-01);国家科学基金会职业奖(2046929)。
没有宣布。