准确区分COVID-19患者、其他病毒感染患者和健康个体:多模式晚期融合学习方法

介绍

2019冠状病毒病是整个卫生保健系统面临的一项新兴的重大生物医学挑战[1]。与严重急性呼吸系统综合征(SARS)和中东呼吸综合征(MERS)相比，新冠肺炎的传染性要高得多。COVID-19在全球的传播速度也比其他冠状病毒疾病快得多。尽管COVID-19的病死率相对低于SARS和中东呼吸综合征，但在COVID-19大流行期间，大量确诊的COVID-19病例以及更多未确诊的COVID-19病例危及卫生保健系统和弱势群体。因此，及早、准确地发现和干预COVID-19是有效治疗患者、保护弱势群体和遏制大流行的关键。

目前，COVID-19确诊的金标准是基于分子定量实时聚合酶链反应(qRT-PCR)和对致病的SARS-CoV-2病毒的抗原检测[2-4]。尽管这些检测是COVID-19诊断的黄金标准，但它们存在各种实际问题，包括可靠性、资源充足性、报告滞后以及跨时间和空间的检测能力[5]。为了帮助一线临床医生更有效和高效地诊断COVID-19，还探索和使用了其他诊断方法，包括医学成像(如x射线扫描和计算机断层扫描)[6])、实验室测试(例如各种血液生化分析[7-10])，并识别常见的临床症状[11]。但是，这些方法不能直接检测致病的SARS-CoV-2病毒或SARS-CoV-2抗原。因此，这些方法不具有与确证性分子诊断方法相同的结论性力量。然而，这些替代方法有助于资源不足的临床医生检测COVID-19，区分COVID-19患者与未感染者和未感染者，并对患者进行分类，以优化医疗保健系统资源[12，13]。如果应用得当，这些基于替代生物医学证据的补充方法可以通过尽早准确识别COVID-19患者，帮助缓解COVID-19大流行。

目前，可以通过分析CT扫描来区分COVID-19患者，特别是临床状态严重的患者与健康人群或非COVID-19感染患者。COVID-19患者通常在胸部区域的CT图像上呈现典型的磨玻璃影(GGO)特征。最近的一项研究报告称，在没有对照组的51名患者样本的基础上，COVID-19的检出率为98% [14]。在另一项研究中，1014名参与者与对照组的检出率也在60%至93%之间[15]。此外，卷积神经网络(cnn)等数据驱动的深度学习(DL)方法的最新进展已经证明了在患者中检测COVID-19的能力。2020年2月，湖北省根据国家诊疗指导意见，除分子确诊法外，将CT扫描作为新冠肺炎正式临床诊断方法[2]。然而，使用DL方法进一步区分SARS-CoV-2感染与临床相似的非covid病毒感染的有效性仍有待探索和评估。

在不能立即获得分子确诊诊断的地方，通常使用症状来快速评估假定患者的病情并支持分诊[13，16，17]。制定了自我评估COVID-19风险的清单。这些检查表是基于临床信息，包括症状、先前存在的合并症以及各种人口统计学、行为学和流行病学因素。然而，公众和临床医生一般会将这些临床数据用作定性目的(例如初步评估)[18]。它们在提供准确诊断决策支持方面的有效性在很大程度上尚未得到充分探索和未知。

除了生物医学成像和临床信息外，最近关于COVID-19的研究表明，实验室检测，如各种血液生化分析，也是检测患者COVID-19的可行方法，具有相当高的准确性[19，20.]。其基本原理是人体是一个统一体。当人们感染SARS-CoV-2时，临床后果不仅可以从明显的症状中观察到，还可以从血液生化变化中观察到。由于无症状SARS-CoV-2感染的挑战，其他类型的生物医学信息，如实验室检测结果，可用于提供替代和补充的诊断决策支持证据。有可能我们目前对无症状感染的定义和理解可以扩展到更多内在的、定量的和微妙的医学特征，如血液生化特征[21，22]。

尽管在获取COVID-19的替代和补充诊断证据(如CT扫描、胸部x光片、临床信息和各种血液生化特征)方面取得了巨大进展，但仍存在巨大的临床知识空白和技术挑战，阻碍了我们利用各种生物医学数据的努力。首先，最近的大多数研究通常集中在诊断数据的多种模式之一，这些研究没有考虑到这些模式之间的潜在相互作用和增加的可解释性。例如，我们是否可以同时使用CT扫描和临床信息来开发更准确的COVID-19决策支持系统[23] ?如前所述，人体是对抗SARS-CoV-2感染的一个整体。生物医学成像和临床方法可用于评估COVID-19临床后果的不同方面。通过结合不同形式的生物医学信息，可以更全面地表征COVID-19。这被称为多模式生物医学信息研究。

其次，虽然有大量准确的深度学习算法/模型/工具，尤其是在生物医学成像领域，但它们中的大多数都专注于区分COVID-19患者和未感染的健康个体。受过中等训练的放射科医生能够以较高的准确率区分COVID-19患者和健康人的CT扫描，这使得目前开发的复杂DL算法在临床上对解决二分类问题没有帮助[14]。更为关键和紧迫的临床问题不仅是能够区分COVID-19患者与未感染的健康个体，而且能够区分SARS-CoV-2感染与非COVID-19病毒感染[24，25]。非covid病毒感染患者的胸部CT扫描也存在GGO。因此，GGO作为COVID-19诊断标准的特异性较低[15]。此外，非重症COVID-19患者和非COVID-19病毒感染患者有几个共同的症状，容易混淆[26]。因此，对于一线临床医生来说，在入院时没有现成可靠的确证性分子检测的情况下，有效区分非重症COVID-19与非COVID-19病毒感染是一项具有挑战性的任务。错误地将重症COVID-19诊断为非重症COVID-19可能导致错过干预的关键窗口期。同样，将无症状和症状前患者(包括非严重COVID-19患者)与未感染的健康个体区分开来是另一项重大临床挑战[27]。错误地诊断未感染COVID-19的患者或健康个体，并将他们与COVID-19患者一起治疗，将大大增加他们接触病毒的风险，并导致卫生保健相关感染。迫切需要一种能够同时检测COVID-19患者(包括无症状COVID-19患者、非COVID-19病毒感染患者和健康个体)的多项分类系统，而不是一个并行分析多个独立二元分类器的系统[28]。

第三个主要挑战涉及利用各种生物医学数据的计算方面。由于COVID-19大流行的新颖性，人类临床医生对COVID-19的理解和经验不同程度，这可能导致临床决策不一致。利用来自综合成像、临床和实验室测试数据的多模式生物医学信息的力量，可以成为更客观、数据驱动的分析框架的基础。理论上，这样的框架可以更全面地了解COVID-19，并提供更准确的决策支持系统，可以同时区分重症或非重症COVID-19患者、非covid病毒感染患者和健康个体。然而，具有高维特征空间的生物医学成像数据，如CT数据，与低维的临床和实验室检测数据不能很好地融合。目前的研究通常只描述了生物医学成像与临床特征之间的关系[15，29-33]，而准确决策支持工具的潜在力量尚未得到报道。从技术上讲，CT扫描通常使用DL方法进行处理，包括CNN方法，独立于其他类型的生物医学数据处理方法。低维临床和实验室测试数据通常使用传统的假设驱动方法(例如，二元逻辑回归或多项分类)或其他非深度学习机器学习(ML)方法进行分析，例如随机森林(RF)，支持向量机(SVM)和k-最近邻(kNN)方法。CT扫描与临床/实验室检测数据之间特征空间维度的巨大差异使得多模态融合(即生物医学信息的不同方面的直接结合)尤其具有挑战性[34]。

为了填补这些知识空白，克服有效分析多模态生物医学信息的技术挑战，我们提出以下研究目标:我们旨在临床准确区分非重症COVID-19患者、重症COVID-19患者、非COVID-19病毒性肺炎患者和健康个体。为了成功实现这一迫切需要的临床目标，我们开发了一种新的混合DL-ML框架，该框架通过特征后期融合利用了大量复杂多模态数据的力量。本研究的临床目的和技术方法相互补充，形成了准确的COVID-19诊断决策支持系统的基础。

方法

参与招聘

我们于2020年1月至2020年3月在中国湖北省武汉市武汉市武汉市协和医院共招募了362名确诊的COVID-19患者。根据2个独立的qRT-PCR检测确诊COVID-19。在本研究中，我们没有将COVID-19患者聚集在同一类别下，因为非重症和重症COVID-19的临床特征不同。入院时确认患者是否为新冠肺炎。根据首次入院后7-14天的预后，将纳入的患者进一步分为重症(n=148)和非重症(n=214)临床状态。这一举措确保了COVID-19患者入院时初始病情不严重时的早期检测系统的发展。重度状态组患者通过以下3个临床特征中的1个来识别:(1)呼吸频率>30次/分钟，(2)静息时氧饱和度<93%，(3)动脉氧分压/吸入氧分数<300 mmHg(即40 kPa)。这些临床特征基于中国国家卫生健康委员会发布的《新冠肺炎官方诊疗方案》[2]，以及美国胸科学会的指导方针[35]。未感染组包括198名没有任何感染的健康个体。这些参与者来自2019年湖北省疾病预防控制中心定期年度体检队列。该组为基线健康组，主要作为非重症COVID-19患者的对照组，特别是临床症状不明显的患者。

为了区分COVID-19患者，特别是非重症COVID-19患者与临床相似的非COVID-19病毒感染患者，我们在本研究中还纳入了另一组129例诊断为非COVID-19病毒性肺炎的患者。应当指出，"病毒性肺炎"一词是一个总称，包括由一种以上病毒引起的疾病，如流感病毒和腺病毒。然而，在临床实践中，检测和区分SARS-CoV-2感染和非covid - 19病毒感染，以进行初步分诊就足够了。因此，我们从中国苏州昆山医院招募了129名确诊的非covid - 19病毒感染的参与者。现实情况是，湖北省大部分医疗资源都针对COVID-19进行了优化，部分出现COVID-19样症状或ggo的患者在没有使用qRT-PCR验证性检测的情况下被临床诊断为COVID-19，特别是在2020年2月。因此，在我们招募COVID-19患者的同一时期，不可能在湖北招募非COVID-19病毒感染的参与者。

总之，整个研究样本由以下4个相互排斥的多项参与者类别组成:严重COVID-19 (n=148)、非严重COVID-19 (n=214)、非COVID-19病毒感染(n=129)和未感染健康(n=198)。这项研究是在完全遵守《赫尔辛基宣言》的情况下进行的。本研究经过江苏省疾病预防控制中心机构审查委员会的严格评估和批准(批准文号JSJK2020-8003-01)。所有参与者都被全面告知了研究的细节。所有参与者在入院前都签署了一份书面知情同意书。

医学特征选择与描述

患者参与者，包括COVID-19严重、非严重和非COVID-19病毒感染类别的患者，在首次入院时进行筛查。记录他们的临床信息，包括已存在的合并症、症状、人口统计学特征、流行病学特征和其他临床数据。未感染健康班的临床资料提取自湖北省疾病预防控制中心体检记录系统。患者级别的敏感信息，包括姓名和确切的居住地，被完全去识别。在对不同类别进行比较后，选择以下23个临床特征用于本研究:吸烟史、高血压、2型糖尿病、心血管疾病(即任何类型)、慢性阻塞性肺疾病、发热、低热、中热、高热、喉咙痛、咳嗽、痰多、头痛、感觉发冷、肌肉疼痛、疲劳感、胸闷、腹泻、食欲不振、呕吐、老年(即>50岁;二分类和编码为老)和性别。这些临床资料被分为有症状(得分=1)和没有症状(得分=0)(图1）.值得注意的是，一些临床特征，特别是症状，是由患者自我报告的。临床特征的更全面的定义和描述在多媒体附录1．每个临床特征的患病率(即具有给定特征的参与者人数超过班级参与者总数)在4个班级中进行计算。对于0-1二进制临床特征，两两z检验用于检测类别之间这些特征的患病率(即比例)的任何实质性差异。

实验室测试特征是从参与者的电子健康记录(图1）.仅包括入院时进行的实验室测试的特征。未感染的健康参与者在年度体检期间采集血液样本。我们选择了在4个类别(即严重COVID-19、非严重COVID-19、非covid病毒感染和未感染健康)中至少90%的参与者中存在的实验室测试特征。筛选后，包括以下10项指标:白细胞计数、血红蛋白水平、血小板计数、中性粒细胞计数、中性粒细胞百分比、淋巴细胞计数、淋巴细胞百分比、c反应蛋白水平、总胆红素水平、肌酸水平。实验室检测模式的特征均为连续数值，不同于临床特征模式的0-1二值。通过使用双侧Kolmogorov-Smirnov检验，比较了这些实验室测试特征在4个类别中的分布。此外，我们还应用了Kruskal-Wallis测试，对4个类别中的前3个最具差异的特征进行了多次比较，这些特征后来由ML工作流确定。初始筛选时采用Kolmogorov-Smirnov检验，考察相同生物医学特征值在两类间的分布是否不同。选择非参数Kruskal-Wallis检验是因为它可以严格比较类别并为非正态数据提供稳健的结果。 The test was able to accommodate more than 2 classes (ie, multinomial classes) in this study.

每位参与者在放射科接受了胸部区域的CT扫描。采用东芝action 16多层螺旋CT扫描仪，在约120 kVp下进行CT扫描，管电流为50 mA。每次扫描获得50张CT图像，每张图像具有以下特征:切片厚度=2 mm，体素大小=1.5 mm，图像分辨率=512×512像素。每位参与者平均接受了50次CT扫描。本研究获得的CT图像总数超过30000张。CT图像存档并作为DICOM(医学数字成像和通信)图像呈现。

‎ 查看此图

多项分类目标

本研究的主要研究目标是在共N名受试者中准确区分重症COVID-19患者、非重症COVID-19患者、非covid病毒感染患者和未感染的健康个体。因此，开发了一个公式来解决多项输出分类问题。下式使用个体(即i)的4个互斥输出类(即H=未感染健康，V=非covid病毒性肺炎，NS=非严重COVID-19, S=严重COVID-19)中的1个，如下所示:

f (X_c, X_l, X_米)_我= {H,V,NS,S}， i = 1(1)

在这个方程中，输入是个体(即i)二元临床信息(即X)的多模态特征_c)，连续的实验室测试结果(如X_l)，以及CT成像(即X_米）.我们研究的主要优点是我们能够一次对4个类进行分类，而不是并行地开发几个二元分类器。

混合DL-ML方法:特征后期融合

如前所述，CT成像数据的体素水平不能很好地与低维临床和实验室检测特征相结合。在这项研究中，我们通过使用混合DL和ML模型提出了一种特征后期融合方法。从技术上讲，深度学习是一种使用深度神经网络的机器学习(例如，cnn是一种深度神经网络)。在这项研究中，我们通常使用术语“机器学习”来指代更传统的非深度学习类型的机器学习(例如，RF ML)，与专注于深度神经网络的深度学习形成对比。多模态特征后期融合成功的一个重要因素是高维CT特征的表示学习。

对于每个参与者的每次CT扫描，我们构建了一个定制的残差神经网络(ResNet) [36-39]，这是DL cnn的特定架构。ResNet被认为是一种成熟的CNN架构，在不同的任务中具有相对较高的性能。虽然存在其他的CNN架构(例如，EfficientNet, VGG-16等)，但本研究的重点不是比较不同的架构。相反，我们希望通过常用的CNN架构(即ResNet)提供最佳性能，用于图像分析。

通过构建ResNet，我们能够将体素级成像数据转换为具有更少特征的高级表示。经过几次卷积和最大池化层，ResNet达到了完全连接(FC;(即FC1层)层在最终输出层之前，从而实现实际分类的交付。在常用的ResNet架构中，FC层是一个1×512向量，其维度相对更接近临床信息(即1×23向量)和实验室测试(即1×10向量)特征模态。然而，来自ResNet的原始FC层仍然比其他两种模态大得多。因此，我们在FC1层之后，但在最终输出层之前增加了另一个FC层(即FC2层)。在本研究中，FC2层被设置为具有1×10向量维度(即向量中有10个元素)，以匹配其他2个特征模态的维度。计算上，FC2层作为原始CT扫描数据的低维、高层表示。利用Kolmogorov-Smirnov检验比较了从ResNet中提取的10个特征在FC2层中的分布。此自定义ResNet架构的技术细节请参见多媒体附录2．

通过ResNet CNN从CT数据中提取低维高级特征后，进行多模态特征融合。将每个参与者的临床信息、实验室检测和FC2层特征(即i)合并成单个1× 43(即1×[23+10+10])行向量。输出的真实值是参与者的真实观察类别。从技术上讲，该模型将尝试根据观察到的类别尽可能准确地预测结果。

混合DL-ML方法:建模

在得到特征矩阵后，我们将ML模型应用于多项分类任务。在本研究中，我们考虑了3种不同的常用ML模型，分别是RF、SVM和kNN模型。RF模型是基于决策树的ML模型，树超参数的数量被设置为10，与避免潜在的模型过拟合所需的输入特征数量相比，这是一个相对较小的数字。本研究中的其他RF超参数包括用于确定树分裂的基尼杂质评分，用于分裂内部树的至少2个样本，以及在叶节点处至少1个样本。所有默认的超参数设置，包括SVM和RF模型的超参数设置，都是基于Python中的scikit-learn库。支持向量机模型是一个最大超平面和L-2惩罚的模型;本研究采用径向基函数核和1/43的伽马值(即特征总数的倒数)作为超参数值。kNN是一种基于实例的非参数模型;本研究使用以下超参数值:k=5，均匀权值，树叶大小=30,p=2。这3种模型在技术上是不同类型的ML模型。 We aimed to investigate whether specific types of ML models and multimodal feature fusion would contribute to developing an accurate COVID-19 classifier for clinical decision support.

我们用100次独立运行来评估每个ML模型。每次运行使用由原始数据的80%组成的不同随机选择的数据集进行训练，其余20%的数据用于测试和验证模型。尽管系统具有随机性，但通过多次运行而不是单次运行显示了模型的鲁棒性。原始数据的80%-20%分割用于单独的训练集和测试集，也确保了潜在的模型过拟合和模型泛化性的增加可以避免。此外，RF模型使用套袋进行基于袋外误差的内部验证(即，“树”如何在“森林”模型中分离出来)。

每次运行后，计算测试集的重要ML性能指标，包括准确性、灵敏度、精密度和F1分数。我们首先报告了ML模型的整体性能。这些不同的指标基于不同的方面评估ML模型。在本研究中，我们还考虑了3种不同的方法来计算多项产出的总体表现，如下:微观方法(即，一对一的方法)，宏观方法(即，未加权平均值;4个类别中的每个类别都被赋予相同的25%权重)，并根据每个类别在整个样本中的百分比加权平均方法。

此外，由于本研究的输出是多项而不是二元的，因此每个类都有自己的性能指标。我们在100次独立运行中汇总了这些性能指标，确定了每个指标的分布，并根据这些分布评估了模型的稳健性。如果测试集中的机器学习性能指标有一个小的变化(即，小的标准误差)，那么该模型被认为是对模型输入变化的鲁棒性，从而允许它揭示数据的内在模式。这是因为在每次运行中，随机选择不同的数据集(即原始数据的80%)来训练模型。

RF模型相对于SVM和kNN模型的一个优势是，它具有相对清晰的可解释性，特别是在解释特征重要性时。在基于训练集开发RF模型后，我们能够根据RF模型中相应的基尼杂质分数对输入特征的重要性进行排序[40，41]。需要注意的是，只有训练集被用来计算基尼杂质，而不是测试集。然后，我们评估了最重要的贡献特征与COVID-19的临床相关性。

我们还开发并评估了单模态(即单独使用临床信息、实验室测试和CT特征)ML模型的性能。性能结果作为基准条件。然后将模型的性能结果与多模态分类进行比较，以证明不同特征模态融合的潜在性能增益。在本研究中，每个单独的ML模型(即RF, SVM和kNN模型)被独立评估，并分别报告结果，而不结合最终输出类别的预测。

深度学习CNN和后期融合机器学习代码是用Python开发的，有各种支持包，比如scikit-learn。

结果

四种类型的临床特征

详细的人口统计、临床和实验室检测结果在补充表S1中提供。我们比较了4类患者的临床特征。每个特征在所有4个类中的流行程度见多媒体附录3．总的来说，大多数临床特征在非重症COVID-19、重症COVID-19和非COVID-19病毒性肺炎类别之间存在很大差异。需要注意的是，在未感染健康类中，除性别和年龄组(即>50岁)值外，所有症状特征值均设为0，以便作为参考。根据2样本比例z检验，非严重型和严重型的分类差异有统计学意义(P< 0.05)，包括合并症，如高血压(P<.001)，糖尿病(P<.001)，心血管疾病(P< 0.001)，慢性阻塞性肺疾病(P= .005)。非严重COVID-19和非COVID-19病毒感染类别在12个特征上存在显著差异，包括吸烟习惯(P<.001)，发烧(P<.001)，喉咙痛(P= .002)。然而，在合并症方面，非严重COVID-19和非covid病毒感染类别没有显着差异。在22个特征中，重症COVID-19和非COVID-19病毒感染类别在16个特征上存在显著差异，使这两个类别在症状方面差异最大。这些结果表明，临床特征的患病率在不同类别之间存在很大差异。每对类别中每个临床特征的完整z检验结果见多媒体附录1．

此外，根据ML - RF分析，前3个区分临床特征是发烧、咳嗽和老年(即>50岁)。对于发烧和咳嗽，我们以非covid病毒感染类别为参考，构建了COVID-19非严重和非covid病毒感染类别、COVID-19严重和非covid病毒感染类别的2×2列联表。森林图的比值比和95%置信区间见图2．与非COVID-19病毒感染类别的患者相比，非严重和严重COVID-19类别的患者更有可能出现发烧(即>37°C)。此外，根据森林图，重症COVID-19患者的发烧次数也高于非重症COVID-19患者。因此，发热是区分多类的主要决定因素之一。此外，非重症COVID-19患者(P< 0.001)和重症COVID-19患者(P<.001)报告咳嗽明显少于非covid病毒感染患者(图2）.非重症与重症两级患者临床特征差异无统计学意义。关于老年特征，我们将重症COVID-19、非重症COVID-19和非感染健康组纳入分析，因为非感染健康组的老年患病率不为0。该分析的森林图见图2．重症COVID-19患者的年龄明显大于非COVID-19病毒感染患者，而非重症COVID-19患者和未感染健康个体的年龄明显小于非COVID-19病毒感染患者。这四种类型之间临床特征的差异可以为数据驱动的ML模型铺平道路。

‎ 查看此图

4类之间实验室测试特征的差异

对于连续的实验室测试特征，我们计算并比较了4类之间的精确分布。在4个类中提供了每个实验室测试特征的箱形图多媒体附录4．一般来说，这4个类在许多实验室测试特性上有很大的不同。根据双侧Kolmogorov-Smirnov检验结果，非重症和重症COVID-19类别仅在血红蛋白水平(HGB)上相似P= 0.74)和血小板计数(PLTP=收)。这两个类别在其余8个实验室测试特征(WBC)上存在显著差异P= .02点;NE %P<措施;不P<措施;LY %P<措施;LYP= .002;c反应蛋白P<措施;治疗组P=措施;克雷亚P<措施;)。也就是说，重症和非重症COVID-19患者的实验室检测特征具有明显的分布。同样，非严重的COVID-19和未感染的健康组仅在肌酸水平上相似;非重症COVID-19和非COVID-19病毒感染类别仅在血红蛋白水平(P= 0.65)，血小板计数(P=.14)，总胆红素水平(P= .09点);重症组与未感染健康组总胆红素水平相似(P= .24);COVID-19重症感染与非COVID-19病毒感染类别仅在血红蛋白水平(P= 0.11)和中性粒细胞计数(P=。08);非covid病毒感染和非感染健康组仅白细胞计数相似(P= 2)。完整的Kolmogorov-Smirnov测试结果为每个实验室测试功能在每对类提供多媒体附录1．

基于RF模型，3个最具影响力的区分特征是c反应蛋白水平、血红蛋白水平和中性粒细胞计数。c -反应蛋白水平在4个类别中的分布情况见中的箱线图图3．除了Kolmogorov-Smirnov检验(不考虑类别之间的多重比较)外，还使用非参数Kruskal-Wallis H检验进行了进一步的两两比较。在Kruskal-Wallis H检验中使用的6对，以及总体的Kruskal-Wallis检验中，每个类别之间都存在显著差异。血红蛋白水平的分布示于图3．未感染健康组与非严重、严重、非covid病毒感染组血红蛋白水平差异有统计学意义，其余3对在实验室检测特征上差异无统计学意义。中性粒细胞计数分布如图所示图3．所有两两比较和总体Kruskal-Wallis检验显示，在实验室测试特征方面，班级之间存在显著差异。

‎ 查看此图

基于CNN高级特征的4类CT差异

我们分析了来自ResNet CNN的FC2层特征与4个类的关系。对应的箱线图见多媒体附录5．双侧Kolmogorov-Smirnov检验显示，在FC2层几乎所有10个CT特征上，每对分类之间存在显著差异。唯一的例外是特征6(即CNN6)在严重COVID-19和非COVID-19病毒感染类别之间以及特征1、4和5在未感染的健康和非COVID-19病毒感染类别之间(多媒体附录6）.根据RF模型结果，特征1、6和10是FC2层中最关键的3个特征。对这3个特征进行了进一步的Kruskal-Wallis测试，结果显示在图4．这些结果表明，基于CNN对高级特征的表示开发一个准确的分类器是可能的。

‎ 查看此图

COVID-19多项分类的精确多模态模型

我们开发并验证了3种不同类型的ML模型，如下:kNN, RF和SVM模型。对于训练数据，kNN、RF和SVM模型的平均整体多模态分类准确率分别为96.2% (SE 0.5%)、99.8% (SE 0.3%)和99.2% (SE 0.2%)。对于测试数据，3种模型的平均整体多模态分类准确率分别为95.4% (SE 0.2%)、96.9% (SE 0.2%)和97.7% (SE 0.1%)， (图5）.基于计算整体性能的不同方法，这3个模型在所有4个类别中也实现了一致和高性能，包括微观方法(即，一对一的方法)，宏观方法(即，所有4个类别的未加权平均值)和加权平均方法(即，基于每个类别在整个样本中的百分比)。需要注意的是，总体精度不依赖于样本量，所以只有一种方法来计算精度。通过每种方法(即微观、宏观和加权平均方法)量化F1评分、灵敏度和精度。对于kNN、RF和SVM模型，使用宏观方法计算的F1分数分别为95.9% (SE 0.1%)、98.8% (SE<0.1%)和99.1% (SE<0.1%)。使用微观方法计算的F1分数对于kNN、RF和SVM模型分别为96.2% (SE<0.1%)、98.8% (SE<0.1%)和99.2% (SE<0.1%)。对于kNN、RF和SVM模型，使用加权平均方法计算的F1分数分别为96.2% (SE<0.1%)、98.9% (SE<0.1%)和99.2% (SE<0.1%)。基于不同方法(即微观、宏观和加权平均方法)的F1分数差异很小(图5）.此外，不同ML模型之间F1分数的差异(图5)也不显著。同样，对于所有ML模型类型和计算性能指标的所有方法，模型灵敏度和精度都>95%。3种不同评估方法和3个ML模型的完整整体性能指标在多媒体附录7．

‎ 查看此图

在检查了3种不同类型ML模型的性能指标后，很明显SVM模型在所有指标方面都具有最佳性能，其次是RF模型，尽管差异几乎无法区分。与其他两种模型相比，kNN模型在性能上大约有1%-3%的缺陷。值得注意的是，kNN模型的准确率、F1评分、灵敏度和精度也至少达到95%。因此，kNN模型只被2个更具竞争力的模型打败。此外，相对较小的标准误差表明ML模型对不同的随机采样输入具有鲁棒性(多媒体附录7）.

对于每个个体类别，根据所使用的特定ML模型，未感染健康类别在测试集中的预测准确率为95.2%-99.9%，F1评分为95.5%-98.4%，灵敏度为91.4%-97.3%，精度为97.5%-99.9%。应该注意的是，这些是范围，而不是标准误差，如图6．计算特定于类的模型性能的方法是一对一的方法。对于非严重的COVID-19类别，ML模型的准确率为95.8% ~ 97.4%，F1评分为97.8% ~ 98.6%，灵敏度为99.8% ~ 99.9%，精度为95.8% ~ 97.4%。对于COVID-19重症分类，ML模型的准确率为92.4% ~ 99.0%，F1评分为93.4% ~ 96.6%，灵敏度为94.3% ~ 94.7%，精度为92.4% ~ 99.0%。对于非covid病毒肺炎感染类别，ML模型准确率为90.6% ~ 95.0%，F1评分为92.9% ~ 96.8%，灵敏度为95.4% ~ 98.8%，准确率为90.6% ~ 95.0%。非covid病毒感染类别相对于其他3个类别更具挑战性，但差异并不大。因此，ML模型的潜在临床应用仍然是合理的。与模型整体性能(图5)，特定类别的性能指标也具有相对较小的标准误差，这表明模型的训练对于随机选择的输入是一致和健壮的。除了少数类和模型性能指标外，SVM模型的性能略好于RF和kNN模型。完整的特定于类的结果显示在图6．在3个ML模型中显示了完整的特定于类的性能指标多媒体附录8．

‎ 查看此图

所有3种基于不同计算技术的ML多项分类模型都具有一致的高总体性能(图5(表S3)和每个特定类的高性能(图6，多媒体附录8）.在开发和评估的3种ML模型中，SVM模型略优于RF和kNN模型。因此，ML多项分类模型能够同时准确区分4个类别，提供准确和详细的类别特定预测，并作为临床诊断支持和疑似COVID-19患者分诊的可靠决策工具，这些患者可能感染或不感染SARS-CoV-2以外的临床相似类型的病毒。

除了在ResNet CNN中整合了所有3种不同特征集(即二元临床、连续实验室测试和CT特征)的多模态分类;图1)，我们还测试了在没有特征融合(即单模态)的情况下每个特定特征模态的表现。通过单独使用23个症状特征中的每一个，RF、kNN和SVM模型在测试集上的平均准确率分别为74.5% (SE 0.3%)、73.3% (SE 0.3%)和75.5% (SE 0.3%)。通过单独使用10个实验室测试特征中的每一个，RF、kNN和SVM模型在测试集上的平均准确率分别达到67.7% (SE 0.4%)、56.2% (SE 0.4%)和59.5% (SE 0.3%)。

在4个类别中，CNN仅使用CT扫描数据的总体准确率为90.8% (SE 0.3%)。对于每一对类别，CNN能够准确区分严重COVID-19和非感染健康类别，准确率为99.9% (SE<0.1%)，非COVID-19病毒感染和非感染健康类别，准确率为99.2% (SE 0.1%)，严重COVID-19和非严重COVID-19类别准确率为95.4% (SE 0.1%)，非严重COVID-19和非感染健康类别准确率为90.3% (SE 0.2%)。然而，仅使用CT特征(即没有特征后期融合)，CNN在测试集中只能区分非covid病毒感染和非严重COVID-19类别，准确率为84.9% (SE 0.2%)，非covid病毒感染和严重COVID-19类别的准确率为74.2% (SE 0.2%)。

通过组合来自不同特征模态的输入特征并执行多模态分类，而不是单独使用单一特征模态，可以获得实质性的性能提升。与单模态模型相比，测试集的预测精度提高了15%-42%。值得注意的是，RF、SVM和kNN模型在技术上是不同的ML模型。然而，基于多模态特征，这3种不同的ML模型之间的性能差异是微乎其微的。因此，我们认为本研究在COVID-19分类中的高性能(图5和6)主要是由于多模态特征后期融合，而不是由于特定类型的ML模型。

从RF模型得出的基尼杂质分数确定了区分这四个类别的主要贡献因素。在临床特征形态方面，影响最大的3个特征是发热、咳嗽和老年(即>50岁)。这些特征的比值比森林图见图2，它显示了这些特性在不同类之间的确切影响。在实验室检测特征方面，影响最大的前3个特征依次为高敏c反应蛋白水平、血红蛋白水平和绝对中性粒细胞计数。这3个特征在4个类中的分布和多次比较的结果如图所示图3．虽然高敏感性c反应蛋白水平是COVID-19严重程度和预后的已知因素[42]，我们发现它也可以区分COVID-19患者与非COVID-19病毒性肺炎患者和健康人。此外，我们了解到不同的血红蛋白和中性粒细胞水平是准确区分临床COVID-19患者、非COVID-19病毒性肺炎患者和健康个体的新特征。这些结果揭示了哪些临床和实验室检测特征对识别COVID-19最关键，这将有助于指导临床实践。对于从CNN中提取的CT特征，RF模型识别出影响最大的3个特征，分别是10元FC2层的CT特征6、10和1 (图4）.尽管由于DL模型(包括本研究中应用的ResNet CNN)的性质，在本研究时CT特征的实际临床解释尚不清楚，但这些特征显示出通过CT扫描一次准确区分多项分类的希望，而不是训练多个CNN在每个类对之间进行二分类。未来的研究可能会以更可解释的方式揭示这些特征与COVID-19病理数据的临床相关性。

讨论

主要研究结果

在这项研究中，我们提供了一个更全面的视角来表征COVID-19，并准确区分COVID-19，特别是非严重的COVID-19，与其他临床相似的病毒性肺炎和非感染。人体是一个完整的、系统的实体。当机体受到病原体感染时，临床后果不仅可以通过生物医学成像特征(如CT扫描特征)来检测，还可以通过其他特征(如血液生化实验室检测结果)来检测[20.，43]。单一特征模式可能无法揭示全部临床结果，也无法为COVID-19的检测和分类提供最佳预测能力，但多种模式的协同作用超过任何单一模式的力量。目前，多模态医疗数据可以通过电子健康记录系统有效地存储、传输和交换。获取临床和实验室检测模式数据的经济成本低于获取当前验证性qRT-PCR数据的经济成本。与qRT-PCR相比，这些模式的可用性和准备性也具有优势，目前qRT-PCR的周转时间较长。这项研究利用多模态医学信息的力量来应对新出现的大流行，对于这种大流行，确证性分子测试具有跨时间和空间的可靠性和可用性问题。当临床医生对疾病的经验和理解可能有很大差异时，这项研究的新分析框架可用于为未来即将到来的疾病流行浪潮做准备。

在进一步综合检查患者症状资料后，我们认为目前对COVID-19无症状的理解和定义是不充分的。在214例非严重COVID-19患者中，60例(28%)没有发烧(即<37°C)， 78例(36.4%)没有咳嗽，141例(65.9%)没有感到胸闷和疼痛，172例(80.4%)入院时没有喉咙痛。此外，有10例(4.7%)确诊的COVID-19患者属于非严重COVID-19类别，他们没有出现任何这些常见症状，可以被认为是无症状COVID-19患者。即使在考虑头痛、肌肉疼痛和疲劳后，仍有4例(1.9%)患者未表现出与典型呼吸系统疾病相关的症状。4例患者中，1例(25%)入院时出现腹泻。因此，仅凭症状特征不足以发现和鉴别无症状的COVID-19患者。然而，通过我们的模型，所有无症状患者都被成功检测出来，没有观察到假阴性。这一发现表明了当前对无症状COVID-19的定义和理解的不完整性，以及非传统分析工具在识别这些患者方面的潜在力量。

基于这一观点，我们开发了一个全面的端到端分析框架，集成了高维生物医学成像数据和低维临床和实验室测试数据。CT扫描首先用DL cnn处理。在最终输出层之前，我们开发了一个定制的ResNet CNN架构，其中包含2个FC层。然后，我们使用第二层FC层作为原始高维CT数据的低维表示。换句话说，首先使用CNN进行降维。CT(即以FC层为代表)、临床和实验室检测特征模式的融合在同时区分非重症、重症、非冠状病毒肺炎和未感染健康类别方面具有可行性和较高的准确性。三种不同类型的ML模型(即RF、SVM和kNN模型)一致的高性能，以及使用单一模态带来的大幅性能提升，进一步释放了不同生物医学特征模态的特征融合的隐藏力量。与单独使用任何单一特征模态的准确率(60%-80%)相比，多模态生物医学数据的特征融合大大提高了测试集中的预测准确率(>97%)。

我们将基于683名参与者的多模态生物医学数据的模型的性能与最新的COVID-19分类研究基准的性能进行了比较。一项涉及87名参与者的胸部CT扫描的DL研究声称准确率>99% [37]，另一项有200名参与者的研究声称，区分COVID-19患者和非患者的准确率为86%-99% [36]。另一项研究报告，在3322名参与者中，区分COVID-19和其他社区获得性肺炎的曲线下面积为95% [39]。此外，通过使用多模态CT、临床和实验室检测信息，在905名患有和未患有COVID-19的参与者的研究中，曲线下面积达到92% [44]。一项使用CT扫描来区分3个多项分类(即COVID[无临床状态信息]，非COVID病毒性肺炎和健康类别)的研究在总共230名参与者的基础上实现了89%-96%的准确率[38]。此外，经过专业培训的人类放射科医生在区分COVID-19与其他类型的社区获得性肺炎方面的准确率达到60%-83% [45]。因此，我们的模型的性能与这些基准模型的性能相当，甚至优于这些基准模型，并且超过了人类放射科医生的性能。此外，以往的研究一般侧重于区分COVID-19患者与非COVID-19个体或其他类型肺炎患者。换句话说，目前的COVID-19分类模型主要是二元分类器。我们的研究不仅在健康个体中检测了COVID-19，而且还解决了将COVID-19与其他病毒感染区分开来的更重要的临床问题。我们的研究还区分了不同的COVID-19临床状态(即严重与非严重)。因此，我们的研究为临床应用提供了一个新颖有效的突破，而不仅仅是对现有ML模型的增量改进。

这项研究的成功为使用多模式生物医学数据输入的许多其他疾病系统提供了启示。具体而言，高维和低维生物医学数据模式的特征融合可以应用于更多的特征模式，如个体层面的高维“组学”数据。目前，一项关于个体单核苷酸多态性与COVID-19易感性之间全基因组关联的研究已经发现了几个参与COVID-19病理的靶位点。采用类似的方法，我们还可以进行另一项研究，首先对“组学”数据进行降维，然后与其他低维模式进行数据融合[46-48]。

在分类方面，本研究通过特征后期融合，采用DL(即CNN)和ML(即RF、SVM和kNN ML)模型的混合。通过使用各种数据驱动的方法，我们避免了潜在的因果陷阱，直接关注更重要的临床问题。例如，许多合并症，如糖尿病[49，50]及心血管疾病[51，52]，与严重COVID-19的发生密切相关。目前尚不清楚是糖尿病还是肾功能下降导致重症COVID-19, SARS-CoV-2感染是否会加重现有糖尿病，还是糖尿病和COVID-19实际上相互影响并导致不良临床预后。未来的研究可以使用数据驱动的方法来进一步研究合并症与COVID-19的因果关系。

本研究存在一定的局限性，并有可能在未来的研究中得到改进。例如，为了跨4个类执行多项分类，我们不得不放弃许多特征，特别是那些在实验室测试模式中的特征。非COVID-19病毒性肺炎类别使用不同的电子健康记录系统，该系统收集了武汉参与者(即COVID-19重症、非重症和非感染健康类别的参与者)的不同实验室检测特征。在我们的初步研究中，许多实验室检测特征能够准确区分严重和非严重的COVID-19，例如高灵敏度的肌钙蛋白I水平、d -二聚体水平和乳酸脱氢酶水平。然而，这些特征在非covid病毒感染类别中不存在，或者基本上缺失。最终，仅包括10个实验室测试功能，与不同电子健康记录系统中通常提供的平均20-30个功能相比，这是很小的。这可能就是为什么在本研究中，实验室测试特征模态本身无法提供所有4个类的准确分类(即，RF模型达到的最高准确率为67.7%)的原因。此外，虽然我们有一个相当大的638个人的参与者池，但需要更多的参与者来进一步验证本研究的结果。

另一个潜在的实际陷阱是，并不是所有的特征模态都可以同时用于特征融合和多模态分类。对于单模态特征，CT在生成准确预测方面表现最好。然而，CT通常在放射科进行。实验室测试可以外包，获得实验室测试结果需要时间。因此，在不同的特征模式之间可能存在数据可用性的滞后。我们相信，当多模态特征不能一次全部可用时，单模态特征可以用于执行第一轮分类。当精度是必须时，需要多模态特征。

值得注意的是，虽然本研究的参与者来自不同的医疗机构，但他们大多数是中国汉族。不同COVID-19和非COVID-19类别之间的生物医学特征在其他种族和民族或具有其他混杂因素的人群中可能不同。未来的研究需要在其他种族和更大样本量的基础上对本研究的结果进行交叉验证。

本研究使用了一种通用的CNN架构(即ResNet)。从ResNet的FC2层提取的10个CT特征用于匹配其他2个低维特征模态的维度。未来对不同疾病系统的研究可以探索和比较使用不同生物医学成像数据(如CT、x射线和组织学数据)的其他架构。FC2层的实际维度也可以进行优化，以提供更好的性能。最后，给出了个体分类模型的结果。为了达到更高的性能，可以在未来的研究中探索多种模型的组合。

结论

总之，临床信息、实验室检测结果和CT扫描等不同形式的不同生物医学信息协同作用，揭示了COVID-19病理的多面性。我们的ML和DL模型提供了一种可行的技术方法，可以直接处理多模态生物医学数据，同时区分重症COVID-19患者、非重症COVID-19患者、非covid病毒感染患者和未感染的健康个体，准确率>97%。