基于人工智能的韩国新冠肺炎严重程度预测与特征重要性分析:模型开发与验证gydF4y2Ba

介绍gydF4y2Ba

COVID-19大流行对全球卫生保健系统产生了重大影响。自2020年初以来，COVID-19在全球迅速蔓延，病例超过1亿例，死亡人数超过200万人[gydF4y2Ba1gydF4y2Ba]。在新冠肺炎大流行形势下，患者管理中最重要的问题是对死亡风险高的患者进行分类，并提供量身定制的治疗，从而降低医疗成本和死亡率。gydF4y2Ba

已经提出了几个模型来使用人工智能(AI)技术预测COVID-19患者的严重程度或死亡率。它们中的大多数是基于有限的信息或变量开发的，例如医学图像[gydF4y2Ba2gydF4y2Ba-gydF4y2Ba7gydF4y2Ba]、血液及/或尿液资料[gydF4y2Ba8gydF4y2Ba，gydF4y2Ba9gydF4y2Ba]、临床特征[gydF4y2Ba10gydF4y2Ba-gydF4y2Ba12gydF4y2Ba]、个人层面流行病学数据集[gydF4y2Ba13gydF4y2Ba]和住院期间的电子健康记录(即人口统计、化验结果、病史和生命体征)[gydF4y2Ba14gydF4y2Ba]。然而，它们中的大多数是基于有限数据源的相对较小的样本开发的，这使得它们的泛化存在问题。更具体地说，用于某些模型训练的患者数量为375 [gydF4y2Ba15gydF4y2Ba]， 443 [gydF4y2Ba16gydF4y2Ba]， 548 [gydF4y2Ba17gydF4y2Ba]和663 [gydF4y2Ba18gydF4y2Ba]。gydF4y2Ba

为了克服泛化问题，我们以100多家医院的5601名患者为对象，从韩国政府获得的全国确认患者数据为基础，开发了人工智能预测模型。在这个模型中，我们使用了由37个因素组成的综合数据集，包括人口基本信息、生命体征、体检结果、临床症状和严重程度、合并症、一般血液检查结果。据我们所知，这是韩国首次尝试以全国队列和综合数据为基础，开发预测新冠肺炎严重程度的人工智能模型。gydF4y2Ba

方法gydF4y2Ba

数据集gydF4y2Ba

该研究得到了韩国疾病预防控制机构(KDCA)的批准。知情同意被放弃。医管局一直在管理从100多家医院获得的国内新冠肺炎确诊患者的综合资料。KDCA在特定的研究期间向少数选定的研究人员公开这些数据。因此，在KDCA的批准下，我们在2020年9月15日至10月5日期间调查了这些数据。gydF4y2Ba

表1gydF4y2Ba描述了KDCA数据集。患者基本信息包括患者的身份、年龄、性别、转归、隔离期、妊娠状态、妊娠周等。身体指数包括身体质量指数。入院时的初步检查结果包括收缩压和舒张压、平均心率和体温。临床表现包括发热、咳嗽、咳痰、喉咙痛、鼻漏、肌痛、不适、呼吸困难、头痛、意识不清、恶心和腹泻。目前或以前的合并症包括糖尿病、高血压、心力衰竭、慢性心脏病、慢性阻塞性肺病、慢性肾病、癌症、慢性肝病、风湿病或自身免疫性疾病、痴呆。临床严重程度分为低、高两类。低危组患者无活动限制，使用鼻尖或面罩供氧，无创通气。重度组患者的情况为有创通气、需要体外膜氧合的多器官衰竭和死亡。一般的血液检查结果包括血红蛋白、红细胞压积、淋巴细胞、血小板和白细胞的水平。gydF4y2Ba

在5628例COVID-19患者记录中，有27例患者记录缺少临床严重程度信息，因此我们将其排除在我们的研究之外。因此，我们使用5601例患者数据记录来开发临床严重程度的AI预测模型。对于每个患者数据记录，我们使用37个变量作为模型输入;这些变量总结在gydF4y2Ba表1gydF4y2Ba没有ID、结果、隔离期和临床严重程度。我们使用临床严重程度作为模型输出，它是由低严重程度和高严重程度组成的二元分量。gydF4y2Ba

表2gydF4y2Ba临床特征分为重度组(271/5601,4.8%)和轻度组(5330/5601,95.2%)。值得注意的是，在严重程度高的组中，271例患者中有241例死亡(88.9%)，而在严重程度低的组中没有患者死亡。gydF4y2Ba

归算与标准化gydF4y2Ba

在数据集中，缺少一些特征(表1)gydF4y2Ba多媒体附录1gydF4y2Ba)。为了处理缺失数据，我们从训练数据集中计算每个特征的平均值，并用训练和测试数据集中的平均值替换缺失数据。然后我们对数据集进行标准化，这是机器学习算法的常见要求。标准化改变了每个特征的数据分布，平均值为零，标准差为1:gydF4y2Ba

在哪里gydF4y2Ba的意思是gydF4y2Ba（gydF4y2Ba火车gydF4y2Ba),gydF4y2BaSDgydF4y2Ba（gydF4y2Ba火车gydF4y2Ba)分别为训练数据集中每个特征的均值和标准差值。我们将标准化应用于训练和测试数据集。gydF4y2Ba

数据分割gydF4y2Ba

对于特征重要性分析和人工智能预测模型的开发，我们进行了5倍交叉验证和10次重复的网格搜索。为此，我们以分层的方式将5601条记录分为训练(4480/5601,80.0%)和测试(1121/5601,20.0%)数据集(gydF4y2Ba表3gydF4y2Ba)。我们使用4480条记录作为训练数据集(4260/4480,95.1%低严重程度和220/4480,4.9%高严重程度)，1121条记录作为测试数据集(1070/1121,95.5%低严重程度和51/1121,4.5%高严重程度)。测试数据集是孤立的，仅用于评估所提出模型的性能。gydF4y2Ba

将训练数据集(n=4480)随机洗牌，分层分成5等份，每组433条低严重程度记录和15条高严重程度记录。在5个折叠中，保留1个折叠作为验证数据集用于测试模型，其余4个折叠作为训练数据。我们重复这个过程10次，10次折叠中的每一次都只使用一次作为验证数据。在这里，由于低严重性记录的数量远远高于高严重性记录的数量，我们通过随机复制数据来对高严重性数据进行上采样，以通过平衡两组数据中的数据量来防止模型对低严重性数据的偏差。gydF4y2Ba

特征选择gydF4y2Ba

为了选择影响临床严重程度的重要特征，我们首先使用AdaBoost进行特征重要性分析，研究了37个输入变量对严重程度的贡献[gydF4y2Ba19gydF4y2Ba，gydF4y2Ba20.gydF4y2Ba]，随机森林[gydF4y2Ba21gydF4y2Ba]和极限梯度增强(XGBoost) [gydF4y2Ba22gydF4y2Ba)算法。在分析了各分类器算法的特征重要值后，对其进行归一化和平均，计算组合特征重要值。gydF4y2Ba

通过重复5倍交叉验证10次，我们找到了最佳的超参数。对于AdaBoost，我们将超参数设置如下:树估计器的个数设置为50，学习率设置为0.4。对于随机森林，我们将树估计器的数量设置为100，最大深度设置为4，最大特征设置为5。对于XGBoost，我们将最大深度设置为2，学习率设置为0.2，树估计器的数量设置为100，正则化参数α的值设置为1.0，观测值的分数设置为0.9，列的分数设置为0.9。gydF4y2Ba

10次重复的5倍交叉验证为每个分类器(即AdaBoost, random forest和XGBoost)提供了50组特征重要性值。然后，我们对50组重要值进行平均，并将它们规范化，以便每个分类器的重要值在0到1的范围内。最后，我们将最终排序的特征重要性值的重要性值取平均值。此外，我们还根据交叉验证结果确定了纳入人工智能预测模型的最佳顶级特征数量。gydF4y2Ba

人工智能预测模型开发gydF4y2Ba

为了开发用于严重程度预测的最终AI模型，我们使用了深度神经网络(DNN)。在深度神经网络方法中，我们研究了多达5个隐藏层，每层深度(即节点)达到前一层深度(即节点)。对于输入层，我们首先根据其重要性对特征进行排序，并将输入层中使用的顶级特征的数量从1增加到37。对于作为隐藏层的完全连接(FC)层，我们通过以0.1个增量将丢失率从0更改为0.5来应用丢失率。最后一个FC层被送入s形层，s形层是一个输出层，提供患者严重程度的概率。我们使用Adam优化器和二元交叉熵成本函数训练模型，学习率为0.0001，批大小为64。我们使用R 4.0.2版本(the R Foundation)和TensorFlow版本1.13.1实现模型，用于DNN;Scikit-learn，版本0.22.1，用于机器学习算法;xgboost，版本0.6.4，用于xgboost算法。gydF4y2Ba

对于每组顶级特征，我们使用曲线下面积(AUC)和平衡精度指标找到了最佳交叉验证精度:gydF4y2Ba

考虑到交叉验证精度分析，我们最终使用前20个特征使用5层深度神经网络建模。5层DNN包括一个输入层，3个FC层作为隐藏层和一个输出层。输入层被馈送到一系列3个FC层，分别由20、16和8个节点组成。在前2个FC层中，我们使用了0.5的丢弃率。然后，将最后一层FC馈送到s形层中。gydF4y2Ba

绩效评估gydF4y2Ba

我们用孤立的测试数据集(n=1121)评估了我们提出的5层DNN模型的预测性能。为了比较DNN模型与其他外部人工智能模型的预测性能，我们分别训练了以下模型:逻辑回归、决策树、随机森林、支持向量机、XGBoost、AdaBoost、GradBoost和HistBoost。我们评估了这些人工智能模型作为单一模型和集成模型的预测性能。gydF4y2Ba

结果gydF4y2Ba

特征选择gydF4y2Ba

图1gydF4y2Ba显示了AdaBoost、random forest、XGBoost及其组合对特征重要性排序分析的结果。AdaBoost的结果表明血小板计数具有最高的重要性，其次是淋巴细胞水平、年龄和体重指数(gydF4y2Ba图1gydF4y2Ba(a).随机森林结果表明，年龄的重要性最高，其次是淋巴细胞水平、呼吸短促或呼吸困难和血小板计数(gydF4y2Ba图1gydF4y2Ba(b). XGBoost的结果表明血小板计数的重要性最高，其次是年龄、淋巴细胞水平和温度(gydF4y2Ba图1gydF4y2Ba(c)。将三个模型的值平均，年龄的重要性最高，其次是淋巴细胞水平、血小板计数和呼吸短促或呼吸困难(gydF4y2Ba图1gydF4y2Ba另一方面，癌症、疲劳或不适、慢性阻塞性肺病、痰产生、慢性心脏病、心力衰竭、哮喘、风湿病或自身免疫性疾病、妊娠和妊娠周很少影响预测模型。来自AdaBoost、随机森林和XGBoost的归一化特征重要性值，以及与这些平均值相结合的排名特征重要性值，总结于表S2gydF4y2Ba多媒体附录1gydF4y2Ba。gydF4y2Ba

我们以AUC和平衡精度(gydF4y2Ba图2gydF4y2Ba)。结果表明，当AdaBoost、random forest和XGBoost组合的前20个特征用于输入层时，AUC和平衡精度都达到了最大值。因此，我们将前20个特征纳入人工智能预测模型，该模型的灵敏度为88%，特异性为90%，准确率为90%，平衡准确率为89%，AUC为0.96 (gydF4y2Ba表4gydF4y2Ba)。gydF4y2Ba

‎gydF4y2Ba 查看此图gydF4y2Ba

‎gydF4y2Ba 查看此图gydF4y2Ba

人工智能预测模型的性能gydF4y2Ba

在孤立的测试数据集(n=1121)中，我们提出的5层深度神经网络的灵敏度为90.20%，特异性为90.37%，准确率为90.37%，平衡准确率为90.28%，AUC为0.96。gydF4y2Ba表5gydF4y2Ba展示了在测试数据集上的预测性能。首先，我们比较了应用合成少数过采样技术时的精度指标，我们发现平衡精度和AUC都略低。其次，我们比较了基于主成分分析(PCA)的特征约简在8个维度上的精度指标，我们发现平衡精度和AUC也略低。gydF4y2Ba表5gydF4y2Ba［gydF4y2Ba19gydF4y2Ba-gydF4y2Ba28gydF4y2Ba]也显示了各种AI模型的预测性能;可以看出，我们提出的5层DNN方法比其他外部AI模型(即逻辑回归、决策树、随机森林、支持向量机、XGBoost、AdaBoost、GradBoost和HistBoost)提供了更高的精度、平衡精度和AUC值。gydF4y2Ba

此外，我们研究了集成人工智能模型(即人工智能模型的组合)的预测性能;没有一个集成人工智能模型优于我们提出的5层DNN模型(gydF4y2Ba表6gydF4y2Ba)。gydF4y2Ba

讨论gydF4y2Ba

主要研究结果gydF4y2Ba

我们提出的人工智能模型，即使用选择的前20个特征的5层DNN，能够在住院阶段预测COVID-19患者的严重程度，具有出色的预测性能:90.2%的灵敏度，90.4%的特异性和90.4%的准确性。这种模式有几个独特的特点。首先，它是根据从防疫厅获得的全国新冠肺炎确诊患者数据开发的。在韩国，所有确诊病例都必须向KDCA报告;因此，KDCA的数据非常准确，每天都会更新[gydF4y2Ba4gydF4y2Ba]。政府将包括20家三级医院在内的100多家综合医院指定为配备隔离室和负压室的专门感染控制医院。这些指定医院应向医管局报告有关新冠肺炎患者的重要临床信息，特别是住院患者或病情严重的患者。当我们在2020年9月被允许访问KDCA数据集时，有来自5601名患者的数据，其中包含全面的临床信息，我们可以使用这些数据来开发人工智能预测模型。这是拥有足够数据量的最大队列，可以开发可靠且可推广的人工智能预测模型。gydF4y2Ba

其次，我们的AI预测模型开发从综合数据集中37个特征的特征重要性分析开始。其中，为了开发准确的AI预测模型，根据特征重要性分析结果排序，选择了20个。交叉验证表明，与使用全部37个特征相比，使用选定的20个特征的AI预测模型显示出更高的准确性。此外，所选的20个特征(即年龄、淋巴细胞水平、血小板计数、呼吸短促或呼吸困难、体温、血红蛋白水平、白细胞计数、体重指数、红细胞压积水平、心率、收缩压、痴呆、高血压、意识改变或意识不清、糖尿病、性别、咳嗽、喉咙痛、慢性肝病、流鼻涕或鼻漏)可以很容易地从患者病史、基本体格检查和常规实验室检查中获得。因此，我们的人工智能预测模型可以很容易地融入日常临床实践。此外，我们观察到基于pca的特征选择也提供了与特征重要性分析一样好的性能。特别是，我们期待许多研究人员能够灵活地多样化预测COVID-19患者严重程度的模型，因为仅用8个特征就可以获得类似的准确性。gydF4y2Ba

在我们的特征选择过程中，我们结合了AdaBoost、随机森林和XGBoost机器学习算法来对重要特征进行排序。AdaBoost算法是作为弱学习器的增强算法和顺序增长决策树家族的一部分[gydF4y2Ba19gydF4y2Ba]。众所周知，它在低噪声数据集中很少过拟合[gydF4y2Ba20.gydF4y2Ba]。随机森林算法基于bagging方法，该方法基于一组弱学习器的聚合[gydF4y2Ba21gydF4y2Ba]。XGBoost是最近引入的一种优化梯度增强算法[gydF4y2Ba22gydF4y2Ba]。在低维或高度可分离的数据中，所有分类器通常都提供相当好的性能。然而，由于特征维度、数据可分离性、数据平衡性和特征相关性等因素的影响，它们可能会提供不同的性能。这就是我们将三个算法结果结合在一起的原因。gydF4y2Ba

我们将提出的AI预测模型命名为KOVIDnet，这是针对韩国COVID-19患者的深度学习算法。由于其在韩国的高准确性和通用性，我们期望KOVIDnet能够在入院时提供治疗优先指导，确定谁应该集中治疗。虽然大多数新冠肺炎患者表现为轻度和自限性疾病，但也有部分患者病情发展为重症和危重症，迅速发展为急性呼吸衰竭、败血症、感染性休克、多器官衰竭，最终死亡[gydF4y2Ba29gydF4y2Ba-gydF4y2Ba32gydF4y2Ba]。重症病例的死亡率约为轻症病例的20倍[gydF4y2Ba30.gydF4y2Ba，gydF4y2Ba33gydF4y2Ba]。这表明，早期识别有死亡风险的患者对于COVID-19患者的管理非常重要。gydF4y2Ba

局限性和未来工作gydF4y2Ba

在我们早期的研究中，我们将患者分为八个亚组。亚组1患者的活动没有限制。亚组2患者活动受限，但不需要供氧。亚组3患者需要用鼻尖吸氧。亚组4患者需面罩供氧。第五组患者需要无创通气。第6亚组患者需要有创通气。亚组7患者多器官功能衰竭或接受体外膜氧合。亚组8例死亡。对于多类分类，我们也采用与上述相同的步骤训练模型，但使用测试数据时的准确性并不令人满意(表S3)gydF4y2Ba多媒体附录1gydF4y2Ba)。这可能是因为每个子组的特征没有明显差异，也可能是因为训练数据值的数量不足。此外，数据极不平衡:失衡比为405(表S4)gydF4y2Ba多媒体附录1gydF4y2Ba)。在分析了8个子组多类分类问题的结果后，我们考虑了二元分类问题，其中低严重性组包括子组1至4，高严重性组包括子组5至8。基于我们目前的数据，二元分类问题不仅是训练预测模型最现实的方法，而且对传达临床重要意义也很有用。我们相信我们可以将我们的模型扩展到基于更广泛数据的多类分类问题。gydF4y2Ba

我们的研究还有其他局限性。首先，我们提出的AI预测模型使用一个孤立的测试数据集(n=1121)进行验证，该数据集是从整个数据集中分离出来的数据集。可能有必要使用外部数据集(如预期收集的数据)验证我们的AI模型。为了验证和更新KOVIDnet，我们制作了一个web应用程序[gydF4y2Ba34gydF4y2Ba这样任何人都可以访问模型。我们相信，与公众分享人工智能模型将有助于验证和改进其性能。其次，我们的数据不包括其他种族的患者，如高加索人或中东人。在不久的将来，我们计划将我们的AI模型应用于各种数据集，包括来自其他种族患者的数据。为了实现这一目标，我们将建立一个实时训练框架，该框架可以使用来自世界各地的前瞻性数据来训练我们的模型。我们相信我们可以改进KOVIDnet，在扩展数据的基础上实现更好的泛化。gydF4y2Ba

结论gydF4y2Ba

综上所述，我们基于全国范围内的大型数据集开发了包含20个选定特征的人工智能模型，并且能够准确预测COVID-19的严重程度。我们相信，我们的模型可以帮助医疗服务提供者在早期阶段有效治疗COVID-19患者，并最终减少死亡。gydF4y2Ba