发表在第22卷11号(2020): 11月

本文的预印本(早期版本)可在https://preprints.www.mybigtv.com/preprint/22131,首次出版
韩国军队医院COVID-19结局预测与监测解决方案:开发与应用评估

韩国军队医院COVID-19结局预测与监测解决方案:开发与应用评估

韩国军队医院COVID-19结局预测与监测解决方案:开发与应用评估

原始论文

1大韩民国城南市武装部队医疗司令部

2延世大学医学院生物医学系统信息系,韩国首尔

3.大韩民国城南市武装部队首都医院内科

4大韩民国城南市武装部队首都医院护理部

*这些作者贡献相同

通讯作者:

Yu Rang Park,博士

生物医学系统信息学学系

延世大学医学院

西大门区延世路50-1号

首尔,03722

大韩民国

电话:82 2228 2493

电子邮件:yurangpark@yuhs.ac


背景:COVID-19已被正式宣布为大流行,该病毒的传播正在对公共卫生系统提出持续的需求。有分析认为,地区之间的死亡率差异是由于医疗资源的差异造成的。因此,在这种情况下,选择患者进行诊断和治疗至关重要。军事人员特别容易感染传染病;因此,以证据为基础的预后模型选择患者对他们来说至关重要。

摘要目的:本研究旨在评估韩国军队医院用于收集数据和部署COVID-19患者选择解决方案的新平台的可用性。

方法:开发该平台的结构是为了向用户提供预测结果,并利用这些数据来增强预测模型。开发了两个应用程序:患者应用程序和医生应用程序。主要结果是需要补充氧气。结果预测模型是由来自四个中心的患者开发的。建立了Cox比例风险模型。患者应用模型的结果是从住院日期到第一次使用氧气补充日期的时间长度。人口统计学特征、既往史、患者症状、社会史和体温被认为是危险因素。使用研究后系统可用性问卷(PSSUQ)对50名医生的医师申请进行可用性研究。

结果:病人的应用程序和医生的应用程序被部署在网络上,以获得更广泛的可用性。来自四个中心的246名患者被用于建立结果预测模型。一小部分患者(n=18, 7.32%)需要专业护理。所建立的预测模型包含的变量有:年龄;体温;疾病前身体状况;心血管病史;高血压;访问爆发疫情的地区;还有发冷、发烧、呼吸困难和嗜睡的症状。 The overall C statistic was 0.963 (95% CI 0.936-0.99), and the time-dependent area under the receiver operating characteristic curve ranged from 0.976 at day 3 to 0.979 at day 9. The usability of the physician’s application was good, with an overall average of the responses to the PSSUQ being 2.2 (SD 1.1).

结论:本研究中引入的平台使循证患者的选择能够轻松、及时地进行,这在军事领域至关重要。通过精心设计的用户体验和准确的预测模型,该平台可以帮助拯救生命并遏制新型病毒COVID-19的传播。

中国医学与互联网杂志,2020;22(11):e22131

doi: 10.2196/22131

关键字



由SARS-CoV-2病毒引起的COVID-19已正式宣布为大流行[1].尽管做出了努力,但仍有疾病造成的伤亡。在不同的国家之间,甚至在中国不同的城市之间,该病的死亡率也各不相同。2].有人推测,这些地区之间的死亡率差异是由于该地区医疗资源的可用性。例如,湖北省和其他省份之间的死亡率差异很大(湖北约为3%,中国其他地区为0.7%),绘制人均病例与死亡率的关系图显示出正相关[2].

病毒的传播目前对公共卫生系统提出了持续的要求[3.].当前,医疗物资供需不平衡,正在采取多种措施解决这一问题。4].如果医疗供应的增加能够满足高需求是理想的,但这对许多不发达国家来说似乎很困难。

考虑到重症病例的发生率相对较低(根据中国的报告,重症病例为14%,危重病例为5%),调整需求(例如选择患者进行诊断和治疗)也是一种选择[5].相比之下,无症状病例的比例高得惊人,有些报告高达75% [6-8].在这种情况下,疾病控制和预防中心(CDC)建议,考虑到医疗基础设施不足,并非所有患者都住院。然而,由于没有足够的证据表明哪些患者需要专业护理,因此没有关于患者选择的明确指南。

军事人员面临的风险尤其大,因为病毒在人们紧密生活的环境中传播最为严重[910].腺病毒感染是军队中容易传播的传染病之一。此外,士兵经常被重新安置在世界各地,这可能会加速疾病的传播。例如,2007年,基本军事学员感染了腺病毒,并被送往世界各地的多个地点,导致这些军事基地爆发疫情[9].

混淆、尿素、呼吸频率、血压和65岁及以上(CURB-65)评分是一种广泛使用的预测肺炎患者预后的评分系统[11].评估意识混乱、血尿素氮、呼吸频率、收缩压和舒张压以及年龄,计算0到6分,其中6分表示最严重。美国胸科学会指南建议,CURB-65评分低于2分的患者死亡风险较低,可作为门诊患者进行治疗。为应对疫情,将该评分用于COVID-19患者[12].然而,尽管CURB-65评分较高的患者更有可能变得严重,但超过20%的评分较低的患者也有较差的预后,这表明需要一个新的系统来指导患者的选择。

先前的研究已经建立了预测死亡风险、住院时间和进展到严重状态的预后模型[13-21].这些研究的最大样本量是来自中国的577例患者[19].理想情况下,预测模型应该基于覆盖多个国家和种族的大型数据集,以便进行大规模适应。其中四项研究提出了可用于临床实践的模型(如决策树、nomogram和评分规则)[14161721].

当在现实世界中开发和部署预测模型时,应该考虑多个因素。如前所述,所包括的样本应该来自多个国家的多个中心,以解释种族之间的差异。此外,该模型应该为其用户提供实用和不可替代的价值。模型的目标应该是明确的,并且应该能够回答临床领域的一个主要问题。还应考虑模型的易用性。然而,在一种新型感染正在全球传播的情况下,这些要求即使不是不可能,也是很难满足的。

在这项研究中,我们提出了一个平台,可以为COVID-19患者提供结果预测和状态监测,并通过使用该模型收集的数据不断增强该平台。


平台结构的发展

平台结构的设计主要是为用户提供预测模型的结果,并将结果发送给指定的医生。用户为获取结果而发送的数据由服务器在征得用户同意的情况下收集。利用新收集的数据对模型进行训练,进一步增强模型的可预测性和泛化性,从而完成良性循环。有两种应用程序用于达到此目的:(1)患者的应用程序和(2)医生的应用程序。

患者应用程序的主要功能是向患者提供预后预测结果,包括患者的一般信息、先前诊断的疾病、症状和体温。具体来说,预后预测的目的是指导患者选择医疗资源配置。因此,预测模型的主要目标是确定患者是否需要专业护理。

应用程序接收患者为获取预测结果而提供的变量,将其发送到中央服务器,并与指定的医生共享以进行远程监控。当患者访问医疗机构时,患者可以将他们的应用程序与医生的应用程序配对,以便在不需要任何直接联系的情况下随时通知医生患者症状的变化。然后,医生的应用程序接收一个可以从患者的应用程序创建的注册代码。在注册患者后,卫生保健工作者可以收到来自患者应用程序的所有记录和预测结果。描述了这个过程图1

图1所示。平台整体结构示意图。
查看此图

三位医生回顾了先前与COVID-19相关的出版物,以选择合适的变量进行收集[22-24].基于这种新病毒可能与先前引起病毒性肺炎的病毒具有相似的特征,我们还考虑了其他病毒性肺炎的特征。然后由目前直接参与治疗COVID-19患者的两名医生对选择结果进行审查(多媒体附件1)。

结果预测的参与者和数据收集

研究对象是国内4家医院(2家军队医院和2家民间医院)收治的所有新冠肺炎患者。共纳入246例患者,数据收集时间为2020年2月6日至2020年4月2日。没有排除标准。

患者申请的候选危险因素包括患者人口统计学特征(年龄、性别和BMI)、既往病史(哮喘、化疗、慢性肾病、高血压、慢性阻塞性肺疾病、免疫抑制剂使用、心血管疾病、慢性肝病和糖尿病)、患者症状(嗅觉丧失、鼻漏、胸痛、痰多、寒战、身体状况、咳嗽、肺炎、腹泻、肺炎、解热、呼吸困难、发烧、头痛、肌肉疼痛、恶心或呕吐、疲倦或嗜睡、喉咙痛)、社会病史(去过疫情地区、与新冠肺炎患者直接接触、吸烟史、新冠肺炎确诊家庭成员、自我隔离家庭成员)、住院期间体温。

本研究测量的结果是监测到2020年4月6日(随访的最后日期)的氧气补充使用情况。从住院之日到第一次使用氧气补充之日的时间长度(天)被视为我们的目标结局。选择补充氧气作为结果测量,因为它可能能够代表入院所需的最小治疗。

统计分析

对所有研究变量进行描述性统计。连续数据用均数(SD)表示,分类数据用比例表示。

使用Kaplan-Meier法绘制总体患者的生存曲线。使用所有候选危险因素,我们通过Cox比例风险模型进行单因素分析以选择因素。的因素P< . 05were included in the final model. The body temperature collected during hospitalization was used as the time-dependent variable in the Cox proportion hazards model [25].通过生成住院日期后一天的时间间隔,计算每个时间间隔(天)记录的平均体温。也就是说,体温被认为是一个每天都在变化的值。若体温缺失,则采用最后一次观察结转法。采用选择的因素建立多变量Cox比例风险模型(含时间相关变量)作为患者应用的预测模型。通过方差膨胀因子(VIFs)来确定最终模型中包含的因子之间的多重共线性,并在普通最小二乘回归分析中量化多重共线性的严重程度。我们认为VIF为5或以上表示多重共线性问题[26].此外,通过两个二元因素之间的phi系数,连续因素与二元因素之间的点双列相关性以及两个连续因素之间的pearson相关性来检验因素之间的相关性。为了通过普通最小二乘回归分析计算VIF,并衡量各因素之间的相关性,对于具有时变特征的体温,我们考虑住院期间的中位数体温。

我们计算了Harrell C统计量来评估总体预测精度和受测者工作特征曲线下随时间变化的面积(曲线下面积[AUC]) [27来评估整个随访期间的预测准确性。Cox模型的AUC结果根据待评估的时间点而变化,以天为单位汇总。我们还进行了似然比、Wald和评分检验,以模型系数的综合检验来衡量总体拟合优度。Schoenfeld提出的卡方拟合优度检验[28用比例危险度表示。由于体温在模型中被认为是一个每天更新的时变变量,所以我们没有对体温的假设进行检验。随机子抽样[29]来估计最终Cox比例风险模型的内部效度,50个重复样本将训练和测试集分成2:1。根据结果事件的发生进行分层抽样,以建立测试集和训练集的平衡。使用基于50次重复的平均时间相关AUC作为验证的结果。

Cox比例风险模型被认为是患者应用的预测模型,但我们还通过从最终Cox模型中选择因素构建了一个logistic模型作为替代模型。设计logistic模型预测住院期间的补氧使用情况。

所有P值是双面的,和P< . 05was considered statistically significant. Statistical analysis was performed using R 3.6.0 (R Foundation for Statistical Computing) [29].

医师申请的评估

进行了一项可用性研究,以评估卫生保健工作者应用程序的可用性,其中参与者必须是具有1年以上临床实践的医生。共有50名医生从公共网站招募,没有排除或选择参与者。向与会者介绍了整个平台,并简要介绍了其目标。在对这项研究进行了详尽的解释后,参与者签署了一份同意书。然后指示他们通过医生的应用程序注册服务,然后添加提供的准备好的样本病例。之后,参与者被要求完成几个任务:回顾样本病例通过患者的申请报告的症状,回顾注册患者的结果预测模型的结果,并从变量输入表中为患者添加额外的人为临床变量。该模型的结果表示为需要补充氧气的概率,表示为0%-100%之间的数字。参与者被告知预测模型结果的预期临床效用,以提供可用于患者选择的支持性信息。然而,由于数据并非来自真实患者,因此无法评估预测模型的有用性。参与者被指示填写医生输入表格所要求的患者临床变量的人为值。 The study protocol was approved by the institutional review board at the Yonsei University College of Medicine (4-2020-0351).

任务完成后,使用研究后系统可用性问卷(PSSUQ)获取参与者的回答[30.].对PSSUQ的结果使用每个问题的统计代表性指标进行分析。


平台结构

该平台由三部分组成:(1)患者应用程序,(2)医生应用程序,(3)模型应用程序编程接口。病人和医生的应用程序都部署在网络上。选择web平台是为了能够在部署时进行即时修改,并最大限度地提高可变设备上的可用性。考虑到用户将使用的大多数设备,将患者的应用程序配置为最好在移动设备上查看,而将医生的应用程序配置为在桌面设备上查看。整个结构示意图如图所示图2

图2。截图显示了如何在医生的应用程序中显示患者记录的数据,以监测患者的状态。
查看此图

该平台已在世界卫生组织COVID-19解决方案数字地图集中注册[31].

平台的实际使用情况

建议患者在被正式诊断为COVID-19时使用患者申请表。他们还被建议每天使用该应用程序,并提供有关他们的日常症状和体温的信息。如果申请结果显示需要住院治疗的可能性很高,而患者目前没有住院,则建议患者联系附近的医疗保健专业人员。如果以前有指定的医生监测患者的日常症状,那么医生可以检查患者的日常状态。使用应用程序的结果,医生就能够对患者是否需要住院治疗做出适当的临床决定。医生得到的结果是根据预测模型计算出来的原始概率。没有设定截止日期,因为截止日期将受到环境因素的影响,例如医院床位的可用性或区域确诊患者人数。

结果预测模型的发展

所有246例患者的基线特征见多媒体附录2.年龄(year)和BMI (kg/m)的均数(SD)2分别为40.72 (SD 17.10)年和3.21 (SD 3.28) kg/m2,分别。167例患者为男性,占67.89%。随访期间最高体温和中位体温的平均值(SD)分别为37.32°C (SD 0.56)和36.75°C (SD 0.42)。最常见的症状是咳嗽(95例,41.13%),去过新冠肺炎疫区的患者有192例(83.12%)。

246例患者中排除1例住院日期遗漏的患者,以估计补氧生存率。随访2469.32人日,18例(7.35%)患者补氧。从住院到检查的中位(IQR)时间为17.64 (IQR 14.24 ~ 21.70)天。3天和5天生存率的Kaplan-Meier估计值分别为0.947 (95% CI 0.919-0.975)和0.930 (95% CI 0.898-0.963)。

表1显示了单变量和多变量Cox比例风险模型的结果。在单因素分析中,10个候选危险因素的结果为P< . 05(表1)。证实高血压(危险比[HR] 3.792, 95% CI 1.423 - -10.109),心血管疾病(HR 12.413, 95% CI 4.069 - -37.869), predisease物理状态(HR 1.854, 95% CI 1.24 - -2.773)、呼吸困难(HR 13.498, 95% CI 4.527 - -40.252),感觉发烧(HR 6.282, 95% CI 2.054 - -19.213),发冷(HR 5.727, 95% CI 1.924 - -17.048),疲劳或嗜睡(HR 6.083, 95% CI 1.989 - -18.607)、年龄(HR 1.075, 95% CI 1.052 - -1.098),和更高的体温(HR 13.147,95% CI 6.849-25.237)是早期补氧的危险因素,而访问爆发地区(HR 0.291, 95% CI 0.095-0.89)被确认为降低补氧风险的危险因素。

表1。单因素和多因素Cox比例风险模型的风险比。
因素 单变量模型,HR一个(95%置信区间) 多变量模型b


Hr (95% ci) P价值
年龄(年) 1.075 (1.052 - -1.098) 1.035 (0.983 - -1.089) 票价
体温b(°C) 13.147 (6.849 - -25.237) 17.431 (2.856 - -106.371) . 01
高血压(是的) 3.793 (1.423 - -10.109) 0.562 (0.033 - -9.437) 结果
化学汽相淀积c(是的) 12.413 (4.069 - -37.869) 0.217 (0.008 - -6.111)
访问爆发地区(是) 0.291 (0.095 - -0.89) 3.381 (0.133 - -86.084) 陈霞
身体状况 1.854 (1.24 - -2.773) 4.259 (1.679 - -10.802) .007
呼吸困难(是的) 13.498 (4.527 - -40.252) 3.878 (0.454 - -33.111)
发烧(是的) 6.282 (2.054 - -19.213) 0.321 (0.05 - -2.073)
发冷(是的) 5.727 (1.924 - -17.048) 0.905 (0.049 - -16.705) .95
累/昏睡(是的) 6.083 (1.989 - -18.607) 1.506 (0.174 - -13.019) .62

一个HR:风险比。

b随时间变化的Cox比例风险模型。

cCVD:心血管疾病。

多因素分析结果显示,体温(HR 17.431, 95% CI 2.856-106.371)是补氧最重要的危险因素。在统计上,身体状况仍然是一个重要的因素(P=.007),其他8个因素均无统计学意义。

检验多变量模型中各因素的比例风险假设(体温除外,因为体温被认为是时变变量)。结果表明,各因素均满足假设(多媒体附录3)。多元模型中各因素间未发现多重共线性及相关关系(多媒体附件45)。

为了证实体温在多变量模型中的作用,我们考虑了一个40岁完全活动的男性病例,没有任何既往病史或症状,并根据体温比较生存率(图3)。在温度为37°C、38°C、38.5°C和39°C时,5天存活率分别为0.994 (95% CI 0.9810-1)、0.906 (95% CI 0.7071-1)、0.663 (95% CI 0.1782-1)和0.180 (95% CI 0.0002-1)。在39℃时,5天存活率迅速下降。

图3。基于体温的生存率预测模型在患者中的应用。图中显示了不同初始体温下的5天存活率。
查看此图

对于多变量模型,总C统计量为0.963 (95% CI 0.936-0.99),时间相关的AUC范围为第3天的0.976至第9天的0.979 (图4)。多媒体附件6为第1天至第10天随时间变化的AUC。每天的数值都在0.96以上。8天及以上的AUC相同,因为7.25天后没有发生结果事件。

图4。患者应用预测模型后3、6和9天,受试者工作特征曲线下的时间依赖面积。
查看此图

根据内部验证的结果估计多变量Cox比例风险模型的性能和有效性表1,第1天至第10天的平均随时间变化的AUC最小为0.749,最大为0.764 (多媒体)。

当用户完成一系列问卷调查后,模型的结果将显示在应用程序的结果部分。结果页面显示基于接收变量的7天生存结果。

多变量logistic模型的结果显示,体温(比值比[OR] 19.106, 95% CI 1.587-229.961)、身体状况(比值比[OR] 5.145, 95% CI 1.539-17.205)和年龄(比值比[OR] 1.099, 95% CI 1.028-1.174)与住院期间补氧有统计学相关性(多媒体附录8)。的P似然比和得分检验的值均小于0.001,Hosmer和Lemeshow检验的值均小于0.001P值为0.99。此外,AUC为0.973 (95% CI 0.9413-1;多媒体附录9)。

平台的评价

可用性研究于2020年5月1日至2020年5月31日对50名参与者进行。参与者的平均年龄为35.9岁,其中35人(70.0%)为男性。所有的参与者都能轻松地完成给定的任务。详细结果见表2.参与者被要求在1-7的范围内回答PSSUQ,“1”表示最同意该陈述。答案的值越低,用户体验越好。总体而言,参与者对该应用程序感到满意,总体平均反应为2.2 (SD 1.1)。问卷中最令人不满意的陈述是第7个陈述(“系统给出错误信息,清楚地告诉我如何解决问题”),平均得分为2.7。然而,在研究过程中没有出现错误,因此许多参与者选择“4”作为回答,代表“中立”。

表2。可用性研究结果(得分范围从1到7,1表示“非常同意”)。
语句 分数,平均值(SD)
1.总的来说,我对使用这个系统的简单程度感到满意。 2.0 (1.0)
2.这个系统使用起来很简单。 2.0 (1.1)
3.使用这个系统,我能够快速完成任务和场景。 2.2 (1.1)
4.我觉得用这个系统很舒服。 2.2 (1.2)
5.这个系统很容易学会使用。 2.0 (1.1)
6.我相信使用这个系统我可以很快变得有效率。 2.0 (1.1)
7.系统给出了错误信息,清楚地告诉我如何解决问题。 2.7 (1.3)
8.每当我在使用系统时犯了错误,我都可以轻松快速地恢复。 2.3 (1.2)
9.该系统提供的在线帮助、屏幕上的消息和其他文档等信息非常清晰。 2.0 (1.0)
10.很容易找到我需要的信息。 2.3 (1.2)
11.这些信息有效地帮助我完成了任务和场景。 2.1 (1.1)
12.系统屏幕上的信息组织是清晰的。 2.0 (1.1)
13.这个系统的界面令人愉快。 2.1 (1.2)
14.我喜欢使用这个系统的界面。 2.1 (1.2)
15.这个系统具有我所期望的所有功能和能力。 2.4 (1.2)
16.总的来说,我对这个系统很满意。 2.1 (1.0)

主要研究结果

在本研究中,我们开发了一个平台,仅使用用户提供的变量,为用户提供最新的循证预测模型,指导他们决定是寻求专业护理还是住院治疗。提供给用户的结果是患者需要补充氧气的概率。因此,在自我隔离期间,患者可以有效、准确地监测自己是否需要住院治疗。医生可以根据预测模型的结果,在需要的时候进行患者的住院选择和风险评估。该平台收集计算预测结果所需的数据,并使用这些数据更新直接提供给用户的预测结果。本研究建立的Cox模型具有较高的准确度,AUC在0.97以上。我们的模型显示体温是供氧最重要的因素。使用PSSUQ进行了可用性研究,结果表明参与者对应用程序普遍满意。

及时的病人选择和军队

该平台目前在国内的军队医院使用。在军事环境中,数据收集和结果预测模型的部署至关重要。如果一名士兵被证实患有这种疾病,那么将会有非常多的人处于危险之中。相比之下,这些患者可能被认为是低风险的,即需要专业护理的可能性很小,因为他们中的大多数人比一般人群更年轻,更健康。这种特殊情况预计会出现病毒的爆炸性传播,但只有少数人需要特别护理,因此在选择患者进行诊断和治疗方面具有更大的重要性。很大一部分确诊患者将不住院,因此有必要对这些患者采取密切和有效的监测方法。然而,该平台的开发考虑到了它在需要时的非军事用途。因此,研究纳入了两家公立医院的患者,以解决这一可能性。

该平台是为满足COVID-19大流行等情况的需求而量身定制的,在这些情况下,这种新型疾病的数据稀缺,而且疾病传播速度如此之快,以至于传统的临床试验不够及时。临床试验是精心设计的,以尽量减少偏见,并清楚地证明一个假设。准确性和可靠性在医疗领域至关重要,但在危急时刻可能需要采取渐进式措施。此外,现实世界的数据可能更能代表临床领域的患者群体[32].然而,从该平台得出的结果应该以补充的方式使用,特别是如果有更可靠的证据,如随机对照试验。

该平台的主要目标是为医生提供支持性措施,以评估患者需要专业护理的风险。病人需要入院的概率以百分比的形式提供给医生(例如,0%-100%)。该模型并不决定患者是否需要住院治疗,而是向医生提供患者的风险信息,以便做出正确的决定。考虑到医疗资源的可用性和COVID-19确诊患者的数量,医生必须决定哪些患者需要住院治疗。该预测模型有望帮助医生提供补充信息,以便更好地优先考虑患者。

结果预测模型的评价

我们在研究中提出的模型使用了来自韩国四个中心的246名患者的数据来预测患者在疾病过程中是否需要住院治疗。采用Cox比例风险比模型对时间相关变量(即体温)进行解释,该模型具有较高的预测精度(C统计量:0.963;第9天的AUC: 0.979)。在模型中选择了10个特征:年龄、体温、高血压史、心血管疾病、去过爆发地区、病前身体状况、呼吸困难、感觉发烧、发冷、疲倦或嗜睡。体温的HR最高(17.431,95% CI 2.856-106.371),其次是病前身体状态(HR 4.259, 95% CI 1.679-10.802)和呼吸困难(HR 3.898, 95% CI 0.454-33.111;表1)。

为模型选择的预测因子大多与以前的报告一致。虽然年龄和合并症已经被确定为严重后果的危险因素[3334],呼吸困难也被发现与疾病进展有关[33].在我们的研究中,体温的影响是最重要的预测因素。例如,一个完全活动的40岁男性患者,没有任何既往病史或症状,很可能需要在5天内补充氧气,在39°C下5天存活率为0.18 (图3)。体温异常是社区获得性肺炎患者严重预后的一个众所周知的危险因素[35].身体状况通常表现为日常生活活动评分,是老年肺炎患者死亡的独立危险因素[3637].

当开发多变量预测模型时,与预测者数量相比的结果事件数量(称为每个变量事件数(EPV))会影响模型的准确性。一般来说,在logistic和Cox模型中,可靠的样本量至少为每个预测因子(变量)10个事件[3839].在我们的模型中,对于最终模型中包含的10个预测因子,该规则不满足。这种低EPV的问题受到系数的准确性和精密度的影响。除样本量外,还存在多重共线性导致系数标准误差被高估的可能性[40],并且由于VIF,预测因子(多媒体附录10)。由于当候选预测因子的数量相对于结果事件的数量较大时,过度拟合最明显发生[41,我们的模型也可能是一个过拟合模型。因此,整个开发样本中的AUC约为0.97 (图4),但内部验证的结果约为0.75 (多媒体)。

在对已建立的Cox模型中几个危险因素的人力资源进行解释时应谨慎。我们通过从单变量模型中只选择统计上显著的变量来构建多变量Cox模型。在单变量模型中,所有危险因素的hr按预期结果风险方向计算。然而,在多变量模型中,高血压、心血管疾病、感觉发烧和前往爆发地区的次数的计算方向与单变量模型的结果不同。与体温和身体状态相比,这些因素的影响相对较弱,且统计显著性消失,因此与单变量模型相比,在解释预估hr时应谨慎。

在建立的Cox比例风险模型中,将随访开始时间定义为患者感染COVID-19的日期是准确的。然而,很难准确估计感染日期。因此,随访开始时间定义为住院日期或患者首次在应用程序中记录数据的日期。无法准确估计患者感染COVID-19的日期与被认为开始随访的日期之间的时间,可以认为是该模型的局限性。

医生应用程序的可用性

对医生的应用程序进行了可用性评估,因为应用程序的使用应该毫不费力,以减轻他们因COVID-19大流行而带来的巨大工作量。此外,该应用程序将用于医生必须监测大量患者的环境中;因此,可用性将产生重大影响。该应用程序很简单,在第一页上显示相关患者的列表,并在单击列表时显示患者的详细信息。因此,使用问卷显示出令人满意的结果,总PSSUQ平均得分为2.2 (SD 1.1)。完成给定任务所需的时间没有记录,但许多参与者在10分钟内完成了任务,并对任务的简单程度感到惊讶。最令人不快的问题是第七个问题,它询问错误信息是否容易被用户理解。由于没有参与者经历错误,问题的结果是不可靠的。

COVID-19的其他应用和结果预测模型

虽然没有证据,但有一些应用程序可以通过在怀疑COVID-19感染时提供行为指导来帮助患者。我们最初开发的应用程序CheckUp Classic和Triage Classic分别提供了基于专家意见的患者选择测试和患者分诊指南。这些应用程序在一个月内的全球访问量超过24万次。此外,苹果公司与疾病预防控制中心合作发布了一款COVID-19筛查工具[42].基于精心设计的算法,还开发了一个自分类和自调度工具。此工具专为与电子医疗纪录[43].

已经开发了一些模型来预测COVID-19患者的预后,并进行了系统评价[44].在回顾中,作者得出结论,所有这些模型在临床环境中都是无用的。这主要是由于不遵守指导方针和数据量小,这两者在没有足够时间的情况下都是不可避免的。在最近的一篇社论中,作者强调了共享数据的重要性,以克服建立这种预测模型的局限性[45].然而,研究人员分享来之不易的患者数据的动机很弱。数据收集对已经占用的卫生保健提供者来说是一个额外的负担。有一些努力收集全国或全球COVID-19患者的数据[4647].

COVID-19估计风险(COVER)是使用通用数据模型开发的模型之一[48].该模型包括9个变量:年龄、性别、癌症史、慢性阻塞性肺病、糖尿病、心脏病、高血压、高脂血症和肾病。它是基于6869127名流感或流感样症状患者开发的。虽然该评分本身最初并不是为COVID-19患者开发的,但它在43061名COVID-19患者中得到了验证。使用AUC测量,COVER-H(预测住院)的表现为0.73-0.81,COVER-I(预测重症监护)的表现为0.73-0.91,COVER-F(预测病死率)的表现为0.82-0.90。

未来的研究

无论用于开发预测模型的数据集的准确性或代表性如何,都应前瞻性地评估该平台的临床效用。来自预测模型的额外信息是否对医生有帮助,或者是否多余,还有待进一步研究。考虑到结果可能因环境因素而异,单一的预测模式是否可以在全世界推广,或者是否应该为每种环境建立单独的模式,这是值得怀疑的。目前,该平台未被考虑作为授权医疗设备进行评估。应在收集大量数据集后进行广泛的前瞻性研究,以充分代表目标人群。

限制

本研究存在局限性。首先,该研究的设计不符合以往任何临床研究指南。这是由于传统临床研究与该平台在范围和目标上的差异。尽管如此,本研究仍容易出现多种偏差,因此本研究的结果应谨慎处理。由于与用户没有直接接触,因此无法对数据进行审计,因此无法确保数据的完整性或准确性。该平台本身是独一无二的,因此研究设计从未得到验证。考虑到患者住院指南取决于多种因素,包括医院容量、政府指南和患者风险,因此不能使用单一的结果衡量标准。因此,主要结局指标——氧气补充量——并不是入院的明确标志。然而,对于我们的数据集,所有病例都被审查,没有患者需要住院而不接受氧气补充。

我们的预测模型是根据多中心数据集开发的。然而,该模型是基于单一种族的小数据集构建的,这可能会导致选择偏差。此外,由于模型没有建立在足够的数据规模上,因此在模型的准确性方面可能存在问题。随着更多的数据采集,我们将加强我们的模型,以扩大应用于模型的人群,并通过对其他患者进行外部验证来增加可推广的可能性。

结论

本研究引入的平台提供循证决策支持,方便、及时地指导患者选择,这在军事领域至关重要。通过精心设计的用户体验和准确的预测模型,该平台可以帮助拯救生命并遏制新型病毒COVID-19的传播。

致谢

我们要感谢韩国武装部队医疗司令部为开发该平台提供人力资源。本研究由韩国健康技术研究与发展项目通过韩国健康产业发展研究所资助,由大韩民国卫生和福利部资助(KHIDIHI19C1015010020)。

利益冲突

没有宣布。

多媒体附件1

为患者的应用收集的变量。

DOCX文件,18kb

多媒体附录2

患者入院时的总体特征。

DOCX文件,21 KB

多媒体附录3

使用Schoenfeld残差对比例风险进行卡方检验。

DOCX文件,15 KB

多媒体附录4

检验全局零假设:多变量Cox比例风险模型的Beta=0。

DOCX文件,14kb

多媒体

多变量Cox比例风险模型中10个预测变量的相关矩阵。

DOCX文件,16 KB

多媒体附件6

多变量Cox比例风险模型下受试者工作特征曲线下的时间依赖面积为1 ~ 10天。

DOCX文件,15 KB

多媒体

受试者工作特征曲线下的平均时间依赖面积从1天到10天不等,采用50次重复随机抽样来估计内部效度。

DOCX文件,14kb

多媒体附录8

多元logistic模型的优势比。

DOCX文件,16 KB

多媒体附录9

多元逻辑模型的整体模型评估结果、拟合优度及预测准确度。

DOCX文件,16 KB

多媒体附录10

方差膨胀因子多重共线性检验结果。

DOCX文件,15 KB

  1. 世卫组织时间表- COVID-19。2020年4月27日。URL:https://www.who.int/news-room/detail/27-04-2020-who-timeline---covid-19[2020-05-03]访问
  2. 纪毅,马忠,Peppelenbosch MP,潘琦。COVID-19死亡率与卫生保健资源可用性的潜在关联。全球医学杂志,2020;8(4):e480 [j]免费全文] [CrossRef] [Medline
  3. 王超,霍比普文,海登方刚,高国锋。引起全球卫生关注的新型冠状病毒爆发。Lancet 2020 Feb;395(10223):470-473。[CrossRef
  4. Ranney ML, Griffeth V, Jha AK。严重供应短缺——COVID-19大流行期间对呼吸机和个人防护装备的需求。中国生物医学工程学报,2016,33(4):444 - 444。[CrossRef
  5. 吴志,McGoogan JM。中国2019冠状病毒病(COVID-19)暴发的特征和重要教训:中国疾病预防控制中心72 314例报告摘要。中国医学杂志2020年4月7日;323(13):1239-1242。[CrossRef] [Medline
  6. Covid-19:发现和隔离无症状者帮助消除了意大利村庄的病毒。中国医学杂志2020年3月23日;368:m1165。[CrossRef] [Medline
  7. 王艳,刘艳,刘丽,王鑫,罗宁,李丽。深圳市55例无症状入院的严重急性呼吸综合征冠状病毒2型患者临床分析中华流行病学杂志;2011;31 (11):563 - 568 [J]免费全文] [CrossRef] [Medline
  8. 胡忠,宋超,徐超,金刚,陈勇,徐翔,等。南京市24例密切接触者无症状感染者临床特征分析中国生命科学,2020;63(5):706-711 [j]免费全文] [CrossRef] [Medline
  9. Trei JS, Johns NM, Garner JL, Noel LB, Ortman BV, Ensz KL,等。腺病毒在地理上分散的军事设施的传播,2007年5月至10月。新兴传染病2010年5月;16(5):769-775。[CrossRef] [Medline
  10. Kak V.密闭空间的感染:游轮、军营和大学宿舍。中华传染病杂志2007;21(3):773- 84,9 [j]免费全文] [CrossRef] [Medline
  11. Lim WS, van der Eerden MM, Laing R, Boersma WG, Karalus N, Town GI,等。社区获得性肺炎严重程度的定义:一项国际衍生和验证研究。中华胸科杂志2003;58(5):377-382。[CrossRef] [Medline
  12. 阮勇,Corre F, Honsel V, Curac S, Zarrouk V, Fantin B,等。CURB-65肺炎严重程度评分在COVID-19门诊治疗中的适用性中国生物医学工程学报;2009;31 (3):391 - 391 [J]免费全文] [CrossRef] [Medline
  13. 石艳,于旭,赵红,王辉,赵荣,盛杰。新型冠状病毒肺炎重症宿主易感性及宿主风险评分的建立:武汉以外487例病例的调查结果。危重护理2020年3月18日;24(1):108 [免费全文] [CrossRef] [Medline
  14. 龚静,欧静,邱霞,杰云,陈毅,袁磊,等。2019年严重冠状病毒病(COVID-19)早期预测工具:一项在中国武汉和广东使用风险图的多中心研究中华临床医学杂志,2010;31 (5):833- 839 [j]免费全文] [CrossRef] [Medline
  15. 白霞,方超,周勇,白松,刘忠,夏林,等。用人工智能技术预测COVID-19恶性进展。SSRN J预印本于2020年3月31日在线发布。[CrossRef
  16. 袁敏,尹伟,陶志,谭伟,胡勇。武汉市新型冠状病毒感染患者影像学表现与死亡率的关系。PLoS One 2020;15(3):e0230548 [j]免费全文] [CrossRef] [Medline
  17. 闫磊,张海涛,Goncalves J,肖勇,王敏,郭勇,等。基于三个临床特征的COVID-19重症感染患者危重程度预测:基于武汉临床数据的机器学习预后模型medRxiv预印本于2020年3月3日在线发布。[CrossRef
  18. 齐欣,姜志,余强,邵超,张宏,岳辉,等。基于机器学习的CT放射组学模型预测SARS-CoV-2感染相关肺炎患者住院时间:一项多中心研究medRxiv预印本于2020年3月3日在线发布。[CrossRef
  19. 卢健,胡松,范锐,刘忠,尹旭,王强,等。ACP风险等级:中国武汉疫情暴发初期确诊或疑似COVID-19患者的简单死亡率指标。SSRN J预印本于2020年2月28日在线发布。[CrossRef
  20. 陈建军,李建军,李建军,等。新型冠状病毒病死率的影响因素分析。medRxiv预印本于2020年2月25日在线发布。[CrossRef
  21. 谢娟,Hungerford D,陈华,Abrams ST,李松,王刚,等。COVID-19住院患者入院预后多变量模型的开发和外部验证。SSRN J预印本于2020年4月6日在线发布。[CrossRef
  22. 周峰,于涛,杜锐,范刚,刘勇,刘震,等。中国武汉成人COVID-19住院患者的临床病程和死亡危险因素:一项回顾性队列研究柳叶刀2020年3月;395(10229):1054-1062。[CrossRef
  23. 李磊,黄涛,王毅,王铮,梁毅,黄涛,等。COVID-19患者临床特征、出院率、病死率meta分析。中华医学杂志;2009;31 (6):577-583 [J]免费全文] [CrossRef] [Medline
  24. 姜飞,邓丽,张丽,蔡艳,bbbbcw,夏铮。2019冠状病毒病(COVID-19)临床特征研究进展。中华临床医学杂志;2010;35(5):1545-1549 [J]免费全文] [CrossRef] [Medline
  25. 李建军,李建军。基于logistic回归模型的生存估计方法研究[J] .中国计算机工程学报,2014;31(1):1- 3。[CrossRef
  26. O ' brien RM。关于方差通胀因素的经验法则的警告。《质量与定量》2007年3月13日;41(5):673-690。[CrossRef
  27. Heagerty P, Lumley T, Pepe M.剔除生存数据的时间相关ROC曲线和诊断标记。生物医学工程学报;2009;26(2):337-344。[CrossRef] [Medline
  28. D.比例风险回归模型的部分残差。生物统计学1982;69(1):239 - 241。[CrossRef
  29. 统计计算语言与环境。R核心团队,2020。URL:https://www.r-project.org/
  30. IBM计算机可用性满意度问卷:心理测量评估和使用说明。[J] .计算机工程学报,1995;7(1):57-78。[CrossRef
  31. DOCL结果预测平台(云端医生)。数字健康地图集。URL:https://digitalatlas.who.int/p/00lNbWygey[2020-05-03]访问
  32. 金莱娜L, Khunti K, Harris SB, Meizinger C, Skolnik NS。现实世界临床数据对临床医生的解释和影响。广告杂志2018年11月;35(11):1763-1774 [j]免费全文] [CrossRef] [Medline
  33. 郑铮,彭峰,徐斌,赵军,刘辉,彭军,等。中国生物医学工程学报(英文版);31 (2):559 - 561 [J]免费全文] [CrossRef] [Medline
  34. bargava A, Fukushima EA, Levine M, Zhao W, Tanveer F, Szpunar SM,等。COVID-19严重感染的预测因素。临床感染杂志2020年5月30日:674 [j]免费全文] [CrossRef] [Medline
  35. Fine MJ, Auble TE, Yealy DM, Hanusa BH, Weissfeld LA, Singer DE,等。社区获得性肺炎低危患者的预测规则中华医学杂志,1997,23(4):344 - 344。[CrossRef] [Medline
  36. 王志强,Muñoz J, Ruiz D, Ris J, Gich I, Coma E,等。老年患者肺炎的预后预测因素:功能评估的重要性。中华老年医学杂志,2004;32(10):1603-1609。[CrossRef] [Medline
  37. 莫迪L,孙R,布拉德利SF。老年人肺炎的评估:功能状态的影响。中华老年病学杂志2006;54(7):1062-1067 [J]免费全文] [CrossRef] [Medline
  38. 张建军,张建军,李建军,等。logistic回归分析中各变量事件数的数值模拟研究。中华临床流行病学杂志,1996;49(12):1373-1379。[CrossRef
  39. 张建军,张建军,张建军,等。比例风险回归分析的研究进展[J]。回归估计的准确性和精密度。中华临床流行病学杂志,1997,18(12):1503-1510。[CrossRef
  40. 哈勒尔菲。回归建模策略及其在线性模型、逻辑回归和生存分析中的应用。纽约州纽约:施普林格;2001.
  41. 李建平,李建平,李建平,等。开发多变量预测模型的最小样本量:第二部分-二元和时间-事件结果。医学统计2019年3月30日;38(7):1276-1296 [j]免费全文] [CrossRef] [Medline
  42. COVID-19筛查工具。苹果和CDC。URL:https://www.apple.com/covid19/[2020-05-04]访问
  43. Judson T, Odisho A, Neinstein A, Chao J, Williams A, Miller C,等。快速设计和实施针对COVID-19的综合患者自我分类和自我调度工具。中国医学信息学报,2020,01;27(6):860-866 [J]免费全文] [CrossRef] [Medline
  44. 李建平,李建平,李建平,等。covid-19感染的诊断和预后预测模型:系统综述和关键评价。英国医学杂志2020年4月7日;369:m1328。[CrossRef] [Medline
  45. 李建军,李建军,李建军,等。新型冠状病毒肺炎诊断和预后预测模型。中国医学杂志2020年4月14日;369:m1464。[CrossRef] [Medline
  46. Kim ES, Chin BS, Kang CK, Kim NJ, Kang YM, Choi J,韩国新冠肺炎临床管理委员会。严重急性呼吸综合征冠状病毒2型感染患者的临床病程及转归——韩国首批28例COVID-19队列研究的初步报告韩国医学杂志2020年4月6日;35(13):e142 [J]免费全文] [CrossRef] [Medline
  47. SARS-CoV - 2感染病例精益公开调查。2020。URL:https://leoss.net/[2020-05-02]访问
  48. Williams RD, Markus AF, Yang C, Salles TD, Duvall SL, Falconer T,等。寻求保护:在国际网络中开发和验证针对COVID-19结果的个性化风险计算器。medRxiv预印本于2020年1月1日在线发布。[CrossRef


AUC:曲线下面积
疾病预防控制中心:疾病控制和预防中心
封面:COVID-19估计风险
抑制- 65:神志不清,尿素,呼吸频率,血压,65岁以上
EPV:每个变量的事件
人力资源:风险比
或者:优势比
PSSUQ:研究后系统可用性问卷
VIF:方差膨胀系数


G·艾森巴赫编辑;提交09.07.20;Z Zrubka, L Grepo的同行评审;对作者的评论30.07.20;收到订正版20.08.20;接受09.10.20;发表04.11.20

版权

©JoonNyung Heo, Ji Ae Park, Deokjae Han, Hyung-Jun Kim, Daeun Ahn, Beomman Ha, Woong Seog, Yu Rang Park。原载于医学互联网研究杂志(//www.mybigtv.com), 2020年11月4日。

这是一篇在知识共享署名许可(https://creativecommons.org/licenses/by/4.0/)下发布的开放获取文章,该许可允许在任何媒介上不受限制地使用、分发和复制,前提是原始作品首次发表在《医学互联网研究杂志》上,并适当引用。必须包括完整的书目信息,到//www.mybigtv.com/上原始出版物的链接,以及版权和许可信息。


Baidu
map