预测重症监护转移和其他不可预见事件:分析模型验证研究和与现有方法的比较gydF4y2Ba

简介gydF4y2Ba

COVID-19对美国医疗保健系统的影响怎么说都不为过。疫情给全国医院带来了前所未有的临床压力，促使重症监护病房(ICU)和低敏锐度野战医院的能力激增，以适应增加的患者负荷。一个能够识别病情恶化风险增加的患者的预测早期预警系统，可以帮助医院维持高水平的患者护理，同时更有效地分配其紧张的资源。然而，最近的一项综述表明，缺乏高质量的COVID-19患者恶化的经过验证的模型[gydF4y2Ba1gydF4y2Ba］．本综述中评价的所有16个模型都被评为高偏倚风险或不明确风险，主要是因为选择的对照组患者不具有代表性。一个主要问题是，这些模型可能过度拟合目前可用的小型COVID-19数据集。gydF4y2Ba

在COVID-19大流行之前，医院已经并将继续应用早期预警系统，以在患者病情恶化事件发生之前预测病情，为卫生保健提供者提供干预时间[gydF4y2Ba2gydF4y2Ba］．对ICU入院和死亡等不良事件的预测为避免即将到来的严重恶化提供了重要信息;据估计，85%的此类事件发生前都有可检测到的生理体征变化[gydF4y2Ba3.gydF4y2Ba]可能在活动前48小时内发生的情况[gydF4y2Ba4gydF4y2Ba］．此外，通过早期干预，约44%的事件是可以避免的[gydF4y2Ba5gydF4y2Ba]， 90%的非计划转到ICU的患者在出现新的或恶化的病情之前[gydF4y2Ba6gydF4y2Ba，gydF4y2Ba7gydF4y2Ba］．这种异常信号表明，预测数据分析可用于提醒提供者早期恶化事件，最终导致改善护理和降低成本[gydF4y2Ba8gydF4y2Ba，gydF4y2Ba9gydF4y2Ba］．鉴于COVID-19的病理生理学存在许多未知因素，早期预警系统可能在治疗患者和改善预后方面发挥关键作用。gydF4y2Ba

在COVID-19患者中评估的一个模型是Epic恶化指数(EDI;Epic Systems Inc) [gydF4y2Ba10gydF4y2Ba，gydF4y2Ba11gydF4y2Ba］．EDI是一种专有的临床早期预警系统，旨在识别病情恶化风险增加和可能需要更高水平护理的患者。EDI与基于covid -19特定数据建立的模型相比具有优势，因为它不会过度拟合小数据集，因为它是在超过13万次遭遇中训练的[gydF4y2Ba11gydF4y2Ba，gydF4y2Ba12gydF4y2Ba］．最近的研究表明，它可能能够根据病情恶化的风险对COVID-19患者进行分层[gydF4y2Ba11gydF4y2Ba］．本研究中使用的结果是那些被认为与COVID-19患者护理最相关的结果，包括ICU护理水平、机械通气和死亡。尽管EDI能够成功地将恶化风险非常高和非常低的患者组分离出来，但作为连续预测因子，其总体表现中等偏低(受试者工作特征曲线下面积[AUROC] 0.76, 95% CI 0.68-0.84;(n = 174)gydF4y2Ba11gydF4y2Ba］．此外，围绕EDI结构和内部验证的许多细节还没有公开。这使得对个别预测的解释变得困难。由于不使用Epic电子健康记录(EHR)系统的医院可能无法访问EDI预测，我们还评估了公开可用的国家早期预警评分(NEWS)作为二次比较。gydF4y2Ba

在这项研究中，我们将先前描述的预测重症监护转移和其他不可预见事件(图)模型应用于一组COVID-19检测呈阳性的患者[gydF4y2Ba13gydF4y2Ba］．该模型最初用于预测普通病房的患者病情恶化，我们对其进行了重新训练，以针对那些被认为与COVID-19大流行最相关的结果:ICU护理水平、机械通气和死亡。PICTURE与EDI一样，是在一个大型非covid -19队列中进行训练和调整的，其中包括患有和没有传染性疾病的患者(131546次接触)。此外，我们在PICTURE框架中采取了广泛的步骤来限制数据中的过拟合和学习缺失模式，例如一种新的imputation机制[gydF4y2Ba13gydF4y2Ba］．这对于为临床医生提供新颖、有用和可推广的警报至关重要，因为缺失的模式在不同的环境和不同的患者表型中可能有所不同[gydF4y2Ba13gydF4y2Ba］．除了风险评分，PICTURE还以Shapley值的形式为其预测提供了可操作的解释，这可能有助于临床医生轻松地解释评分，并更好地确定是否需要对警报采取行动[gydF4y2Ba14gydF4y2Ba］．我们在非COVID-19队列和住院检测COVID-19阳性的患者中验证了该系统，并将其与相同匹配队列中的EDI和NEWS进行了比较。gydF4y2Ba

方法gydF4y2Ba

环境和研究人群gydF4y2Ba

该研究方案已获得密歇根大学机构审查委员会(HUM00092309)的批准。EHR数据收集自2014年1月1日至2020年11月11日的大型三级学术医疗系统(密歇根医学)。前5年数据(2014-2018;N =131,546次相遇)用于训练和验证模型，而2019年的数据被保留为抵抗测试集(N =33,472次相遇)。训练、验证和测试人群被分割，以防止集合之间多家医院相遇的重叠。这三个队列的纳入标准定义为18岁或以上，并在普通病房住院(有住院或其他观察状态)。我们排除了出院到临终关怀且ICU转诊来自普通病房以外楼层(如手术或介入放射科)的患者，以排除计划中的ICU转诊。我们还排除了使用左心室辅助装置的患者，以避免人工血压读数。gydF4y2Ba

要纳入COVID-19队列(n=637次接触)，患者必须因COVID-19诊断入院，并在接触期间接受密歇根医学的COVID-19检测呈阳性。然后使用2019年测试集中使用的相同标准对这些患者进行过滤，除了临终关怀的区别。仅纳入出院患者或已经历不良事件的患者。gydF4y2Ba表1gydF4y2Ba描述研究队列和个别不良事件的发生频率。与2019年以来的非covid -19检测队列相比，黑人和亚洲患者的比例明显更高(黑人:4214/33,472,12.6% vs 220/637, 34.5%;gydF4y2BaPgydF4y2Ba<措施;亚洲:686/33,472,2.0% vs 29/637, 4.6%;gydF4y2BaPgydF4y2Ba<措施)。不良事件发生率也较高，从4.0%(1337/33,472)上升到24.3% (155/637;gydF4y2BaPgydF4y2Ba<措施)。gydF4y2Ba

预测gydF4y2Ba

用作预测因子的变量从EHR中收集，广泛包括生命体征和生理观察、实验室和代谢值以及人口统计学。我们根据之前的分析选择了特定的特征[gydF4y2Ba13gydF4y2Ba］．模型中使用的生命体征包括心率、呼吸频率、脉搏血氧饱和度、格拉斯哥昏迷量表(GCS)、排尿量和血压。实验室和代谢特征包括电解质浓度、葡萄糖和乳酸，以及血细胞计数。人口统计数据包括年龄、身高、体重、种族和性别。输液和补氧也包括在内。的表S1列出了完整的特性列表gydF4y2Ba多媒体附件1gydF4y2Ba以及他们各自的中位数、IQR和失误率。以治疗为中心的变量(如药物管理)在很大程度上被排除在外，类似于Gillies等人所描述的缺失标志[gydF4y2Ba13gydF4y2Ba]，由于疾病(如COVID-19)或机构之间的护理模式变化，模型生成的分数对临床医生来说可能不那么具有普遍性和创新性。gydF4y2Ba多媒体附件1gydF4y2Ba表S2更详细地描述了将药物作为特征的影响。gydF4y2Ba

结果gydF4y2Ba

训练、验证和非covid -19测试队列(2014年至2019年收集的数据)的主要结局是死亡、心脏骤停(由美国心脏协会定义)gydF4y2Ba遵循指南gydF4y2Ba)，从普通病房或类似病房转到ICU，或需要机械通气。根据实际位置或住宿级别确定ICU转移。COVID-19阳性队列的结果在两个方面略有不同。首先，在撰写本文时还没有心脏骤停的信息，因此不包括在内。其次，医院为适应大量COVID-19患者而采取的紧急程序导致在非icu环境中提供重症监护。因此，“ICU级别的护理”用于表示由ICU工作人员治疗或给予ICU级别的护理，但可能没有实际居住在先前划分为ICU病床的病床上的患者。这些信息来自入院、出院和转院表。除实际位置外，还使用护理水平来确定COVID-19患者的ICU转移。我们放弃了在第一个事件发生前30分钟或更晚发生的观测，以与其他方法一致[gydF4y2Ba15gydF4y2Ba］．对于观测级别的预测，如果个别观测发生在上述任何事件的24小时内，则标记为阳性，否则标记为阴性。我们将这些复合不良事件称为gydF4y2Ba结果gydF4y2Ba或gydF4y2Ba目标gydF4y2Ba贯穿全文。这些结果的设计是为了密切遵循密歇根医学院最近对EDI的分析[gydF4y2Ba11gydF4y2Ba］．gydF4y2Ba

为了验证我们自动生成标签的准确性，一名临床医生(作者MRM)手动检查了20次患者病历，以确定患者是否感染了COVID-19，记录的事件是否真的发生了，以及事件是否在计划外。为此，我们从每个就诊次数超过8次的患者服务中随机抽取了两次就诊(一次是积极的，另一次是消极的，如果有的话)，以确保所有服务中标签的准确性。结果是20次接触的样本，其中11次是积极的。临床医生对每一次遭遇所记录的感兴趣事件进行复查，以确定事件是否发生，是否紧急(非计划)。对于被标记为阴性的患者，临床医生审查了整个患者图表，以确保在遭遇期间没有不良事件发生。结果表明，20例患者均感染了COVID-19，所有标签和事件时间均准确，所有事件均为计划外事件。这为自动生成的结果准确识别非计划不良事件提供了证据。gydF4y2Ba

模型开发gydF4y2Ba

为了训练和评估PICTURE模型，我们将数据分为四部分:使用2014年至2018年数据的训练和验证集，使用2019年数据的测试集，以及由COVID-19阳性患者的数据组成的第四组。我们对集合进行了划分，将同一个体的多次医院遭遇限制在一个队列中，防止队列之间的患者水平重叠。入院日期为2014年1月1日至2018年12月31日的病例被用于训练、验证和超参数调优(n= 131546例病例)。这些患者被进一步划分为训练组和验证组，比例为80%/20%。入院日期在2019年1月1日至12月31日之间的患者被保留为坚持测试集(n=33,472次相遇)。最后，2020年3月1日至9月11日期间COVID-19检测呈阳性的患者被保留为单独的一组(n=637例)。gydF4y2Ba图1gydF4y2Ba显示此描述的图形概述。gydF4y2Ba

‎gydF4y2Ba 查看此图gydF4y2Ba

由于EHR以长格式存储数据(每个新行对应于新时间点的新测量值)，因此首先将其转换为宽结构，以便每个观察值代表给定患者在给定时间点的所有特征。训练集和验证集被分组为8小时窗口，以确保每次遭遇在医院中有相同数量的观察时间，避免强调在训练模型时获得更频繁更新的患者，如Gillies等人所述[gydF4y2Ba13gydF4y2Ba］．2019年和COVID-19的测试集以颗粒状格式保存，每一次新的观察都代表新数据的添加(例如，更新的生命体征)。生命体征和实验室值是向前填充的，因此每个观察结果都代表了当时可用的最新信息，唯一的时间序列调整变量是氧气补充、氧气设备使用和脉搏血氧仪(SpO)测量的氧饱和度gydF4y2Ba_2gydF4y2Ba)，以最大值(氧气补充和装置)或最小值(SpOgydF4y2Ba_2gydF4y2Ba)。否则，每次观测只包含截至该时间点的最新数据，而不考虑历史值。剩余的缺失值使用多元贝叶斯回归模型的后验分布的均值迭代估算。这种方法之前已经被证明可以降低基于树的模型学习缺失模式的程度，以提高性能[gydF4y2Ba13gydF4y2Ba］．分类是使用极端梯度增强模型(v 0.90)实现的，这是一个梯度增强树框架的开源实现，可以使用先前结果的误差来适应额外的迭代[gydF4y2Ba16gydF4y2Ba］．该模型采用二元交叉熵目标函数，最大树深度为3个节点，学习率为0.05，没有最小损失降低，均匀采样，子样本参数为0.6，当精度-召回曲线(AUPRC)下的验证区域在30轮内没有改善时停止。该模型被独立地应用于个别观测，也就是说，该模型使用了最新的可用信息(通过正向填充)。从这个意义上说，除了上述变量之外，时间依赖性并没有被建模。所有分析均使用Python 3.8.2 (Python软件基础)进行。gydF4y2Ba

史诗劣化指数和新闻gydF4y2Ba

EDI是Epic系统公司开发的专利模型。密歇根医学院使用Epic作为其电子病历系统，并有权使用EDI工具。与PICTURE类似，它使用EHR中通常可用的临床数据来预测患者病情恶化。使用类似的复合结局进行训练，包括死亡、ICU转移和复苏作为不良事件[gydF4y2Ba11gydF4y2Ba］．每15分钟计算一次。有关其结构、参数或训练程序的具体细节尚未公开。gydF4y2Ba

NEWS是由皇家内科医师学会开发的第二个指标，用于检测病情恶化事件(如心脏骤停、ICU转院和死亡)风险增加的患者[gydF4y2Ba17gydF4y2Ba，gydF4y2Ba18gydF4y2Ba］．与基于专有系统的EDI相比，NEWS评分的基础是公开的。NEWS分数的计算基于Smith等人描述的算法[gydF4y2Ba17gydF4y2Ba］．选择原始的NEWS评分，而不是更新的NEWS2评分，因为有证据表明，在预测呼吸衰竭风险患者的不良事件时，它的表现更高[gydF4y2Ba19gydF4y2Ba］．gydF4y2Ba

模型评价gydF4y2Ba

评估非covid -19队列的PICTURE表现gydF4y2Ba

我们首先评估了PICTURE模型在由2019年患者组成的坚持测试集中所有33,472次遭遇中的表现。在初步分析中，使用另一个预警综合评分NEWS进行比较[gydF4y2Ba17gydF4y2Ba，gydF4y2Ba18gydF4y2Ba］．对于每个观察时间点，根据他们公布的评分系统计算NEWS评分，并与PICTURE评分进行比较。绩效评估分为两个尺度:观察水平和遭遇水平。这个词gydF4y2Ba观察水平gydF4y2Ba用于表示每次更新患者数据时模型的性能，在目标事件发生前24小时发生的观察标记为1，否则标记为0。遭遇水平描述了一个病人在整个医院遭遇的模型表现。它指的是患者住院期间的最大模型评分，发生在入院到至少30分钟之间(或更长的时间对于不同的最小提前时间;参见第一次事件前的非covid -19队列中PICTURE与EDI的比较部分)。在这种情况下，如果患者在住院期间遇到了结果条件，则目标为1，否则为0。gydF4y2Ba

PICTURE与EDI的比较gydF4y2Ba

由于EDI每15分钟进行一次预测，因此我们模拟了每次新数据点到达时以不规则的间隔计算的PICTURE分数如何与EDI对齐。这将2019年测试集的可用相遇次数限制在21740次，COVID-19队列的可用相遇次数限制在607次。通过在EDI预测之前进行最近的PICTURE预测，将PICTURE分数合并到EDI值上。这是为了在校准过程中给予EDI任何优势。gydF4y2Ba图2gydF4y2Ba显示此对齐的可视化原理图。然后，我们使用前一节中描述的相同的观察级和遭遇级方法来评估这两个模型。gydF4y2Ba

‎gydF4y2Ba 查看此图gydF4y2Ba

性能的措施gydF4y2Ba

AUROC和AUPRC作为模型间比较的主要标准。AUROC可以解释为两个随机选择的观测值(一个具有积极的目标，另一个具有消极的目标)按模型预测分数的正确顺序排序的概率。AUPRC描述了敏感度范围内的平均阳性预测值(PPV)。我们还用自举方法计算了95%的遭遇级统计ci，使用1000次复制来计算关键ci。对于观察级统计，块引导被用于确保偶遇之间和偶遇观察内的随机化。gydF4y2BaPgydF4y2Ba通过计算自举检验统计量小于0的分数来计算AUROC差异值。如果没有测试统计量大于0的模拟，则gydF4y2BaPgydF4y2Ba值记录为gydF4y2BaPgydF4y2Ba<措施。gydF4y2Ba

特征排序与预测解释gydF4y2Ba

尽管越来越先进的机器学习模型带来了许多好处，但这些模型在医疗领域的使用却落后于其他领域。其中一个影响因素是其复杂性，这使得所得到的预测难以解释，进而难以建立临床医生的信任[gydF4y2Ba20.gydF4y2Ba］．为了更好地提供对PICTURE预测的洞察，对每个观测计算了基于树的Shapley值。借用博弈论，Shapley值描述了一个特征对模型预测的相对贡献[gydF4y2Ba14gydF4y2Ba，gydF4y2Ba21gydF4y2Ba］．正值表示影响模型走向高预测得分的特征(这里表示不良事件的可能性更高)，而负值表示该特征推动模型走向较低的预测得分。单个预测的Shapley值之和加上模型的平均log-odds概率与预测概率的log-odds成正比。沙普利值可用于提供对单个模型预测的洞察，或聚合以可视化全局变量的重要性。gydF4y2Ba

校正及警报阈值gydF4y2Ba

PICTURE和EDI都不是经过校准的分数——也就是说，即使它们的输出范围从0到1(在EDI的情况下是0到100)，这些值也不能反映退化的概率[gydF4y2Ba11gydF4y2Ba］．此外，PICTURE和EDI都在非covid -19患者队列中进行了训练。它们的事件率要低得多，因此可能需要不同的警报阈值。描述PICTURE和EDI分数分位数与计算风险的校准曲线用于演示PICTURE和EDI分数与估计概率的偏差。然后检查几个模拟的图片报警阈值，通过将其与Singh等人建议的EDI阈值对齐来计算。gydF4y2Ba11gydF4y2Ba]通过敏感性、特异性、PPV和阴性预测值(NPV)。在这些阈值处的性能模拟了临床医生收到警报的时间和频率。还突出显示了来自示例患者的数据，以演示这些警报阈值和Shapley值如何相互作用，为临床医生提供可操作的见解。gydF4y2Ba

结果gydF4y2Ba

非covid -19队列中图像表现的验证gydF4y2Ba

首先使用2019年抵制测试集中的33,472次遭遇评估了PICTURE模型准确预测复合目标的能力。为了提供比较基线，NEWS分数与每个PICTURE预测输出一起计算。观测级和相遇级AUROC和AUPRC均以95% ci表示gydF4y2Ba表2gydF4y2Ba．观察级事件率可以解释为24小时内发生不良事件的个别观察的百分比，而遭遇级事件率是指发生此类事件的医院遭遇的比例。PICTURE和NEWS的AUROC差值为0.068 (95% CI 0.058-0.078;gydF4y2BaPgydF4y2Ba在观察水平上<.001)和0.064 (95% CI 0.055-0.073;gydF4y2BaPgydF4y2Ba<.001)。AUPRC的差异同样显著，为0.041 (95% CI 0.031-0.050;gydF4y2BaPgydF4y2Ba<.001)和0.141(95%可信区间0.120-0.162;gydF4y2BaPgydF4y2Ba分别在观察和遭遇级别上<.001)。gydF4y2Ba

非covid -19队列中PICTURE与EDI的比较gydF4y2Ba

然后将PICTURE与2019年同一坚持测试集中非covid -19患者的EDI模型进行比较。由于可用EDI分数的限制，相遇次数限制在21,740次。这些时间匹配分数再次在观察和相遇水平上使用AUROC和AUPRC进行评估(gydF4y2Ba表3gydF4y2Ba)．面板A和B在gydF4y2Ba图3gydF4y2Ba显示相关的受试者工作特征(ROC)和精度-召回率(PR)曲线，用于观察水平的表现。在两个观察水平上，PICTURE和EDI的AUROC和AUPRC差异均达到显著性(AUROC 0.056, 95% CI 0.044-0.068;gydF4y2BaPgydF4y2Ba<措施;Auprc 0.033, 95% ci 0.021-0.045;gydF4y2BaPgydF4y2Ba<.001)和相遇水平(AUROC 0.056, 95% CI 0.046-0.065;gydF4y2BaPgydF4y2Ba<措施;Auprc 0.094, 95% ci 0.069-0.119;gydF4y2BaPgydF4y2Ba<措施)。NEWS结果同样显著，并被包括在gydF4y2Ba表3gydF4y2Ba进行比较。gydF4y2Ba

‎gydF4y2Ba 查看此图gydF4y2Ba

除了分类性能，前置时间是预测分析效用的另一个关键组成部分。提前时间是指警报和实际事件之间的时间，它决定了临床医生根据模型的建议采取行动的时间。我们通过排除不良事件发生前0.5小时、1小时、2小时、6小时、12小时和24小时的数据，并计算遭遇级别的性能，以阈值独立的方式评估了模型在不同提前时间的相对性能(gydF4y2Ba表4gydF4y2Ba)．在我们的队列中，PICTURE的AUROC和AUPRC显著较高(gydF4y2BaPgydF4y2Ba<.001)，即使考虑到实际事件发生前24小时或更早的预测。gydF4y2Ba

COVID-19患者的PICTURE与EDI比较gydF4y2Ba

当应用于COVID-19检测呈阳性的患者时，PICTURE表现同样良好。使用PICTURE和EDI的比较部分概述的过程，将PICTURE分数再次与EDI分数对齐。结果包括607次遭遇战。gydF4y2Ba表5gydF4y2Ba在95% ci的观测和遭遇水平上，给出了PICTURE和EDI的AUROC和AUPRC值，并包括NEWS分数进行比较。面板C和D在gydF4y2Ba图3gydF4y2Ba显示相应的ROC和PR曲线。在观察水平上，PICTURE与EDI的AUROC和AUPRC差异达到统计学意义(α=5%) (AUROC 0.046, 95% CI 0.021-0.069;gydF4y2BaPgydF4y2Ba<措施;Auprc 0.043, 95% ci 0.006-0.071;gydF4y2BaPgydF4y2Ba=.002)和相遇水平(AUROC 0.093, 95% CI 0.066-0.118;gydF4y2BaPgydF4y2Ba<措施;Auprc 0.155, 95% ci 0.089-0.204;gydF4y2BaPgydF4y2Ba<措施)。值得注意的是，观测水平上的EDI结果(AUROC 0.803, 95% CI 0.771-0.838)与先前验证中描述的结果相似(AUROC 0.76, 95% CI 0.68-0.84)，尽管由于样本量较大，置信区间较小[gydF4y2Ba11gydF4y2Ba］．在COVID-19患者中，PICTURE和NEWS的AUROC和AUPRC差异在观察水平上也达到了显著性(α=5%) (AUROC 0.104, 95% CI 0.075-0.129;gydF4y2BaPgydF4y2Ba<措施;Auprc 0.076, 95% ci 0.033-0.105;gydF4y2BaPgydF4y2Ba<.001)和相遇水平(AUROC 0.122, 95% CI 0.090-0.154;gydF4y2BaPgydF4y2Ba<措施;Auprc 0.224, 95% ci 0.151-0.290;gydF4y2BaPgydF4y2Ba<措施)。gydF4y2Ba

与非covid -19队列一样，在进一步提前预测时，进行了类似的前置时间分析，以评估PICTURE和EDI的表现。再次在事件发生前0.5小时、1小时、2小时、6小时、12小时和24小时设置阈值，并排除在此截止时间后发生的观察。在我们的队列中，即使在提前24小时进行预测时，PICTURE也再次优于EDI (gydF4y2Ba表6gydF4y2Ba)．gydF4y2Ba

预测解释gydF4y2Ba

为了向临床医生提供影响给定PICTURE评分的因素的描述，我们使用在每次观察时计算的Shapley值。gydF4y2Ba图4gydF4y2Ba描述了2019年测试集(面板A)和COVID-19测试集(面板B)中20个最具影响力的特征的汇总摘要。正的Shapley值表明变量将PICTURE评分推向积极的决策(即预测不良事件)。尽管在2019年和COVID-19队列中，许多特征排名似乎相似，但我们注意到呼吸频率、氧支持和SpO等呼吸变量gydF4y2Ba_2gydF4y2Ba在预测COVID-19阳性患者的不良事件方面比非COVID-19患者发挥更显著的作用。gydF4y2Ba多媒体附件1gydF4y2Ba图S1 [gydF4y2Ba22gydF4y2Ba］．提供了一些变量(如呼吸频率和温度)的扩展细节，这些变量的沙普利值似乎不随其大小而单调增加。值得注意的一点是，氧气支持量在两个队列中都发挥了重要作用。虽然EDI没有使用氧气支持量作为连续变量，但它确实有一个称为“氧气需要量”的特征[gydF4y2Ba11gydF4y2Ba］．为了证明所观察到的PICTURE优于EDI的改进不仅仅是由这些额外的信息驱动的，氧气支持被二值化，并对PICTURE模型进行了重新训练。尽管表现有所下降，这表明将氧气支持作为一个连续变量在预测恶化方面是有用的，但在非COVID-19队列(AUROC差值为0.057,AUROC差值为0.082)和COVID-19队列(AUROC差值为0.035,AUPRC差值为0.050)中，PICTURE仍然优于EDI。因此，氧气支持本身并不能解释PICTURE和EDI性能之间的差异。gydF4y2Ba

‎gydF4y2Ba 查看此图gydF4y2Ba

校正及警报阈值gydF4y2Ba

PICTURE评分和EDI评分均提示患者病情恶化的风险;然而，这两个分数都没有作为概率进行校准。因此，警报阈值可以提供一种方便的机制来决定是否提醒临床医生他们的病人处于增加的风险中。之前一项评估COVID-19患者使用EDI的研究发现，EDI得分为64.8或更高可作为识别风险增加患者的可行阈值[gydF4y2Ba11gydF4y2Ba］．由于PICTURE评分与EDI评分在不同的尺度上，因此需要校准以模拟PICTURE警报阈值。gydF4y2Ba

图5gydF4y2Ba描述了PICTURE和EDI评分的分布，以及将PICTURE和EDI分位数与观察到的风险进行比较的校准曲线。在该图中，EDI分数从0-100重新缩放到0-1，而原始PICTURE分数与使用单调递增函数(logit变换)转换的分数一起显示，并缩放到0-1的范围。根据这条曲线，EDI似乎高估了风险，而PICTURE可能低估了风险。然而，这两个指标都不是用来反映概率的。为了更接近概率，普氏标度或等张回归等技术可能会在未来改进校准。gydF4y2Ba多媒体附件1gydF4y2Ba图S2说明了由积极和消极结果分开的分数分布，并表明PICTURE评分可能提供更多的患者之间的分离，这是EDI之前已被证明难以解决的问题[gydF4y2Ba11gydF4y2Ba］．gydF4y2Ba

‎gydF4y2Ba 查看此图gydF4y2Ba

为了模拟临床医生何时可能收到来自PICTURE系统的警报，选择了四个阈值，并根据观察到的EDI评分的敏感性、特异性、PPV和NPV进行对齐，使用Singh等人提出的64.8值[gydF4y2Ba11gydF4y2Ba］．作为一个例子，gydF4y2Ba按灵敏度对齐gydF4y2Ba阈值列于gydF4y2Ba表7gydF4y2Ba通过确定灵敏度为0.448的PICTURE阈值，与EDI的阈值相匹配而得到。这些阈值中的每一个，以及它们通过F1分数测量的表现，都与EDI进行了比较，并被包括在gydF4y2Ba表7gydF4y2Ba．检查与检测比率计算为1 / PPV，表示临床医生可能收到的每个真阳性假警报的数量[gydF4y2Ba6gydF4y2Ba］．对于PICTURE，根据所使用的阈值，在遭遇水平上，检查与检测的比值范围为1.46至1.52，而EDI为1.71。根据每个阈值还显示警报和不良事件之间的中位数时间。其中包括描述模型在每个阈值处的性能的混淆矩阵gydF4y2Ba多媒体附件1gydF4y2Ba(表S3)。gydF4y2Ba

讨论gydF4y2Ba

非covid -19队列中图像表现的验证gydF4y2Ba

PICTURE在每一次观测中都对所包含的特征进行预测。评估PICTURE性能的一个自然起点是这个粒度级别。使用Gillies等人概述的一般结构[gydF4y2Ba13gydF4y2Ba]，我们更新了PICTURE模型，以反映24小时内死亡、ICU转院或住院和机械通气的目标结局。对2019年33,472次遭遇的数据进行了测试，以确保其性能(观察水平AUROC 0.821)与Gillies等人的描述合理一致[gydF4y2Ba13gydF4y2Ba］．同时还将其与NEWS评分进行了比较，发现其表现显著优于NEWS (AUROC 0.753)。这些结果证实了Gillies等人的发现[gydF4y2Ba13gydF4y2Ba]使用2019年的数据而不是2018年的数据。它们还提供了一个比较基线，因为我们可以在统一的时间间隔而不是每次观察中进行预测。gydF4y2Ba

非covid -19队列中PICTURE与EDI的比较gydF4y2Ba

EDI不会对每个特征观测都做出预测;相反，它每15分钟做出一次预测。为了提供与EDI的直接比较，我们对PICTURE分数进行了子集化，并将其与EDI分数进行时间匹配，如Performance Measures一节中所述。在这组非covid -19患者中，PICTURE的AUROC显著优于EDI，观察水平AUROC为0.819，而EDI的AUROC为0.763。这种性能差距延续了多个周期，即使仅限于不良事件发生前24小时或更长时间收集的数据，PICTURE的性能仍然很高，AUROC为0.808，而EDI的AUROC降至0.759。这些结果表明，在密歇根大学医院使用PICTURE而不是EDI将导致更少的错误警报。尽管模型被迫在不良事件发生前更长的时间内做出预测，但PICTURE仍然保持了性能的改善。gydF4y2Ba

COVID-19患者的PICTURE与EDI比较gydF4y2Ba

随着EDI越来越多地被研究为衡量COVID-19患者恶化风险的可行指标[gydF4y2Ba11gydF4y2Ba]，我们试图将我们自己的恶化模型PICTURE应用于COVID-19患者队列。尽管这两个模型都是在非COVID-19普通病房患者中进行训练和验证的，但它们在我们的COVID-19患者队列中的表现与它们在非COVID-19队列中的各自结果相当一致。即使样本量较低(n=607次相遇)，图显著(gydF4y2BaPgydF4y2Ba=.002)优于EDI，其观察水平AUROC为0.849，而EDI的AUROC为0.803。在不良事件发生前24小时或更长时间，PICTURE的领先优势再次保持，AUROC为0.808，而EDI的AUROC为0.740。这些结果表明，对COVID-19患者使用PICTURE而不是EDI将减少警报疲劳。gydF4y2Ba

一个重要的讨论点是，在COVID-19患者中观察到的恶化率要高得多(20.6% vs 4.21%)。这可能是由于与普通病房人群相比，病毒的严重程度以及在大流行早期面临疾病的临床医生所支持的积极治疗方案的综合作用，而这种疾病代表着许多未知。因此，COVID-19患者和普通病房患者之间的校准和警报阈值部分中提出的阈值选择可能不同。与普通测试集相比，当应用于COVID-19患者时，PICTURE分析(以AUROC衡量)的性能略有提高(尽管95% ci重叠)，这表明COVID-19患者可能是一项更容易的分类任务。这得到了以下事实的支持:通过观察水平AUROC (0.763 vs 0.803)衡量，EDI在COVID-19队列中的表现也更好，尽管这一增加在遭遇水平的结果中没有持续(AUROC 0.803 vs 0.802)。gydF4y2Ba

预测解释gydF4y2Ba

PICTURE模型的一个关键特征是它使用Shapley值来帮助向临床医生解释个人预测。这些解释有助于增加模型的可解释性，允许临床医生评估单个模型评分，并确定潜在的下一步、后续测试或治疗计划。gydF4y2Ba图4gydF4y2Ba描述了COVID-19和非COVID-19队列中所有观测值的沙普利值汇总。在非covid -19患者中，高氧支持，高尿素氮(BUN)，极高或极低呼吸频率，低SpOgydF4y2Ba_2gydF4y2Ba，低GCS是模型中与高风险评分最相关的前五个特征。COVID-19队列产生了相同的前5个特征，但重新排序了呼吸参数(呼吸频率、氧支持和SpO)gydF4y2Ba_2gydF4y2Ba)排名高于BUN和GCS。值得注意的是，温度是两个队列之间改变方向的少数特征之一。在非COVID-19患者中，高温与低至中等风险相关，而COVID-19患者的高温往往表明风险评分最高。总的来说，两个队列的总体特征解释是相似的，并且在很大程度上与临床医生的直觉一致。然而，这几个关键差异可能反映了在护理COVID-19患者时面临的一些独特挑战。gydF4y2Ba

校正及警报阈值gydF4y2Ba

模拟警报阈值的计算基于Singh等人提出的EDI阈值的衍生灵敏度、特异性、PPV和NPV [gydF4y2Ba11gydF4y2Ba］．对于四个阈值中的每一个，根据其他四个指标，PICTURE都优于EDI，如图所示gydF4y2Ba表7gydF4y2Ba．例如，当调整图片警报阈值使其灵敏度与EDI的灵敏度(0.448)相匹配时;特异性(0.946)、PPV(0.683)和NPV(0.869)均高于EDI(分别为0.917、0.583和0.865)。此外，根据所使用的阈值，PICTURE的检测比从1.46到1.52不等，而EDI的检测比为1.71。这表明，对于每一次真正积极的遭遇，PICTURE可能会产生高达17%的假阳性。gydF4y2Ba

案例研究gydF4y2Ba

为了演示PICTURE的潜在用途，选择了一个单独的医院遭遇，在中可视化了PICTURE和EDI的轨迹gydF4y2Ba图6gydF4y2Ba．EDI得分阈值为64.8，由Singh等人提出[gydF4y2Ba11gydF4y2Ba]，并描述了灵敏度对齐和ppv对齐的PICTURE阈值。请注意，直到不良事件发生前大约12.5小时(在这种情况下，转移到ICU护理级别)，PICTURE评分仍保持低水平，此时它超过了ppv对齐阈值。在事件发生前大约11小时，PICTURE评分的峰值值为0.235，超过了灵敏度对齐阈值0.165。在最初的峰值之后，PICTURE评分继续升高，保持在ppv对齐阈值0.048之上，直到患者转移。相比之下，EDI得分从未超过其警戒阈值，并且随着PICTURE得分的增加而下降。gydF4y2Ba

为了模拟从PICTURE接收警报的临床医生可能遇到的情况，在两个警报阈值处解释PICTURE预测的Shapley值被记录在gydF4y2Ba表8gydF4y2Ba．注意，这些解释主要是由呼吸特征，尽管心率和温度也存在。虽然这些特征在预测ICU护理需求方面似乎很明显，但值得强调的是，EDI并没有将该患者确定为有风险的患者。gydF4y2Ba

‎gydF4y2Ba 查看此图gydF4y2Ba

限制gydF4y2Ba

这一分析仅限于单一的学术医疗中心，其推广到其他医疗保健系统将需要未来的研究。我们的COVID-19患者样本的规模也有限，这限制了我们检测PICTURE和EDI之间差异的能力。最后，由于事件发生率增加，校准和警报阈值部分中提出的阈值可能与一般人群中使用的阈值不同。阈值还可能需要在将来进行调优，以适应各个单元的需要。gydF4y2Ba

结论gydF4y2Ba

PICTURE早期预警系统准确预测不良患者结局，包括ICU转院、机械通气和密歇根医学院的死亡。在考虑到可能即将到来的第二波COVID-19感染时，持续预测这些事件的能力可能特别有价值。EDI是一种广泛的恶化模型，最近在COVID-19人群中进行了评估。PICTURE和EDI都使用了大约13万例非COVID-19病例进行训练，以确定总体恶化情况，因此对COVID-19人群没有过度拟合[gydF4y2Ba11gydF4y2Ba，gydF4y2Ba12gydF4y2Ba］．通过正面比较，我们证明在COVID-19阳性和非COVID-19患者中，PICTURE的性能高于EDI，具有统计学显著性水平(α=5%)。此外，PICTURE能够在不良事件发生前24小时准确预测不良事件。最后，PICTURE能够通过使用Shapley值显示那些对其预测影响最大的变量，向临床医生解释个人预测。gydF4y2Ba