JMIgydF4y2Ba JMIR Med InformgydF4y2Ba JMIR医学信息学gydF4y2Ba 2291 - 9694gydF4y2Ba 卡塔尔世界杯8强波胆分析 加拿大多伦多gydF4y2Ba v9i4e25066gydF4y2Ba 33818393gydF4y2Ba 10.2196/25066gydF4y2Ba 原始论文gydF4y2Ba 原始论文gydF4y2Ba 预测重症监护转移和其他不可预见事件:分析模型验证研究和与现有方法的比较gydF4y2Ba 洛维斯gydF4y2Ba 基督教gydF4y2Ba 沙姆斯gydF4y2Ba 扎gydF4y2Ba 卡托gydF4y2Ba KenrickgydF4y2Ba 卡明斯gydF4y2Ba 布兰登CgydF4y2Ba 据三菱重工gydF4y2Ba 1gydF4y2Ba
密歇根重症监护综合研究中心gydF4y2Ba 急诊科gydF4y2Ba 密歇根大学gydF4y2Ba 普利茅斯路2800号gydF4y2Ba NCRC 10-A112gydF4y2Ba 安娜堡，密歇根州，48109gydF4y2Ba 美国gydF4y2Ba 1 (734) 647 7436gydF4y2Ba cummingb@med.umich.edugydF4y2Ba
https://orcid.org/0000-0003-3907-5088gydF4y2Ba 安萨里gydF4y2Ba SardargydF4y2Ba 博士学位gydF4y2Ba 1gydF4y2Ba https://orcid.org/0000-0002-3471-316XgydF4y2Ba MotykagydF4y2Ba 乔纳森·RgydF4y2Ba MScgydF4y2Ba 1gydF4y2Ba https://orcid.org/0000-0003-2071-3166gydF4y2Ba 王gydF4y2Ba 关gydF4y2Ba MScgydF4y2Ba 1gydF4y2Ba https://orcid.org/0000-0001-6680-4683gydF4y2Ba Medlin小gydF4y2Ba 理查德·PgydF4y2Ba msi博士gydF4y2Ba 1gydF4y2Ba https://orcid.org/0000-0002-4029-1717gydF4y2Ba 克罗尼克gydF4y2Ba 史蒂文·LgydF4y2Ba 硕士,博士gydF4y2Ba 1gydF4y2Ba https://orcid.org/0000-0002-5699-2980gydF4y2Ba 辛格gydF4y2Ba KarandeepgydF4y2Ba MMSc博士gydF4y2Ba 1gydF4y2Ba 2gydF4y2Ba 3.gydF4y2Ba 4gydF4y2Ba https://orcid.org/0000-0001-8980-2330gydF4y2Ba 公园gydF4y2Ba 波林KgydF4y2Ba 医学博士gydF4y2Ba 1gydF4y2Ba 5gydF4y2Ba https://orcid.org/0000-0002-5972-4340gydF4y2Ba 纳波利塔诺gydF4y2Ba 莉娜米gydF4y2Ba 医学博士gydF4y2Ba 1gydF4y2Ba 5gydF4y2Ba https://orcid.org/0000-0001-7174-3192gydF4y2Ba 迪克森gydF4y2Ba 罗伯特·PgydF4y2Ba 医学博士gydF4y2Ba 1gydF4y2Ba 2gydF4y2Ba 6gydF4y2Ba https://orcid.org/0000-0002-6875-4277gydF4y2Ba 马修斯gydF4y2Ba 迈克尔RgydF4y2Ba 医学博士gydF4y2Ba 1gydF4y2Ba 7gydF4y2Ba https://orcid.org/0000-0002-9697-2212gydF4y2Ba SjodinggydF4y2Ba 迈克尔WgydF4y2Ba 医学博士gydF4y2Ba 1gydF4y2Ba 2gydF4y2Ba https://orcid.org/0000-0002-0535-9659gydF4y2Ba AdmongydF4y2Ba 安德鲁JgydF4y2Ba 公共卫生硕士，医学博士gydF4y2Ba 1gydF4y2Ba 2gydF4y2Ba 4gydF4y2Ba https://orcid.org/0000-0002-7432-3764gydF4y2Ba 空白gydF4y2Ba 罗斯gydF4y2Ba 医学博士gydF4y2Ba 1gydF4y2Ba 7gydF4y2Ba https://orcid.org/0000-0002-0723-0525gydF4y2Ba McSparrongydF4y2Ba 雅克布我gydF4y2Ba 医学博士gydF4y2Ba 1gydF4y2Ba 2gydF4y2Ba https://orcid.org/0000-0003-4968-8734gydF4y2Ba 病房gydF4y2Ba 凯文·RgydF4y2Ba 医学博士gydF4y2Ba 1gydF4y2Ba 4gydF4y2Ba 8gydF4y2Ba https://orcid.org/0000-0001-5939-409XgydF4y2Ba GilliesgydF4y2Ba 克里斯托弗·EgydF4y2Ba 博士学位gydF4y2Ba 1gydF4y2Ba 4gydF4y2Ba https://orcid.org/0000-0002-5290-3880gydF4y2Ba 密歇根重症综合研究中心gydF4y2Ba 急诊科gydF4y2Ba 密歇根大学gydF4y2Ba 安娜堡，密歇根州gydF4y2Ba 美国gydF4y2Ba 内科gydF4y2Ba 密歇根大学gydF4y2Ba 安娜堡，密歇根州gydF4y2Ba 美国gydF4y2Ba 学习健康科学系gydF4y2Ba 密歇根大学gydF4y2Ba 安娜堡，密歇根州gydF4y2Ba 美国gydF4y2Ba 密歇根数据科学研究所gydF4y2Ba 密歇根大学gydF4y2Ba 安娜堡，密歇根州gydF4y2Ba 美国gydF4y2Ba 外科gydF4y2Ba 密歇根大学gydF4y2Ba 安娜堡，密歇根州gydF4y2Ba 美国gydF4y2Ba 微生物与免疫学系“，gydF4y2Ba 密歇根大学gydF4y2Ba 安娜堡，密歇根州gydF4y2Ba 美国gydF4y2Ba 麻醉科gydF4y2Ba 密歇根大学gydF4y2Ba 安娜堡，密歇根州gydF4y2Ba 美国gydF4y2Ba 生物医学工程系gydF4y2Ba 密歇根大学gydF4y2Ba 安娜堡，密歇根州gydF4y2Ba 美国gydF4y2Ba 通讯作者:Brandon C CummingsgydF4y2Ba cummingb@med.umich.edugydF4y2Ba 4gydF4y2Ba 2021gydF4y2Ba 21gydF4y2Ba 4gydF4y2Ba 2021gydF4y2Ba 9gydF4y2Ba 4gydF4y2Ba e25066gydF4y2Ba 16gydF4y2Ba 10gydF4y2Ba 2020gydF4y2Ba 27gydF4y2Ba 12gydF4y2Ba 2020gydF4y2Ba 15gydF4y2Ba 1gydF4y2Ba 2021gydF4y2Ba 3.gydF4y2Ba 4gydF4y2Ba 2021gydF4y2Ba ©Brandon C Cummings, Sardar Ansari, Jonathan R Motyka, Guan Wang, Richard P Medlin Jr, Steven L Kronick, Karandeep Singh, Pauline K Park, Lena M Napolitano, Robert P Dickson, Michael R Mathis, Michael W Sjoding, Andrew J Admon, Ross Blank, Jakob I McSparron, Kevin R Ward, Christopher E Gillies。最初发表于JMIR医学信息学(https://medinform.www.mybigtv.com)， 2021年4月21日。gydF4y2Ba 2021gydF4y2Ba

这是一篇开放获取的文章，根据创作共用署名许可协议(https://creativecommons.org/licenses/by/4.0/)的条款发布，允许在任何媒介上不受限制地使用、分发和复制，前提是正确引用了首次发表在JMIR医学信息学上的原创作品。必须包括完整的书目信息，http://medinform.www.mybigtv.com/上的原始出版物的链接，以及此版权和许可信息。gydF4y2Ba

 背景gydF4y2Ba

COVID-19给美国各地的医疗机构带来了前所未有的压力。准确识别病情恶化风险增加的患者可能有助于医院管理其资源，同时提高患者护理质量。在这里，我们提出了预测重症监护转移和其他不可预见事件(PICTURE)的分析模型的结果，以确定即将发生重症监护病房转移、呼吸衰竭或死亡的高风险患者，目的是改善对COVID-19恶化的预测。gydF4y2Ba

 客观的gydF4y2Ba

本研究旨在验证PICTURE模型预测普通病房和COVID-19患者意外恶化的能力，并将其性能与Epic恶化指数(EDI)进行比较，Epic恶化指数是一种现有模型，最近已被评估用于COVID-19患者。gydF4y2Ba

 方法gydF4y2Ba

使用2014年至2018年的电子健康记录数据，在一组住院的非covid -19患者身上训练并验证了PICTURE模型。然后将其应用于两组拒绝测试的患者:2019年的非COVID-19患者和2020年的COVID-19检测呈阳性的患者。通过受试者工作特征曲线下面积(AUROC)和精确召回曲线下面积，将PICTURE结果与EDI和NEWS评分进行正面比较。我们比较了模型预测不良事件(定义为重症监护病房转移、机械通气使用或死亡)的能力。Shapley值被用来为PICTURE预测提供解释。gydF4y2Ba

 结果gydF4y2Ba

在非covid -19普通病房患者中，PICTURE每次观察的AUROC为0.819 (95% CI 0.805-0.834)，而EDI的AUROC为0.763 (95% CI 0.746-0.781;n = 21740;gydF4y2Ba PgydF4y2Ba<措施)。在COVID-19检测呈阳性的患者中，PICTURE再次优于EDI，其AUROC为0.849 (95% CI 0.820-0.878)，而EDI的AUROC为0.803 (95% CI 0.772-0.838;n = 607;gydF4y2Ba PgydF4y2Ba<措施)。在COVID-19队列中，影响PICTURE预测的最重要变量是快速呼吸频率、高水平的氧气支持、低氧饱和度和精神状态受损(格拉斯哥昏迷量表)。gydF4y2Ba

 结论gydF4y2Ba

与EDI相比，PICTURE模型在预测我们队列中普通病房患者和COVID-19阳性患者的不良预后方面更准确。在考虑潜在的COVID-19感染初期浪潮时，持续预测这些事件的能力可能特别有价值。该模型的通用性将需要在其他医疗保健系统中进行测试以验证。gydF4y2Ba

 新型冠状病毒肺炎gydF4y2Ba 生物医学信息学gydF4y2Ba 急救护理gydF4y2Ba 机器学习gydF4y2Ba 恶化gydF4y2Ba 预测分析gydF4y2Ba 信息学gydF4y2Ba 预测gydF4y2Ba 重症监护室gydF4y2Ba 加护病房gydF4y2Ba 死亡率gydF4y2Ba 简介gydF4y2Ba

COVID-19对美国医疗保健系统的影响怎么说都不为过。疫情给全国医院带来了前所未有的临床压力，促使重症监护病房(ICU)和低敏锐度野战医院的能力激增，以适应增加的患者负荷。一个能够识别病情恶化风险增加的患者的预测早期预警系统，可以帮助医院维持高水平的患者护理，同时更有效地分配其紧张的资源。然而，最近的一项综述表明，缺乏高质量的COVID-19患者恶化的经过验证的模型[gydF4y2Ba 1gydF4y2Ba］．本综述中评价的所有16个模型都被评为高偏倚风险或不明确风险，主要是因为选择的对照组患者不具有代表性。一个主要问题是，这些模型可能过度拟合目前可用的小型COVID-19数据集。gydF4y2Ba

在COVID-19大流行之前，医院已经并将继续应用早期预警系统，以在患者病情恶化事件发生之前预测病情，为卫生保健提供者提供干预时间[gydF4y2Ba 2gydF4y2Ba］．对ICU入院和死亡等不良事件的预测为避免即将到来的严重恶化提供了重要信息;据估计，85%的此类事件发生前都有可检测到的生理体征变化[gydF4y2Ba 3.gydF4y2Ba]可能在活动前48小时内发生的情况[gydF4y2Ba 4gydF4y2Ba］．此外，通过早期干预，约44%的事件是可以避免的[gydF4y2Ba 5gydF4y2Ba]， 90%的非计划转到ICU的患者在出现新的或恶化的病情之前[gydF4y2Ba 6gydF4y2Ba，gydF4y2Ba 7gydF4y2Ba］．这种异常信号表明，预测数据分析可用于提醒提供者早期恶化事件，最终导致改善护理和降低成本[gydF4y2Ba 8gydF4y2Ba，gydF4y2Ba 9gydF4y2Ba］．鉴于COVID-19的病理生理学存在许多未知因素，早期预警系统可能在治疗患者和改善预后方面发挥关键作用。gydF4y2Ba

在COVID-19患者中评估的一个模型是Epic恶化指数(EDI;Epic Systems Inc) [gydF4y2Ba 10gydF4y2Ba，gydF4y2Ba 11gydF4y2Ba］．EDI是一种专有的临床早期预警系统，旨在识别病情恶化风险增加和可能需要更高水平护理的患者。EDI与基于covid -19特定数据建立的模型相比具有优势，因为它不会过度拟合小数据集，因为它是在超过13万次遭遇中训练的[gydF4y2Ba 11gydF4y2Ba，gydF4y2Ba 12gydF4y2Ba］．最近的研究表明，它可能能够根据病情恶化的风险对COVID-19患者进行分层[gydF4y2Ba 11gydF4y2Ba］．本研究中使用的结果是那些被认为与COVID-19患者护理最相关的结果，包括ICU护理水平、机械通气和死亡。尽管EDI能够成功地将恶化风险非常高和非常低的患者组分离出来，但作为连续预测因子，其总体表现中等偏低(受试者工作特征曲线下面积[AUROC] 0.76, 95% CI 0.68-0.84;(n = 174)gydF4y2Ba 11gydF4y2Ba］．此外，围绕EDI结构和内部验证的许多细节还没有公开。这使得对个别预测的解释变得困难。由于不使用Epic电子健康记录(EHR)系统的医院可能无法访问EDI预测，我们还评估了公开可用的国家早期预警评分(NEWS)作为二次比较。gydF4y2Ba

在这项研究中，我们将先前描述的预测重症监护转移和其他不可预见事件(图)模型应用于一组COVID-19检测呈阳性的患者[gydF4y2Ba 13gydF4y2Ba］．该模型最初用于预测普通病房的患者病情恶化，我们对其进行了重新训练，以针对那些被认为与COVID-19大流行最相关的结果:ICU护理水平、机械通气和死亡。PICTURE与EDI一样，是在一个大型非covid -19队列中进行训练和调整的，其中包括患有和没有传染性疾病的患者(131546次接触)。此外，我们在PICTURE框架中采取了广泛的步骤来限制数据中的过拟合和学习缺失模式，例如一种新的imputation机制[gydF4y2Ba 13gydF4y2Ba］．这对于为临床医生提供新颖、有用和可推广的警报至关重要，因为缺失的模式在不同的环境和不同的患者表型中可能有所不同[gydF4y2Ba 13gydF4y2Ba］．除了风险评分，PICTURE还以Shapley值的形式为其预测提供了可操作的解释，这可能有助于临床医生轻松地解释评分，并更好地确定是否需要对警报采取行动[gydF4y2Ba 14gydF4y2Ba］．我们在非COVID-19队列和住院检测COVID-19阳性的患者中验证了该系统，并将其与相同匹配队列中的EDI和NEWS进行了比较。gydF4y2Ba

 方法gydF4y2Ba 环境和研究人群gydF4y2Ba

该研究方案已获得密歇根大学机构审查委员会(HUM00092309)的批准。EHR数据收集自2014年1月1日至2020年11月11日的大型三级学术医疗系统(密歇根医学)。前5年数据(2014-2018;N =131,546次相遇)用于训练和验证模型，而2019年的数据被保留为抵抗测试集(N =33,472次相遇)。训练、验证和测试人群被分割，以防止集合之间多家医院相遇的重叠。这三个队列的纳入标准定义为18岁或以上，并在普通病房住院(有住院或其他观察状态)。我们排除了出院到临终关怀且ICU转诊来自普通病房以外楼层(如手术或介入放射科)的患者，以排除计划中的ICU转诊。我们还排除了使用左心室辅助装置的患者，以避免人工血压读数。gydF4y2Ba

要纳入COVID-19队列(n=637次接触)，患者必须因COVID-19诊断入院，并在接触期间接受密歇根医学的COVID-19检测呈阳性。然后使用2019年测试集中使用的相同标准对这些患者进行过滤，除了临终关怀的区别。仅纳入出院患者或已经历不良事件的患者。gydF4y2Ba 表1gydF4y2Ba描述研究队列和个别不良事件的发生频率。与2019年以来的非covid -19检测队列相比，黑人和亚洲患者的比例明显更高(黑人:4214/33,472,12.6% vs 220/637, 34.5%;gydF4y2Ba PgydF4y2Ba<措施;亚洲:686/33,472,2.0% vs 29/637, 4.6%;gydF4y2Ba PgydF4y2Ba<措施)。不良事件发生率也较高，从4.0%(1337/33,472)上升到24.3% (155/637;gydF4y2Ba PgydF4y2Ba<措施)。gydF4y2Ba

研究人口。gydF4y2Ba一个gydF4y2Ba

数据集gydF4y2Ba Non-COVID-19gydF4y2Ba 新型冠状病毒肺炎gydF4y2Ba PgydF4y2Ba值(非COVID-19与COVID-19检测集)gydF4y2BabgydF4y2Ba
培训2014 - 2018gydF4y2Ba 验证2014 - 2018gydF4y2Ba 测试2019gydF4y2Ba 测试2020gydF4y2Ba
遇到,ngydF4y2Ba 105457年gydF4y2Ba 26089年gydF4y2Ba 33472年gydF4y2Ba 637gydF4y2Ba N/AgydF4y2BacgydF4y2Ba
病人,ngydF4y2Ba 62392年gydF4y2Ba 15597年gydF4y2Ba 23368年gydF4y2Ba 600gydF4y2Ba N/AgydF4y2Ba
年龄(年)，中位数(IQR)gydF4y2Ba 60.2 (46.5 - -70.8)gydF4y2Ba 60.4 (46.7 - -71.2)gydF4y2Ba 61.0 (47.0 - -71.5)gydF4y2Ba 61.8 (49.6 - -72.0)gydF4y2Ba 02gydF4y2Ba
种族，n (%)gydF4y2Ba
白色gydF4y2Ba 86522 (82.0)gydF4y2Ba 21647 (83.0)gydF4y2Ba 27036 (80.8)gydF4y2Ba 329 (51.6)gydF4y2Ba <措施gydF4y2Ba
黑色的gydF4y2Ba 12344 (11.7)gydF4y2Ba 2861 (11.0)gydF4y2Ba 4214 (12.6)gydF4y2Ba 220 (34.5)gydF4y2Ba <措施gydF4y2Ba
亚洲gydF4y2Ba 2145 (2.0)gydF4y2Ba 504 (1.9)gydF4y2Ba 686 (2.0)gydF4y2Ba 29 (4.6)gydF4y2Ba <措施gydF4y2Ba
其他gydF4y2BadgydF4y2Ba 4446 (4.2)gydF4y2Ba 1077 (4.1)gydF4y2Ba 1536 (4.6)gydF4y2Ba 59 (9.3)gydF4y2Ba <措施gydF4y2Ba
女性，n (%)gydF4y2Ba 53225 (50.5)gydF4y2Ba 13048 (50.0)gydF4y2Ba 16760 (50.1)gydF4y2Ba 282 (44.3)gydF4y2Ba .003gydF4y2Ba
事件率gydF4y2BaegydF4y2Ba， n (%)gydF4y2Ba 4236 (4.0)gydF4y2Ba 1007 (3.9)gydF4y2Ba 1337 (4.0)gydF4y2Ba 155 (24.3)gydF4y2Ba <措施gydF4y2Ba
死亡gydF4y2Ba 920 (0.9)gydF4y2Ba 232 (0.9)gydF4y2Ba 277 (0.8)gydF4y2Ba 16 (2.5)gydF4y2Ba <措施gydF4y2Ba
加护病房gydF4y2BafgydF4y2Ba转移gydF4y2Ba 2979 (2.8)gydF4y2Ba 717 (2.7)gydF4y2Ba 1000 (3.0)gydF4y2Ba 139 (21.8)gydF4y2Ba <措施gydF4y2Ba
机械通风gydF4y2Ba 1330 (1.3)gydF4y2Ba 299 (1.1)gydF4y2Ba 352 (1.1)gydF4y2Ba 49 (7.7)gydF4y2Ba <措施gydF4y2Ba
心脏骤停gydF4y2BaggydF4y2Ba 143 (0.1)gydF4y2Ba 37 (0.1)gydF4y2Ba 56 (0.2)gydF4y2Ba N/AgydF4y2Ba N/AgydF4y2Ba

一个gydF4y2Ba患者被分为四个研究队列之一:学习模型参数的训练集，模型结构和超参数调整的验证集，用于评估的坚持测试集，以及由COVID-19检测呈阳性的患者组成的最终测试集。数值是根据医院的个别病例计算的。gydF4y2Ba

bgydF4y2Ba PgydF4y2Ba使用Mann-Whitney方法计算两个测试集的值gydF4y2Ba UgydF4y2Ba检验连续变量(年龄)和类别变量卡方检验。gydF4y2Ba

cgydF4y2BaN/A:不适用。gydF4y2Ba

dgydF4y2Ba其他各占人口不到1%的种族被纳入“其他”标题下。gydF4y2Ba

egydF4y2Ba事件率表示发生以下事件之一的复合结局:死亡、ICU转院、机械通气和心脏骤停。还报告了这些不良事件的个别频率，并表示每种特定结果首先发生的病例数。有关计算这些目标的过程，请参阅结果部分。gydF4y2Ba

fgydF4y2BaICU:重症监护室。gydF4y2Ba

ggydF4y2Ba心脏骤停没有被用作COVID-19阳性人群的目标，因为在撰写本文时尚未获得手动判定的数据。gydF4y2Ba

 预测gydF4y2Ba

用作预测因子的变量从EHR中收集，广泛包括生命体征和生理观察、实验室和代谢值以及人口统计学。我们根据之前的分析选择了特定的特征[gydF4y2Ba 13gydF4y2Ba］．模型中使用的生命体征包括心率、呼吸频率、脉搏血氧饱和度、格拉斯哥昏迷量表(GCS)、排尿量和血压。实验室和代谢特征包括电解质浓度、葡萄糖和乳酸，以及血细胞计数。人口统计数据包括年龄、身高、体重、种族和性别。输液和补氧也包括在内。的表S1列出了完整的特性列表gydF4y2Ba 多媒体附件1gydF4y2Ba以及他们各自的中位数、IQR和失误率。以治疗为中心的变量(如药物管理)在很大程度上被排除在外，类似于Gillies等人所描述的缺失标志[gydF4y2Ba 13gydF4y2Ba]，由于疾病(如COVID-19)或机构之间的护理模式变化，模型生成的分数对临床医生来说可能不那么具有普遍性和创新性。gydF4y2Ba 多媒体附件1gydF4y2Ba表S2更详细地描述了将药物作为特征的影响。gydF4y2Ba

 结果gydF4y2Ba

训练、验证和非covid -19测试队列(2014年至2019年收集的数据)的主要结局是死亡、心脏骤停(由美国心脏协会定义)gydF4y2Ba 遵循指南gydF4y2Ba)，从普通病房或类似病房转到ICU，或需要机械通气。根据实际位置或住宿级别确定ICU转移。COVID-19阳性队列的结果在两个方面略有不同。首先，在撰写本文时还没有心脏骤停的信息，因此不包括在内。其次，医院为适应大量COVID-19患者而采取的紧急程序导致在非icu环境中提供重症监护。因此，“ICU级别的护理”用于表示由ICU工作人员治疗或给予ICU级别的护理，但可能没有实际居住在先前划分为ICU病床的病床上的患者。这些信息来自入院、出院和转院表。除实际位置外，还使用护理水平来确定COVID-19患者的ICU转移。我们放弃了在第一个事件发生前30分钟或更晚发生的观测，以与其他方法一致[gydF4y2Ba 15gydF4y2Ba］．对于观测级别的预测，如果个别观测发生在上述任何事件的24小时内，则标记为阳性，否则标记为阴性。我们将这些复合不良事件称为gydF4y2Ba 结果gydF4y2Ba或gydF4y2Ba 目标gydF4y2Ba贯穿全文。这些结果的设计是为了密切遵循密歇根医学院最近对EDI的分析[gydF4y2Ba 11gydF4y2Ba］．gydF4y2Ba

为了验证我们自动生成标签的准确性，一名临床医生(作者MRM)手动检查了20次患者病历，以确定患者是否感染了COVID-19，记录的事件是否真的发生了，以及事件是否在计划外。为此，我们从每个就诊次数超过8次的患者服务中随机抽取了两次就诊(一次是积极的，另一次是消极的，如果有的话)，以确保所有服务中标签的准确性。结果是20次接触的样本，其中11次是积极的。临床医生对每一次遭遇所记录的感兴趣事件进行复查，以确定事件是否发生，是否紧急(非计划)。对于被标记为阴性的患者，临床医生审查了整个患者图表，以确保在遭遇期间没有不良事件发生。结果表明，20例患者均感染了COVID-19，所有标签和事件时间均准确，所有事件均为计划外事件。这为自动生成的结果准确识别非计划不良事件提供了证据。gydF4y2Ba

 模型开发gydF4y2Ba

为了训练和评估PICTURE模型，我们将数据分为四部分:使用2014年至2018年数据的训练和验证集，使用2019年数据的测试集，以及由COVID-19阳性患者的数据组成的第四组。我们对集合进行了划分，将同一个体的多次医院遭遇限制在一个队列中，防止队列之间的患者水平重叠。入院日期为2014年1月1日至2018年12月31日的病例被用于训练、验证和超参数调优(n= 131546例病例)。这些患者被进一步划分为训练组和验证组，比例为80%/20%。入院日期在2019年1月1日至12月31日之间的患者被保留为坚持测试集(n=33,472次相遇)。最后，2020年3月1日至9月11日期间COVID-19检测呈阳性的患者被保留为单独的一组(n=637例)。gydF4y2Ba 图1gydF4y2Ba显示此描述的图形概述。gydF4y2Ba

图片训练和验证框架。电子健康记录数据分为COVID-19患者和非COVID-19患者。2014年1月1日至2018年12月31日期间入院的患者被留作训练(80%)和验证(20%)子集。入院日期在2019年1月1日至12月31日之间的患者被用作非covid -19检测集。从2020年开始，COVID-19检测呈阳性的病例被作为单独的测试集提供。在这种情况下，给定的患者有多次相遇重叠这些边界，只有后来的相遇被认为是消除队列之间的患者重叠。EDI:史诗劣化指数;新闻:国家预警评分;图:预测重症监护转移和其他不可预见的事件;XGBoost:极端梯度增强。gydF4y2Ba

由于EHR以长格式存储数据(每个新行对应于新时间点的新测量值)，因此首先将其转换为宽结构，以便每个观察值代表给定患者在给定时间点的所有特征。训练集和验证集被分组为8小时窗口，以确保每次遭遇在医院中有相同数量的观察时间，避免强调在训练模型时获得更频繁更新的患者，如Gillies等人所述[gydF4y2Ba 13gydF4y2Ba］．2019年和COVID-19的测试集以颗粒状格式保存，每一次新的观察都代表新数据的添加(例如，更新的生命体征)。生命体征和实验室值是向前填充的，因此每个观察结果都代表了当时可用的最新信息，唯一的时间序列调整变量是氧气补充、氧气设备使用和脉搏血氧仪(SpO)测量的氧饱和度gydF4y2Ba2gydF4y2Ba)，以最大值(氧气补充和装置)或最小值(SpOgydF4y2Ba2gydF4y2Ba)。否则，每次观测只包含截至该时间点的最新数据，而不考虑历史值。剩余的缺失值使用多元贝叶斯回归模型的后验分布的均值迭代估算。这种方法之前已经被证明可以降低基于树的模型学习缺失模式的程度，以提高性能[gydF4y2Ba 13gydF4y2Ba］．分类是使用极端梯度增强模型(v 0.90)实现的，这是一个梯度增强树框架的开源实现，可以使用先前结果的误差来适应额外的迭代[gydF4y2Ba 16gydF4y2Ba］．该模型采用二元交叉熵目标函数，最大树深度为3个节点，学习率为0.05，没有最小损失降低，均匀采样，子样本参数为0.6，当精度-召回曲线(AUPRC)下的验证区域在30轮内没有改善时停止。该模型被独立地应用于个别观测，也就是说，该模型使用了最新的可用信息(通过正向填充)。从这个意义上说，除了上述变量之外，时间依赖性并没有被建模。所有分析均使用Python 3.8.2 (Python软件基础)进行。gydF4y2Ba

 史诗劣化指数和新闻gydF4y2Ba

EDI是Epic系统公司开发的专利模型。密歇根医学院使用Epic作为其电子病历系统，并有权使用EDI工具。与PICTURE类似，它使用EHR中通常可用的临床数据来预测患者病情恶化。使用类似的复合结局进行训练，包括死亡、ICU转移和复苏作为不良事件[gydF4y2Ba 11gydF4y2Ba］．每15分钟计算一次。有关其结构、参数或训练程序的具体细节尚未公开。gydF4y2Ba

NEWS是由皇家内科医师学会开发的第二个指标，用于检测病情恶化事件(如心脏骤停、ICU转院和死亡)风险增加的患者[gydF4y2Ba 17gydF4y2Ba，gydF4y2Ba 18gydF4y2Ba］．与基于专有系统的EDI相比，NEWS评分的基础是公开的。NEWS分数的计算基于Smith等人描述的算法[gydF4y2Ba 17gydF4y2Ba］．选择原始的NEWS评分，而不是更新的NEWS2评分，因为有证据表明，在预测呼吸衰竭风险患者的不良事件时，它的表现更高[gydF4y2Ba 19gydF4y2Ba］．gydF4y2Ba

 模型评价gydF4y2Ba 评估非covid -19队列的PICTURE表现gydF4y2Ba

我们首先评估了PICTURE模型在由2019年患者组成的坚持测试集中所有33,472次遭遇中的表现。在初步分析中，使用另一个预警综合评分NEWS进行比较[gydF4y2Ba 17gydF4y2Ba，gydF4y2Ba 18gydF4y2Ba］．对于每个观察时间点，根据他们公布的评分系统计算NEWS评分，并与PICTURE评分进行比较。绩效评估分为两个尺度:观察水平和遭遇水平。这个词gydF4y2Ba 观察水平gydF4y2Ba用于表示每次更新患者数据时模型的性能，在目标事件发生前24小时发生的观察标记为1，否则标记为0。遭遇水平描述了一个病人在整个医院遭遇的模型表现。它指的是患者住院期间的最大模型评分，发生在入院到至少30分钟之间(或更长的时间对于不同的最小提前时间;参见第一次事件前的非covid -19队列中PICTURE与EDI的比较部分)。在这种情况下，如果患者在住院期间遇到了结果条件，则目标为1，否则为0。gydF4y2Ba

 PICTURE与EDI的比较gydF4y2Ba

由于EDI每15分钟进行一次预测，因此我们模拟了每次新数据点到达时以不规则的间隔计算的PICTURE分数如何与EDI对齐。这将2019年测试集的可用相遇次数限制在21740次，COVID-19队列的可用相遇次数限制在607次。通过在EDI预测之前进行最近的PICTURE预测，将PICTURE分数合并到EDI值上。这是为了在校准过程中给予EDI任何优势。gydF4y2Ba 图2gydF4y2Ba显示此对齐的可视化原理图。然后，我们使用前一节中描述的相同的观察级和遭遇级方法来评估这两个模型。gydF4y2Ba

PICTURE预测与EDI分数的对齐。尽管每当一个新的观察结果(例如，一个新的生命体征)被输入到系统中，PICTURE系统就会输出预测，但EDI评分每15分钟生成一次。为了给EDI任何潜在的优势，在每个EDI预测之前，通过选择最近的PICTURE分数，将PICTURE分数与EDI分数对齐。在这两种情况下，发生在目标前30分钟和目标后30分钟的观测被排除(红色)。对于没有经历不良事件的患者，在整个遭遇中计算最大得分。EDI:史诗劣化指数;图:预测重症监护转移和其他不可预见的事件。gydF4y2Ba

 性能的措施gydF4y2Ba

AUROC和AUPRC作为模型间比较的主要标准。AUROC可以解释为两个随机选择的观测值(一个具有积极的目标，另一个具有消极的目标)按模型预测分数的正确顺序排序的概率。AUPRC描述了敏感度范围内的平均阳性预测值(PPV)。我们还用自举方法计算了95%的遭遇级统计ci，使用1000次复制来计算关键ci。对于观察级统计，块引导被用于确保偶遇之间和偶遇观察内的随机化。gydF4y2Ba PgydF4y2Ba通过计算自举检验统计量小于0的分数来计算AUROC差异值。如果没有测试统计量大于0的模拟，则gydF4y2Ba PgydF4y2Ba值记录为gydF4y2Ba PgydF4y2Ba<措施。gydF4y2Ba

 特征排序与预测解释gydF4y2Ba

尽管越来越先进的机器学习模型带来了许多好处，但这些模型在医疗领域的使用却落后于其他领域。其中一个影响因素是其复杂性，这使得所得到的预测难以解释，进而难以建立临床医生的信任[gydF4y2Ba 20.gydF4y2Ba］．为了更好地提供对PICTURE预测的洞察，对每个观测计算了基于树的Shapley值。借用博弈论，Shapley值描述了一个特征对模型预测的相对贡献[gydF4y2Ba 14gydF4y2Ba，gydF4y2Ba 21gydF4y2Ba］．正值表示影响模型走向高预测得分的特征(这里表示不良事件的可能性更高)，而负值表示该特征推动模型走向较低的预测得分。单个预测的Shapley值之和加上模型的平均log-odds概率与预测概率的log-odds成正比。沙普利值可用于提供对单个模型预测的洞察，或聚合以可视化全局变量的重要性。gydF4y2Ba

 校正及警报阈值gydF4y2Ba

PICTURE和EDI都不是经过校准的分数——也就是说，即使它们的输出范围从0到1(在EDI的情况下是0到100)，这些值也不能反映退化的概率[gydF4y2Ba 11gydF4y2Ba］．此外，PICTURE和EDI都在非covid -19患者队列中进行了训练。它们的事件率要低得多，因此可能需要不同的警报阈值。描述PICTURE和EDI分数分位数与计算风险的校准曲线用于演示PICTURE和EDI分数与估计概率的偏差。然后检查几个模拟的图片报警阈值，通过将其与Singh等人建议的EDI阈值对齐来计算。gydF4y2Ba 11gydF4y2Ba]通过敏感性、特异性、PPV和阴性预测值(NPV)。在这些阈值处的性能模拟了临床医生收到警报的时间和频率。还突出显示了来自示例患者的数据，以演示这些警报阈值和Shapley值如何相互作用，为临床医生提供可操作的见解。gydF4y2Ba

 结果gydF4y2Ba 非covid -19队列中图像表现的验证gydF4y2Ba

首先使用2019年抵制测试集中的33,472次遭遇评估了PICTURE模型准确预测复合目标的能力。为了提供比较基线，NEWS分数与每个PICTURE预测输出一起计算。观测级和相遇级AUROC和AUPRC均以95% ci表示gydF4y2Ba 表2gydF4y2Ba．观察级事件率可以解释为24小时内发生不良事件的个别观察的百分比，而遭遇级事件率是指发生此类事件的医院遭遇的比例。PICTURE和NEWS的AUROC差值为0.068 (95% CI 0.058-0.078;gydF4y2Ba PgydF4y2Ba在观察水平上<.001)和0.064 (95% CI 0.055-0.073;gydF4y2Ba PgydF4y2Ba<.001)。AUPRC的差异同样显著，为0.041 (95% CI 0.031-0.050;gydF4y2Ba PgydF4y2Ba<.001)和0.141(95%可信区间0.120-0.162;gydF4y2Ba PgydF4y2Ba分别在观察和遭遇级别上<.001)。gydF4y2Ba

评估PICTURE(非covid -19队列的表现)。gydF4y2Ba

粒度和分析gydF4y2Ba AUROCgydF4y2Ba一个gydF4y2Ba(95%可信区间gydF4y2BabgydF4y2Ba）gydF4y2Ba PgydF4y2Ba价值gydF4y2BacgydF4y2Ba(AUROC)gydF4y2Ba AUPRCgydF4y2BadgydF4y2Ba(95%置信区间)gydF4y2Ba PgydF4y2Ba值(AUROC)gydF4y2Ba 事件发生率(%)gydF4y2Ba
观察gydF4y2Ba <措施gydF4y2Ba <措施gydF4y2Ba 1.01gydF4y2Ba
图片gydF4y2BaegydF4y2Ba 0.821 (0.810 - -0.832)gydF4y2Ba 0.099 (0.085 - -0.110)gydF4y2Ba
新闻gydF4y2Baf, ggydF4y2Ba 0.753 (0.741 - -0.765)gydF4y2Ba 0.058 (0.049 - -0.064)gydF4y2Ba
遇到(n = 33472)gydF4y2Ba <措施gydF4y2Ba <措施gydF4y2Ba 3.99gydF4y2Ba
图片gydF4y2Ba 0.846 (0.834 - -0.858)gydF4y2Ba 0.326 (0.301 - -0.351)gydF4y2Ba
新闻gydF4y2Ba 0.782 (0.768 - -0.795)gydF4y2Ba 0.185 (0.165 - -0.203)gydF4y2Ba

一个gydF4y2BaAUROC:受试者工作特征曲线下的面积。gydF4y2Ba

bgydF4y2Ba95% ci采用1000个重复的块自举法计算。在观察关卡中，这种引导在遭遇关卡中被阻止了。gydF4y2Ba

cgydF4y2Ba PgydF4y2Ba使用性能度量部分中概述的自举方法计算值。gydF4y2Ba

dgydF4y2BaAUPRC:精确召回曲线下的面积。gydF4y2Ba

egydF4y2Ba图:预测重症监护转移和其他不可预见的事件。gydF4y2Ba

fgydF4y2Ba新闻:国家预警评分。gydF4y2Ba

ggydF4y2BaNEWS被用作比较的基线。gydF4y2Ba

 非covid -19队列中PICTURE与EDI的比较gydF4y2Ba

然后将PICTURE与2019年同一坚持测试集中非covid -19患者的EDI模型进行比较。由于可用EDI分数的限制，相遇次数限制在21,740次。这些时间匹配分数再次在观察和相遇水平上使用AUROC和AUPRC进行评估(gydF4y2Ba 表3gydF4y2Ba)．面板A和B在gydF4y2Ba 图3gydF4y2Ba显示相关的受试者工作特征(ROC)和精度-召回率(PR)曲线，用于观察水平的表现。在两个观察水平上，PICTURE和EDI的AUROC和AUPRC差异均达到显著性(AUROC 0.056, 95% CI 0.044-0.068;gydF4y2Ba PgydF4y2Ba<措施;Auprc 0.033, 95% ci 0.021-0.045;gydF4y2Ba PgydF4y2Ba<.001)和相遇水平(AUROC 0.056, 95% CI 0.046-0.065;gydF4y2Ba PgydF4y2Ba<措施;Auprc 0.094, 95% ci 0.069-0.119;gydF4y2Ba PgydF4y2Ba<措施)。NEWS结果同样显著，并被包括在gydF4y2Ba 表3gydF4y2Ba进行比较。gydF4y2Ba

非covid -19队列中PICTURE和EDI的比较。gydF4y2Ba

粒度和分析gydF4y2Ba AUROCgydF4y2Ba一个gydF4y2Ba(95%置信区间)gydF4y2Ba PgydF4y2Ba值(AUROC)gydF4y2BabgydF4y2Ba AUPRCgydF4y2BacgydF4y2Ba(95%置信区间)gydF4y2Ba PgydF4y2Ba值(AUPRC)gydF4y2Ba 事件发生率(%)gydF4y2Ba
观察gydF4y2Ba 0.77gydF4y2Ba
图片gydF4y2BadgydF4y2Ba 0.819 (0.805 - -0.834)gydF4y2Ba

对EDIgydF4y2BaegydF4y2Ba: <措施gydF4y2Ba

与新闻gydF4y2BafgydF4y2Ba: <措施gydF4y2Ba

 		0.115 (0.096 - -0.130)gydF4y2Ba

vs EDI: <.001gydF4y2Ba

vs新闻:<.001gydF4y2Ba
EDIgydF4y2Ba 0.763 (0.746 - -0.781)gydF4y2Ba

vs新闻:.01gydF4y2Ba

 		0.081 (0.066 - -0.094)gydF4y2Ba

vs新闻:<.001gydF4y2Ba
新闻gydF4y2Ba 0.745 (0.729 - -0.761)gydF4y2Ba

N/AgydF4y2BaggydF4y2Ba

 		0.062 (0.051 - -0.072)gydF4y2Ba

N/AgydF4y2Ba
遇到(n = 21740)gydF4y2Ba 4.21gydF4y2Ba
图片gydF4y2Ba 0.859 (0.846 - -0.873)gydF4y2Ba

vs EDI: <.001gydF4y2Ba

vs新闻:<.001gydF4y2Ba

 		0.368 (0.335 - -0.400)gydF4y2Ba

vs EDI: <.001gydF4y2Ba

vs新闻:<.001gydF4y2Ba
EDIgydF4y2Ba 0.803 (0.788 - -0.821)gydF4y2Ba

vs新闻:.15gydF4y2Ba

 		0.274 (0.244 - -0.301)gydF4y2Ba

vs新闻:<.001gydF4y2Ba
新闻gydF4y2Ba 0.797 (0.781 - -0.814)gydF4y2Ba

N/AgydF4y2Ba

 		0.229 (0.204 - -0.254)gydF4y2Ba

N/AgydF4y2Ba

一个gydF4y2BaAUROC:受试者工作特征曲线下的面积。gydF4y2Ba

bgydF4y2Ba PgydF4y2Ba值反映AUROC或AUPRC的差异。gydF4y2Ba

cgydF4y2BaAUPRC:精确召回曲线下的面积。gydF4y2Ba

dgydF4y2Ba图:预测重症监护转移和其他不可预见的事件。gydF4y2Ba

egydF4y2BaEDI:史诗劣化指数。gydF4y2Ba

fgydF4y2Ba新闻:国家预警评分。gydF4y2Ba

ggydF4y2BaN/A:不适用。gydF4y2Ba

图片与EDI的比较。面板A:非covid -19队列中PICTURE、EDI和NEWS模型的受试者工作特征(ROC)曲线。曲线下图片面积(AUC): 0.819;Edi auc: 0.763;新闻auc: 0.745。图B:非covid -19队列中两种模型的精度-召回(PR)曲线。图片auc: 0.115;Edi auc: 0.081;新闻auc: 0.062。图C: COVID-19队列中PICTURE、EDI和NEWS模型的ROC曲线。 PICTURE AUC: 0.849; EDI AUC: 0.803; NEWS AUC: 0.746. Panel D: PR curves for the two models. PICTURE AUC: 0.173; EDI AUC: 0.131; NEWS AUC: 0.098 in the COVID-19 cohort. All curves represent observation-level analysis. EDI: Epic Deterioration Index; FPR: false-positive rate; NEWS: National Early Warning Score; PICTURE: Predicting Intensive Care Transfers and Other Unforeseen Events; TPR: true-positive rate.

除了分类性能，前置时间是预测分析效用的另一个关键组成部分。提前时间是指警报和实际事件之间的时间，它决定了临床医生根据模型的建议采取行动的时间。我们通过排除不良事件发生前0.5小时、1小时、2小时、6小时、12小时和24小时的数据，并计算遭遇级别的性能，以阈值独立的方式评估了模型在不同提前时间的相对性能(gydF4y2Ba 表4gydF4y2Ba)．在我们的队列中，PICTURE的AUROC和AUPRC显著较高(gydF4y2Ba PgydF4y2Ba<.001)，即使考虑到实际事件发生前24小时或更早的预测。gydF4y2Ba

非covid -19队列的提前时间分析。gydF4y2Ba一个gydF4y2Ba

交货时间(小时)gydF4y2Ba AUROCgydF4y2BabgydF4y2Ba(95%置信区间)gydF4y2Ba AUPRCgydF4y2BacgydF4y2Ba(95%置信区间)gydF4y2Ba 事件发生率(%)gydF4y2Ba 样本容量ngydF4y2Ba
图片gydF4y2BadgydF4y2Ba EDIgydF4y2BaegydF4y2Ba 图片gydF4y2Ba EDIgydF4y2Ba
0．5gydF4y2Ba 0.859 (0.846 - -0.873)gydF4y2Ba 0.803 (0.787 - -0.820)gydF4y2Ba 0.368 (0.336 - -0.400)gydF4y2Ba 0.274 (0.244 - -0.302)gydF4y2Ba 4.21gydF4y2Ba 21636年gydF4y2Ba
1gydF4y2Ba 0.850 (0.835 - -0.864)gydF4y2Ba 0.795 (0.778 - -0.811)gydF4y2Ba 0.346 (0.315 - -0.379)gydF4y2Ba 0.254 (0.227 - -0.280)gydF4y2Ba 4.18gydF4y2Ba 21636年gydF4y2Ba
2gydF4y2Ba 0.838 (0.823 - -0.853)gydF4y2Ba 0.784 (0.767 - -0.802)gydF4y2Ba 0.321 (0.292 - -0.352)gydF4y2Ba 0.238 (0.210 - -0.265)gydF4y2Ba 4.14gydF4y2Ba 21622年gydF4y2Ba
6gydF4y2Ba 0.825 (0.810 - -0.840)gydF4y2Ba 0.768 (0.750 - -0.787)gydF4y2Ba 0.280 (0.249 - -0.310)gydF4y2Ba 0.210 (0.184 - -0.237)gydF4y2Ba 3.92gydF4y2Ba 21572年gydF4y2Ba
12gydF4y2Ba 0.817 (0.801 - -0.832)gydF4y2Ba 0.767 (0.749 - -0.786)gydF4y2Ba 0.247 (0.215 - -0.275)gydF4y2Ba 0.183 (0.159 - -0.207)gydF4y2Ba 3.67gydF4y2Ba 21515年gydF4y2Ba
24gydF4y2Ba 0.808 (0.790 - -0.826)gydF4y2Ba 0.759 (0.740 - -0.779)gydF4y2Ba 0.205 (0.172 - -0.230)gydF4y2Ba 0.144 (0.121 - -0.164)gydF4y2Ba 3.24gydF4y2Ba 21419年gydF4y2Ba

一个gydF4y2Ba两种模型在不同提前时间的表现(遭遇水平)通过评估之前的最大预测得分来评估gydF4y2Ba xgydF4y2Ba在活动开始前几个小时，用gydF4y2Ba xgydF4y2Ba从0.5到24的间隔逐渐增大。在这组非covid -19患者中，PICTURE的表现始终优于EDI。在每一级审查中gydF4y2Ba PgydF4y2Ba将PICTURE与EDI进行比较时的值<.001。gydF4y2Ba

bgydF4y2BaAUROC:受试者工作特征曲线下的面积。gydF4y2Ba

cgydF4y2BaAUPRC:精确召回曲线下的面积。gydF4y2Ba

dgydF4y2Ba图:预测重症监护转移和其他不可预见的事件。gydF4y2Ba

egydF4y2BaEDI:史诗劣化指数。gydF4y2Ba

 COVID-19患者的PICTURE与EDI比较gydF4y2Ba

当应用于COVID-19检测呈阳性的患者时，PICTURE表现同样良好。使用PICTURE和EDI的比较部分概述的过程，将PICTURE分数再次与EDI分数对齐。结果包括607次遭遇战。gydF4y2Ba 表5gydF4y2Ba在95% ci的观测和遭遇水平上，给出了PICTURE和EDI的AUROC和AUPRC值，并包括NEWS分数进行比较。面板C和D在gydF4y2Ba 图3gydF4y2Ba显示相应的ROC和PR曲线。在观察水平上，PICTURE与EDI的AUROC和AUPRC差异达到统计学意义(α=5%) (AUROC 0.046, 95% CI 0.021-0.069;gydF4y2Ba PgydF4y2Ba<措施;Auprc 0.043, 95% ci 0.006-0.071;gydF4y2Ba PgydF4y2Ba=.002)和相遇水平(AUROC 0.093, 95% CI 0.066-0.118;gydF4y2Ba PgydF4y2Ba<措施;Auprc 0.155, 95% ci 0.089-0.204;gydF4y2Ba PgydF4y2Ba<措施)。值得注意的是，观测水平上的EDI结果(AUROC 0.803, 95% CI 0.771-0.838)与先前验证中描述的结果相似(AUROC 0.76, 95% CI 0.68-0.84)，尽管由于样本量较大，置信区间较小[gydF4y2Ba 11gydF4y2Ba］．在COVID-19患者中，PICTURE和NEWS的AUROC和AUPRC差异在观察水平上也达到了显著性(α=5%) (AUROC 0.104, 95% CI 0.075-0.129;gydF4y2Ba PgydF4y2Ba<措施;Auprc 0.076, 95% ci 0.033-0.105;gydF4y2Ba PgydF4y2Ba<.001)和相遇水平(AUROC 0.122, 95% CI 0.090-0.154;gydF4y2Ba PgydF4y2Ba<措施;Auprc 0.224, 95% ci 0.151-0.290;gydF4y2Ba PgydF4y2Ba<措施)。gydF4y2Ba

与非covid -19队列一样，在进一步提前预测时，进行了类似的前置时间分析，以评估PICTURE和EDI的表现。再次在事件发生前0.5小时、1小时、2小时、6小时、12小时和24小时设置阈值，并排除在此截止时间后发生的观察。在我们的队列中，即使在提前24小时进行预测时，PICTURE也再次优于EDI (gydF4y2Ba 表6gydF4y2Ba)．gydF4y2Ba

COVID-19检测呈阳性患者的PICTURE和EDI比较gydF4y2Ba

粒度和分析gydF4y2Ba AUROCgydF4y2Ba一个gydF4y2Ba(95%置信区间)gydF4y2Ba PgydF4y2Ba值(AUROC)gydF4y2Ba AUPRCgydF4y2BabgydF4y2Ba(95%置信区间)gydF4y2Ba PgydF4y2Ba值(AUPRC)gydF4y2Ba 事件发生率(%)gydF4y2Ba
观察gydF4y2Ba 3.20gydF4y2Ba
图片gydF4y2BacgydF4y2Ba 0.849 (0.820 - -0.878)gydF4y2Ba

对EDIgydF4y2BadgydF4y2Ba: <措施gydF4y2Ba

与新闻gydF4y2BaegydF4y2Ba: <措施gydF4y2Ba

 		0.173 (0.116 - -0.211)gydF4y2Ba

对EDI: .002gydF4y2Ba

vs新闻:<.001gydF4y2Ba
EDIgydF4y2Ba 0.803 (0.772 - -0.838)gydF4y2Ba

vs新闻:<.001gydF4y2Ba

 		0.131 (0.087 - -0.163)gydF4y2Ba

vs新闻:.002gydF4y2Ba
新闻gydF4y2Ba 0.746 (0.708 - -0.783)gydF4y2Ba

N/AgydF4y2BafgydF4y2Ba

 		0.098 (0.066 - -0.122)gydF4y2Ba

N/AgydF4y2Ba
遇到(n = 607)gydF4y2Ba 20.6gydF4y2Ba
图片gydF4y2Ba 0.895 (0.868 - -0.928)gydF4y2Ba

vs EDI: <.001gydF4y2Ba

vs新闻:<.001gydF4y2Ba

 		0.665 (0.590 - -0.743)gydF4y2Ba

vs EDI: <.001gydF4y2Ba

vs新闻:<.001gydF4y2Ba
EDIgydF4y2Ba 0.802 (0.762 - -0.848)gydF4y2Ba

vs新闻:.05gydF4y2Ba

 		0.510 (0.438 - -0.588)gydF4y2Ba

vs新闻:.02gydF4y2Ba
新闻gydF4y2Ba 0.773 (0.732 - -0.818)gydF4y2Ba

N/AgydF4y2Ba

 		0.441 (0.364 - -0.510)gydF4y2Ba

N/AgydF4y2Ba

一个gydF4y2BaAUROC:受试者工作特征曲线下的面积。gydF4y2Ba

bgydF4y2BaAUPRC:精确召回曲线下的面积。gydF4y2Ba

cgydF4y2Ba图:预测重症监护转移和其他不可预见的事件。gydF4y2Ba

dgydF4y2BaEDI:史诗劣化指数。gydF4y2Ba

egydF4y2Ba新闻:国家预警评分。gydF4y2Ba

fgydF4y2BaN/A:不适用。gydF4y2Ba

COVID-19队列的提前时间分析。gydF4y2Ba一个gydF4y2Ba

交货时间(小时)gydF4y2Ba AUROCgydF4y2BabgydF4y2Ba(95%置信区间)gydF4y2Ba AUPRCgydF4y2BacgydF4y2Ba(95%置信区间)gydF4y2Ba 事件发生率(%)gydF4y2Ba 样本容量ngydF4y2Ba
图片gydF4y2BadgydF4y2Ba EDIgydF4y2BaegydF4y2Ba 图片gydF4y2Ba EDIgydF4y2Ba
0．5gydF4y2Ba 0.895 (0.867 - -0.926)gydF4y2Ba 0.802 (0.761 - -0.842)gydF4y2Ba 0.665 (0.586 - -0.739)gydF4y2Ba 0.510 (0.436 - -0.587)gydF4y2Ba 20.6gydF4y2Ba 607gydF4y2Ba
1gydF4y2Ba 0.887 (0.860 - -0.918)gydF4y2Ba 0.793 (0.753 - -0.836)gydF4y2Ba 0.631 (0.553 - -0.710)gydF4y2Ba 0.491 (0.418 - -0.570)gydF4y2Ba 20.5gydF4y2Ba 606gydF4y2Ba
2gydF4y2Ba 0.870 (0.840 - -0.901)gydF4y2Ba 0.794 (0.754 - -0.833)gydF4y2Ba 0.598 (0.518 - -0.675)gydF4y2Ba 0.478 (0.400 - -0.555)gydF4y2Ba 20.1gydF4y2Ba 603gydF4y2Ba
6gydF4y2Ba 0.847 (0.813 - -0.885)gydF4y2Ba 0.769 (0.729 - -0.813)gydF4y2Ba 0.552 (0.474 - -0.639)gydF4y2Ba 0.435 (0.354 - -0.517)gydF4y2Ba 19.3gydF4y2Ba 597gydF4y2Ba
12gydF4y2Ba 0.821 (0.783 - -0.863)gydF4y2Ba 0.752 (0.708 - -0.798)gydF4y2Ba 0.497 (0.411 - -0.577)gydF4y2Ba 0.403 (0.333 - -0.480)gydF4y2Ba 17.9gydF4y2Ba 587gydF4y2Ba
24gydF4y2Ba 0.808 (0.767 - -0.856)gydF4y2Ba 0.740 (0.690 -796)gydF4y2Ba 0.443gydF4y2BafgydF4y2Ba(0.344 - -0.529)gydF4y2Ba 0.370 (0.289 - -0.459)gydF4y2Ba 16.0gydF4y2Ba 574gydF4y2Ba

一个gydF4y2Ba通过评估给定事件发生前x小时的最大预测得分，再次评估两个模型在不同提前时间的表现(遭遇水平)，x的范围从0.5到24逐渐增大。在这组非covid -19患者中，PICTURE的表现始终优于EDI。在每一级审查中gydF4y2Ba PgydF4y2Ba当将PICTURE与EDI进行比较时，值为<。除非另有标记。gydF4y2Ba

bgydF4y2BaAUROC:受试者工作特征曲线下的面积。gydF4y2Ba

cgydF4y2BaAUPRC:精确召回曲线下的面积。gydF4y2Ba

dgydF4y2Ba图:预测重症监护转移和其他不可预见的事件。gydF4y2Ba

egydF4y2BaEDI:史诗劣化指数。gydF4y2Ba

fgydF4y2Ba PgydF4y2Ba=措施。gydF4y2Ba

 预测解释gydF4y2Ba

为了向临床医生提供影响给定PICTURE评分的因素的描述，我们使用在每次观察时计算的Shapley值。gydF4y2Ba 图4gydF4y2Ba描述了2019年测试集(面板A)和COVID-19测试集(面板B)中20个最具影响力的特征的汇总摘要。正的Shapley值表明变量将PICTURE评分推向积极的决策(即预测不良事件)。尽管在2019年和COVID-19队列中，许多特征排名似乎相似，但我们注意到呼吸频率、氧支持和SpO等呼吸变量gydF4y2Ba2gydF4y2Ba在预测COVID-19阳性患者的不良事件方面比非COVID-19患者发挥更显著的作用。gydF4y2Ba 多媒体附件1gydF4y2Ba图S1 [gydF4y2Ba 22gydF4y2Ba］．提供了一些变量(如呼吸频率和温度)的扩展细节，这些变量的沙普利值似乎不随其大小而单调增加。值得注意的一点是，氧气支持量在两个队列中都发挥了重要作用。虽然EDI没有使用氧气支持量作为连续变量，但它确实有一个称为“氧气需要量”的特征[gydF4y2Ba 11gydF4y2Ba］．为了证明所观察到的PICTURE优于EDI的改进不仅仅是由这些额外的信息驱动的，氧气支持被二值化，并对PICTURE模型进行了重新训练。尽管表现有所下降，这表明将氧气支持作为一个连续变量在预测恶化方面是有用的，但在非COVID-19队列(AUROC差值为0.057,AUROC差值为0.082)和COVID-19队列(AUROC差值为0.035,AUPRC差值为0.050)中，PICTURE仍然优于EDI。因此，氧气支持本身并不能解释PICTURE和EDI性能之间的差异。gydF4y2Ba

沙普利总结情节。面板A描绘了来自2019年测试集的沙普利值的汇总汇总图，而面板B对应于COVID-19阳性患者。20个最具影响力的特征从上到下排序，并绘制了所有预测的Shapley值分布。Shapley值的大小显示在横轴上，而特征本身的值则由颜色表示。例如，面板a中超过24小时的大量氧气支持(红色)与对模型的高度积极影响相关，而低至无氧气支持(蓝色)则将模型推回到0。BUN:血液尿素氮;GCS:格拉斯哥昏迷量表;INR:国际标准化比率;世鹏科技电子:沙普利;WBC:白细胞。gydF4y2Ba

 校正及警报阈值gydF4y2Ba

PICTURE评分和EDI评分均提示患者病情恶化的风险;然而，这两个分数都没有作为概率进行校准。因此，警报阈值可以提供一种方便的机制来决定是否提醒临床医生他们的病人处于增加的风险中。之前一项评估COVID-19患者使用EDI的研究发现，EDI得分为64.8或更高可作为识别风险增加患者的可行阈值[gydF4y2Ba 11gydF4y2Ba］．由于PICTURE评分与EDI评分在不同的尺度上，因此需要校准以模拟PICTURE警报阈值。gydF4y2Ba

图5gydF4y2Ba描述了PICTURE和EDI评分的分布，以及将PICTURE和EDI分位数与观察到的风险进行比较的校准曲线。在该图中，EDI分数从0-100重新缩放到0-1，而原始PICTURE分数与使用单调递增函数(logit变换)转换的分数一起显示，并缩放到0-1的范围。根据这条曲线，EDI似乎高估了风险，而PICTURE可能低估了风险。然而，这两个指标都不是用来反映概率的。为了更接近概率，普氏标度或等张回归等技术可能会在未来改进校准。gydF4y2Ba 多媒体附件1gydF4y2Ba图S2说明了由积极和消极结果分开的分数分布，并表明PICTURE评分可能提供更多的患者之间的分离，这是EDI之前已被证明难以解决的问题[gydF4y2Ba 11gydF4y2Ba］．gydF4y2Ba

分数分布及校正曲线。面板A显示了PICTURE和EDI分数分布的KDE。除原始图片分数外，还包括logit转换分数。图B描述了PICTURE和EDI评分(0.1,0.2,0.3，…0.9)与观察到的风险的分位数。PICTURE和EDI都不是作为概率进行校准的，因此，设置报警阈值的使用可能有助于在患者风险增加时向临床医生发出警报。EDI:史诗劣化指数;KDE:核密度估计;图:预测重症监护转移和其他不可预见的事件。gydF4y2Ba

为了模拟临床医生何时可能收到来自PICTURE系统的警报，选择了四个阈值，并根据观察到的EDI评分的敏感性、特异性、PPV和NPV进行对齐，使用Singh等人提出的64.8值[gydF4y2Ba 11gydF4y2Ba］．作为一个例子，gydF4y2Ba 按灵敏度对齐gydF4y2Ba阈值列于gydF4y2Ba 表7gydF4y2Ba通过确定灵敏度为0.448的PICTURE阈值，与EDI的阈值相匹配而得到。这些阈值中的每一个，以及它们通过F1分数测量的表现，都与EDI进行了比较，并被包括在gydF4y2Ba 表7gydF4y2Ba．检查与检测比率计算为1 / PPV，表示临床医生可能收到的每个真阳性假警报的数量[gydF4y2Ba 6gydF4y2Ba］．对于PICTURE，根据所使用的阈值，在遭遇水平上，检查与检测的比值范围为1.46至1.52，而EDI为1.71。根据每个阈值还显示警报和不良事件之间的中位数时间。其中包括描述模型在每个阈值处的性能的混淆矩阵gydF4y2Ba 多媒体附件1gydF4y2Ba(表S3)。gydF4y2Ba

警报阈值和中间交货时间。gydF4y2Ba一个gydF4y2Ba

分数gydF4y2Ba 阈值来源gydF4y2Ba 阈值gydF4y2Ba 灵敏度gydF4y2Ba 特异性gydF4y2Ba PPVgydF4y2BabgydF4y2Ba 净现值gydF4y2BacgydF4y2Ba 世界发展报告》gydF4y2BadgydF4y2Ba F1的分数gydF4y2BaegydF4y2Ba 交货时间gydF4y2BafgydF4y2Ba(h:min)，中位数(IQR)gydF4y2Ba
EDIgydF4y2BaggydF4y2Ba 辛格等[gydF4y2Ba 11gydF4y2Ba］gydF4y2Ba 64.8gydF4y2Ba 0.448gydF4y2Ba 0.917gydF4y2Ba 0.583gydF4y2Ba 0.865gydF4y2Ba 1.71gydF4y2Ba 0.507gydF4y2Ba 32:26 (4:37-66:08)gydF4y2Ba
图片gydF4y2BahgydF4y2Ba
按灵敏度对齐gydF4y2Ba 0.165gydF4y2Ba N/AgydF4y2Ba我gydF4y2Ba 0.946gydF4y2Ba 0.683gydF4y2Ba 0.869gydF4y2Ba 1.46gydF4y2Ba 0.541gydF4y2Ba 40:14 (7:51-67:50)gydF4y2Ba
根据专用性排列gydF4y2Ba 0.097gydF4y2Ba 0.616gydF4y2Ba N/AgydF4y2Ba 0.658gydF4y2Ba 0.902gydF4y2Ba 1.52gydF4y2Ba 0.636gydF4y2Ba 40:04 (7:44-91:00)gydF4y2Ba
按PPV对齐gydF4y2Ba 0.048gydF4y2Ba 0.792gydF4y2Ba 0.851gydF4y2Ba N/AgydF4y2Ba 0.940gydF4y2Ba N/AgydF4y2Ba 0.668gydF4y2Ba 54:10 (29:26-115:50)gydF4y2Ba
NPV对齐gydF4y2Ba 0.173gydF4y2Ba 0.432gydF4y2Ba 0.946gydF4y2Ba 0.675gydF4y2Ba N/AgydF4y2Ba 1.48gydF4y2Ba 0.527gydF4y2Ba 41:40 (7:31-68:30)gydF4y2Ba

一个gydF4y2Ba根据Singh等人提出的阈值64.8计算EDI的敏感性、特异性、PPV和NPV [gydF4y2Ba 11gydF4y2Ba]以及基于遭遇战级别的表现。然后对图片阈值进行对齐以匹配这些统计数据。WDR也以1 / PPV计算，表示每个真阳性收到的假警报数。这个值对于限制临床医生的警觉疲劳很重要，并表明对于每一个真阳性，PICTURE的假警率可降低17%。gydF4y2Ba

bgydF4y2BaPPV:阳性预测值。gydF4y2Ba

cgydF4y2BaNPV:负预测值。gydF4y2Ba

dgydF4y2BaWDR:井检比。gydF4y2Ba

egydF4y2BaF1评分以PPV与敏感性之间的谐波平均值计算。gydF4y2Ba

fgydF4y2Ba使用PICTURE和EDI之间的真阳性交叉来确定提前时间，并计算为患者首次越过阈值与首次恶化事件之间的时间。gydF4y2Ba

ggydF4y2BaEDI:史诗劣化指数。gydF4y2Ba

hgydF4y2Ba图:预测重症监护转移和其他不可预见的事件。gydF4y2Ba

我gydF4y2BaN/A:不适用。gydF4y2Ba

 讨论gydF4y2Ba 非covid -19队列中图像表现的验证gydF4y2Ba

PICTURE在每一次观测中都对所包含的特征进行预测。评估PICTURE性能的一个自然起点是这个粒度级别。使用Gillies等人概述的一般结构[gydF4y2Ba 13gydF4y2Ba]，我们更新了PICTURE模型，以反映24小时内死亡、ICU转院或住院和机械通气的目标结局。对2019年33,472次遭遇的数据进行了测试，以确保其性能(观察水平AUROC 0.821)与Gillies等人的描述合理一致[gydF4y2Ba 13gydF4y2Ba］．同时还将其与NEWS评分进行了比较，发现其表现显著优于NEWS (AUROC 0.753)。这些结果证实了Gillies等人的发现[gydF4y2Ba 13gydF4y2Ba]使用2019年的数据而不是2018年的数据。它们还提供了一个比较基线，因为我们可以在统一的时间间隔而不是每次观察中进行预测。gydF4y2Ba

 非covid -19队列中PICTURE与EDI的比较gydF4y2Ba

EDI不会对每个特征观测都做出预测;相反，它每15分钟做出一次预测。为了提供与EDI的直接比较，我们对PICTURE分数进行了子集化，并将其与EDI分数进行时间匹配，如Performance Measures一节中所述。在这组非covid -19患者中，PICTURE的AUROC显著优于EDI，观察水平AUROC为0.819，而EDI的AUROC为0.763。这种性能差距延续了多个周期，即使仅限于不良事件发生前24小时或更长时间收集的数据，PICTURE的性能仍然很高，AUROC为0.808，而EDI的AUROC降至0.759。这些结果表明，在密歇根大学医院使用PICTURE而不是EDI将导致更少的错误警报。尽管模型被迫在不良事件发生前更长的时间内做出预测，但PICTURE仍然保持了性能的改善。gydF4y2Ba

 COVID-19患者的PICTURE与EDI比较gydF4y2Ba

随着EDI越来越多地被研究为衡量COVID-19患者恶化风险的可行指标[gydF4y2Ba 11gydF4y2Ba]，我们试图将我们自己的恶化模型PICTURE应用于COVID-19患者队列。尽管这两个模型都是在非COVID-19普通病房患者中进行训练和验证的，但它们在我们的COVID-19患者队列中的表现与它们在非COVID-19队列中的各自结果相当一致。即使样本量较低(n=607次相遇)，图显著(gydF4y2Ba PgydF4y2Ba=.002)优于EDI，其观察水平AUROC为0.849，而EDI的AUROC为0.803。在不良事件发生前24小时或更长时间，PICTURE的领先优势再次保持，AUROC为0.808，而EDI的AUROC为0.740。这些结果表明，对COVID-19患者使用PICTURE而不是EDI将减少警报疲劳。gydF4y2Ba

一个重要的讨论点是，在COVID-19患者中观察到的恶化率要高得多(20.6% vs 4.21%)。这可能是由于与普通病房人群相比，病毒的严重程度以及在大流行早期面临疾病的临床医生所支持的积极治疗方案的综合作用，而这种疾病代表着许多未知。因此，COVID-19患者和普通病房患者之间的校准和警报阈值部分中提出的阈值选择可能不同。与普通测试集相比，当应用于COVID-19患者时，PICTURE分析(以AUROC衡量)的性能略有提高(尽管95% ci重叠)，这表明COVID-19患者可能是一项更容易的分类任务。这得到了以下事实的支持:通过观察水平AUROC (0.763 vs 0.803)衡量，EDI在COVID-19队列中的表现也更好，尽管这一增加在遭遇水平的结果中没有持续(AUROC 0.803 vs 0.802)。gydF4y2Ba

 预测解释gydF4y2Ba

PICTURE模型的一个关键特征是它使用Shapley值来帮助向临床医生解释个人预测。这些解释有助于增加模型的可解释性，允许临床医生评估单个模型评分，并确定潜在的下一步、后续测试或治疗计划。gydF4y2Ba 图4gydF4y2Ba描述了COVID-19和非COVID-19队列中所有观测值的沙普利值汇总。在非covid -19患者中，高氧支持，高尿素氮(BUN)，极高或极低呼吸频率，低SpOgydF4y2Ba2gydF4y2Ba，低GCS是模型中与高风险评分最相关的前五个特征。COVID-19队列产生了相同的前5个特征，但重新排序了呼吸参数(呼吸频率、氧支持和SpO)gydF4y2Ba2gydF4y2Ba)排名高于BUN和GCS。值得注意的是，温度是两个队列之间改变方向的少数特征之一。在非COVID-19患者中，高温与低至中等风险相关，而COVID-19患者的高温往往表明风险评分最高。总的来说，两个队列的总体特征解释是相似的，并且在很大程度上与临床医生的直觉一致。然而，这几个关键差异可能反映了在护理COVID-19患者时面临的一些独特挑战。gydF4y2Ba

 校正及警报阈值gydF4y2Ba

模拟警报阈值的计算基于Singh等人提出的EDI阈值的衍生灵敏度、特异性、PPV和NPV [gydF4y2Ba 11gydF4y2Ba］．对于四个阈值中的每一个，根据其他四个指标，PICTURE都优于EDI，如图所示gydF4y2Ba 表7gydF4y2Ba．例如，当调整图片警报阈值使其灵敏度与EDI的灵敏度(0.448)相匹配时;特异性(0.946)、PPV(0.683)和NPV(0.869)均高于EDI(分别为0.917、0.583和0.865)。此外，根据所使用的阈值，PICTURE的检测比从1.46到1.52不等，而EDI的检测比为1.71。这表明，对于每一次真正积极的遭遇，PICTURE可能会产生高达17%的假阳性。gydF4y2Ba

 案例研究gydF4y2Ba

为了演示PICTURE的潜在用途，选择了一个单独的医院遭遇，在中可视化了PICTURE和EDI的轨迹gydF4y2Ba 图6gydF4y2Ba．EDI得分阈值为64.8，由Singh等人提出[gydF4y2Ba 11gydF4y2Ba]，并描述了灵敏度对齐和ppv对齐的PICTURE阈值。请注意，直到不良事件发生前大约12.5小时(在这种情况下，转移到ICU护理级别)，PICTURE评分仍保持低水平，此时它超过了ppv对齐阈值。在事件发生前大约11小时，PICTURE评分的峰值值为0.235，超过了灵敏度对齐阈值0.165。在最初的峰值之后，PICTURE评分继续升高，保持在ppv对齐阈值0.048之上，直到患者转移。相比之下，EDI得分从未超过其警戒阈值，并且随着PICTURE得分的增加而下降。gydF4y2Ba

为了模拟从PICTURE接收警报的临床医生可能遇到的情况，在两个警报阈值处解释PICTURE预测的Shapley值被记录在gydF4y2Ba 表8gydF4y2Ba．注意，这些解释主要是由呼吸特征，尽管心率和温度也存在。虽然这些特征在预测ICU护理需求方面似乎很明显，但值得强调的是，EDI并没有将该患者确定为有风险的患者。gydF4y2Ba

1例患者的样本轨迹。面板A描述了患者最终转移到ICU护理级别之前27小时内的PICTURE预测(绿条)。注意到两个可能的警报阈值:一个(红色:0.165)基于EDI在阈值64.8处的敏感性(由Singh等人提出[gydF4y2Ba 11gydF4y2Ba])，而另一个(黄色:0.048)则基于EDI在该阈值处的PPV。注意，在ICU转院前约11小时，PICTURE高于敏感性阈值，然后持续高于PPV阈值，直到转院发生。*和†表示PICTURE越过每个阈值的第一次时间点，在gydF4y2Ba 表7gydF4y2Ba．面板B显示了相同时间范围内的EDI, Singh等人建议的阈值为64.8 [gydF4y2Ba 11gydF4y2Ba］．EDI没有将该患者确定为有危险。EDI:史诗劣化指数;ICU:重症监护室;图:预测重症监护转移和其他不可预见的事件;PPV:阳性预测值。gydF4y2Ba

样本预测重症监护转移和其他不可预见事件的解释。gydF4y2Ba

等级和特征名gydF4y2Ba一个gydF4y2Ba 价值gydF4y2Ba 中位数(差)gydF4y2BabgydF4y2Ba 沙普利得分gydF4y2Ba
Shapley值后PPVgydF4y2BacgydF4y2Ba阈值(t - 12.75 h)gydF4y2Ba
1.补氧(滚动最多24小时)gydF4y2Ba 7 L / mingydF4y2Ba 2.0 (0.0 - -3.0)gydF4y2Ba 1.06gydF4y2Ba
2.热点;gydF4y2Ba2gydF4y2BadgydF4y2Ba(滚动24小时分钟)gydF4y2Ba ８５％gydF4y2Ba 92.0 (90.0 - -94.0)gydF4y2Ba 0.93gydF4y2Ba
3.呼吸速率gydF4y2Ba 26 bpmgydF4y2Ba 20.0 (18.0 - -20.0)gydF4y2Ba 0.76gydF4y2Ba
4.温度gydF4y2Ba 39.1˚CgydF4y2Ba 36.9 (36.8 - -37.2)gydF4y2Ba 0.32gydF4y2Ba
5.蛋白质水平gydF4y2Ba 5.7gydF4y2Ba 6.0 (5.6 - -6.4)gydF4y2Ba 0.13gydF4y2Ba
灵敏度阈值后的Shapley值(t - 11gydF4y2Ba h)gydF4y2Ba
1.补氧(滚动最多24小时)gydF4y2Ba 35升/分钟gydF4y2Ba 2.0 (0.0 - -3.0)gydF4y2Ba 1.93gydF4y2Ba
2.热点;gydF4y2Ba2gydF4y2Ba(滚动24小时分钟)gydF4y2Ba ８５％gydF4y2Ba 92.0 (90.0 - -94.0)gydF4y2Ba 1.09gydF4y2Ba
3.呼吸速率gydF4y2Ba 24 bpmgydF4y2Ba 20.0 (18.0 - -20.0)gydF4y2Ba 0.73gydF4y2Ba
4.心率gydF4y2BaegydF4y2Ba 124 bpmgydF4y2Ba 83.0 (74.0 - -92.0)gydF4y2Ba 0.71gydF4y2Ba
5.温度gydF4y2Ba 39.1˚CgydF4y2Ba 36.9 (36.8 - -37.2)gydF4y2Ba 0.32gydF4y2Ba

一个gydF4y2Ba前5个特征对应于预测重症监护转移和其他不可预见事件的预测，因为它越过ppv对齐阈值和灵敏度对齐阈值gydF4y2Ba 图6gydF4y2Ba．这些预测代表了临床医生可能收到患者病情恶化警报的两个可能位置。这些信息可以与预测评分一起共享，为医疗保健提供者提供更好的临床效用。注意，氧合(补充氧、氧饱和度和呼吸频率)和温度在这两种情况下都起着主要作用。gydF4y2Ba

bgydF4y2Ba包括中位数和IQR进行比较，并使用COVID-19数据集计算。gydF4y2Ba

cgydF4y2BaPPV:阳性预测值。gydF4y2Ba

dgydF4y2Ba热点;gydF4y2Ba2gydF4y2Ba:脉搏血氧仪测得的氧饱和度。gydF4y2Ba

egydF4y2Ba心率是这两个时间点之间的主要差异。当预测重症监护转移和其他不可预见事件评分在重症监护转移前12.5小时首次超过PPV阈值时，心率保持在65 bpm，并不是Shapley测量的主要特征之一。在事件发生前11个小时，当预测重症监护转移和其他不可预见事件得分达到最高时，心率已跳至124 bpm，是Shapley值测量的第四大最具影响力的特征。gydF4y2Ba

 限制gydF4y2Ba

这一分析仅限于单一的学术医疗中心，其推广到其他医疗保健系统将需要未来的研究。我们的COVID-19患者样本的规模也有限，这限制了我们检测PICTURE和EDI之间差异的能力。最后，由于事件发生率增加，校准和警报阈值部分中提出的阈值可能与一般人群中使用的阈值不同。阈值还可能需要在将来进行调优，以适应各个单元的需要。gydF4y2Ba

 结论gydF4y2Ba

PICTURE早期预警系统准确预测不良患者结局，包括ICU转院、机械通气和密歇根医学院的死亡。在考虑到可能即将到来的第二波COVID-19感染时，持续预测这些事件的能力可能特别有价值。EDI是一种广泛的恶化模型，最近在COVID-19人群中进行了评估。PICTURE和EDI都使用了大约13万例非COVID-19病例进行训练，以确定总体恶化情况，因此对COVID-19人群没有过度拟合[gydF4y2Ba 11gydF4y2Ba，gydF4y2Ba 12gydF4y2Ba］．通过正面比较，我们证明在COVID-19阳性和非COVID-19患者中，PICTURE的性能高于EDI，具有统计学显著性水平(α=5%)。此外，PICTURE能够在不良事件发生前24小时准确预测不良事件。最后，PICTURE能够通过使用Shapley值显示那些对其预测影响最大的变量，向临床医生解释个人预测。gydF4y2Ba

补充材料。gydF4y2Ba

 缩写gydF4y2Ba AUPRCgydF4y2Ba

精度-召回曲线下的面积gydF4y2Ba

 AUROCgydF4y2Ba

接收机工作特性曲线下面积gydF4y2Ba

 包子gydF4y2Ba

血尿素氮gydF4y2Ba

 EDIgydF4y2Ba

史诗变质指数gydF4y2Ba

 电子健康档案gydF4y2Ba

电子健康记录gydF4y2Ba

 GCSgydF4y2Ba

格拉斯哥昏迷量表gydF4y2Ba

 加护病房gydF4y2Ba

重症监护室gydF4y2Ba

 新闻gydF4y2Ba

国家预警评分gydF4y2Ba

 净现值gydF4y2Ba

负预测值gydF4y2Ba

 图片gydF4y2Ba

预测重症监护转移和其他不可预见的事件gydF4y2Ba

 豆荚gydF4y2Ba

推动原始数据科学gydF4y2Ba

 PPVgydF4y2Ba

阳性预测值gydF4y2Ba

 公关gydF4y2Ba

precision-recallgydF4y2Ba

 中华民国gydF4y2Ba

接收机工作特性gydF4y2Ba

 动脉血氧饱和度gydF4y2Ba

氧饱和度由脉搏血氧仪测量gydF4y2Ba

这项研究部分得到了密歇根数据科学研究所“推动COVID-19研究原始数据科学(PODS)小额赠款”奖的支持。AJA已获得NIH/NHLBI (F32HL149337)的资助。gydF4y2Ba

CEG、RPM Jr和KRW已经通过密歇根大学技术转让办公室提交了一项关于本文中介绍的机器学习方法的专利。gydF4y2Ba

 WynantsgydF4y2Ba lgydF4y2Ba 范CalstergydF4y2Ba BgydF4y2Ba 柯林斯gydF4y2Ba GSgydF4y2Ba 莱利gydF4y2Ba 理查德·道金斯gydF4y2Ba 海因策gydF4y2Ba GgydF4y2Ba SchuitgydF4y2Ba EgydF4y2Ba 粗毛格子围巾gydF4y2Ba MMJgydF4y2Ba 哒gydF4y2Ba 戴斯。莱纳姆:gydF4y2Ba 之后gydF4y2Ba JAAgydF4y2Ba rgydF4y2Ba TPAgydF4y2Ba 德容gydF4y2Ba 车辆行驶里程gydF4y2Ba 德沃斯gydF4y2Ba 米gydF4y2Ba DhimangydF4y2Ba PgydF4y2Ba 哈勒gydF4y2Ba MCgydF4y2Ba HarhaygydF4y2Ba 莫gydF4y2Ba HenckaertsgydF4y2Ba lgydF4y2Ba 处gydF4y2Ba PgydF4y2Ba 卡默gydF4y2Ba 米gydF4y2Ba kreuzberggydF4y2Ba NgydF4y2Ba 罗曼gydF4y2Ba 一个gydF4y2Ba LuijkengydF4y2Ba KgydF4y2Ba 妈gydF4y2Ba JgydF4y2Ba 马丁gydF4y2Ba 全科医生gydF4y2Ba McLernongydF4y2Ba DJgydF4y2Ba AndaurgydF4y2Ba CLgydF4y2Ba ReitsmagydF4y2Ba 简森-巴顿gydF4y2Ba 中士gydF4y2Ba JCgydF4y2Ba 史gydF4y2Ba CgydF4y2Ba SkoetzgydF4y2Ba NgydF4y2Ba 史密特gydF4y2Ba 液体喷射加工gydF4y2Ba 斯奈尔gydF4y2Ba KIEgydF4y2Ba SperringydF4y2Ba 米gydF4y2Ba SpijkergydF4y2Ba RgydF4y2Ba SteyerberggydF4y2Ba 电子战gydF4y2Ba 高田gydF4y2Ba TgydF4y2Ba TzoulakigydF4y2Ba 我gydF4y2Ba 范KuijkgydF4y2Ba SMJgydF4y2Ba 范BusselgydF4y2Ba BgydF4y2Ba 范RoyengydF4y2Ba FSgydF4y2Ba VerbakelgydF4y2Ba 司法院gydF4y2Ba WallischgydF4y2Ba CgydF4y2Ba 威尔金森gydF4y2Ba JgydF4y2Ba 沃尔夫gydF4y2Ba RgydF4y2Ba HooftgydF4y2Ba lgydF4y2Ba 卫星gydF4y2Ba KGMgydF4y2Ba 范SmedengydF4y2Ba 米gydF4y2Ba covid-19感染的诊断和预后预测模型:系统综述和关键评价gydF4y2Ba BMJgydF4y2Ba 2020gydF4y2Ba 04gydF4y2Ba 07gydF4y2Ba 369gydF4y2Ba m1328gydF4y2Ba 10.1136 / bmj.m1328gydF4y2Ba 32265220gydF4y2Ba PMC7222643gydF4y2Ba 史密斯gydF4y2Ba MEBgydF4y2Ba ChiovarogydF4y2Ba JCgydF4y2Ba 奥尼尔gydF4y2Ba 米gydF4y2Ba KansagaragydF4y2Ba DgydF4y2Ba 醌类gydF4y2Ba 基于“增大化现实”技术gydF4y2Ba 弗里曼gydF4y2Ba 米gydF4y2Ba 莫土语'apuakagydF4y2Ba 毫升gydF4y2Ba SlatoregydF4y2Ba CGgydF4y2Ba 住院患者临床恶化的早期预警系统评分:一项系统综述gydF4y2Ba 安胸社gydF4y2Ba 2014gydF4y2Ba 11gydF4y2Ba 11gydF4y2Ba 9gydF4y2Ba 1454gydF4y2Ba 65gydF4y2Ba 10.1513 / annalsats.201403 - 102摄氏度gydF4y2Ba 25296111gydF4y2Ba Le LagadecgydF4y2Ba 医学博士gydF4y2Ba 德怀尔gydF4y2Ba TgydF4y2Ba 范围审查:使用早期预警系统识别有恶化风险的住院患者gydF4y2Ba 大屠杀急救护理gydF4y2Ba 2017gydF4y2Ba 07gydF4y2Ba 30.gydF4y2Ba 4gydF4y2Ba 211gydF4y2Ba 218gydF4y2Ba 10.1016 / j.aucc.2016.10.003gydF4y2Ba 27863876gydF4y2Ba s1036 - 7314 (16) 30133 - 3gydF4y2Ba McGaugheygydF4y2Ba JgydF4y2Ba AlderdicegydF4y2Ba FgydF4y2Ba 福勒gydF4y2Ba RgydF4y2Ba KapilagydF4y2Ba 一个gydF4y2Ba 梅休gydF4y2Ba 一个gydF4y2Ba MoutraygydF4y2Ba 米gydF4y2Ba 外展和早期预警系统(EWS)用于预防综合医院病房重症监护住院和重症成人患者死亡gydF4y2Ba Cochrane数据库系统版本gydF4y2Ba 2007gydF4y2Ba 07gydF4y2Ba 18gydF4y2Ba 3.gydF4y2Ba CD005529gydF4y2Ba 10.1002/14651858. cd005529.pub2gydF4y2Ba 17636805gydF4y2Ba 医院不良事件:医疗保险受益人的全国发病率- 10年更新gydF4y2Ba 监察长办公室gydF4y2Ba 2018gydF4y2Ba 12gydF4y2Ba 17gydF4y2Ba 2020-06-17gydF4y2Ba https://oig.hhs.gov/reports-and-publications/workplan/summary/wp-summary-0000328.aspgydF4y2Ba LinnengydF4y2Ba DgydF4y2Ba EscobargydF4y2Ba GJgydF4y2Ba 胡gydF4y2Ba XgydF4y2Ba ScruthgydF4y2Ba EgydF4y2Ba 刘gydF4y2Ba VgydF4y2Ba 史蒂芬斯gydF4y2Ba CgydF4y2Ba 预测死亡率和ICU转院的统计建模和综合加权评分系统:一项系统综述gydF4y2Ba 霍普医学gydF4y2Ba 2019gydF4y2Ba 03gydF4y2Ba 14gydF4y2Ba 3.gydF4y2Ba 161gydF4y2Ba 169gydF4y2Ba 10.12788 / jhm.3151gydF4y2Ba 30811322gydF4y2Ba jhm.3151gydF4y2Ba PMC6628701gydF4y2Ba BapojegydF4y2Ba 年代gydF4y2Ba GaudianigydF4y2Ba JgydF4y2Ba NarayanangydF4y2Ba VgydF4y2Ba 艾伯特gydF4y2Ba RgydF4y2Ba 计划外转移到医疗重症监护室:护理中可预防错误的原因和关系gydF4y2Ba 霍普医学gydF4y2Ba 2011gydF4y2Ba 02gydF4y2Ba 6gydF4y2Ba 2gydF4y2Ba 68gydF4y2Ba 72gydF4y2Ba 10.1002 / jhm.812gydF4y2Ba 21290577gydF4y2Ba 年轻的gydF4y2Ba 米gydF4y2Ba 更好的gydF4y2Ba VgydF4y2Ba 麦克布莱德gydF4y2Ba KgydF4y2Ba 詹姆斯gydF4y2Ba BgydF4y2Ba 费雪gydF4y2Ba EgydF4y2Ba 住院病人转移到重症监护室:延迟与死亡率和发病率增加有关gydF4y2Ba J Gen实习生gydF4y2Ba 2003gydF4y2Ba 02gydF4y2Ba 18gydF4y2Ba 2gydF4y2Ba 77gydF4y2Ba 83gydF4y2Ba 10.1046 / j.1525-1497.2003.20441.xgydF4y2Ba 12542581gydF4y2Ba jgi20441gydF4y2Ba PMC1494814gydF4y2Ba 罗斯曼gydF4y2Ba 乔丹gydF4y2Ba 皇帝没穿衣服gydF4y2Ba 重症监护医学gydF4y2Ba 2019gydF4y2Ba 01gydF4y2Ba 47gydF4y2Ba 1gydF4y2Ba 129gydF4y2Ba 130gydF4y2Ba 10.1097 / CCM.0000000000003505gydF4y2Ba 30557245gydF4y2Ba 00003246-201901000-00022gydF4y2Ba 人工智能为COVID-19患者触发快速、挽救生命的护理gydF4y2Ba 史诗gydF4y2Ba 2020-06-18gydF4y2Ba https://www.epic.com/epic/post/artificial-intelligence-epic-triggers-fast-lifesaving-care-covid-19-patientsgydF4y2Ba 辛格gydF4y2Ba KgydF4y2Ba 谷gydF4y2Ba TSgydF4y2Ba 唐gydF4y2Ba 年代gydF4y2Ba 李gydF4y2Ba 通过gydF4y2Ba KamrangydF4y2Ba FgydF4y2Ba SjodinggydF4y2Ba 兆瓦gydF4y2Ba 恩斯gydF4y2Ba JgydF4y2Ba otlgydF4y2Ba EgydF4y2Ba 唐纳利gydF4y2Ba 摩根大通gydF4y2Ba 魏gydF4y2Ba 我的gydF4y2Ba 麦克布莱德gydF4y2Ba 摩根大通gydF4y2Ba 曹gydF4y2Ba JgydF4y2Ba PenozagydF4y2Ba CgydF4y2Ba AyaniangydF4y2Ba 生理改变gydF4y2Ba NallamothugydF4y2Ba 汉堡王gydF4y2Ba 评估住院COVID-19患者中广泛实施的专有恶化指数模型gydF4y2Ba 安胸社gydF4y2Ba 2020gydF4y2Ba 12gydF4y2Ba 24gydF4y2Ba 1gydF4y2Ba 10.1513 / annalsats.202006 - 698摄氏度gydF4y2Ba 33357088gydF4y2Ba 斯特里克兰gydF4y2Ba EgydF4y2Ba 人工智能可以帮助医院决定COVID-19患者的生死gydF4y2Ba IEEE频谱gydF4y2Ba 2020gydF4y2Ba 04gydF4y2Ba 17gydF4y2Ba 2020-06-19gydF4y2Ba https://spectrum.ieee.org/the-human-os/artificial-intelligence/medical-ai/ai-can-help-hospitals-triage-covid19-patientsgydF4y2Ba GilliesgydF4y2Ba CgydF4y2Ba 泰勒gydF4y2Ba DFgydF4y2Ba 卡明斯gydF4y2Ba 公元前gydF4y2Ba 安萨里gydF4y2Ba 年代gydF4y2Ba IslimgydF4y2Ba FgydF4y2Ba 克罗尼克gydF4y2Ba SLgydF4y2Ba MedlingydF4y2Ba RPgydF4y2Ba 病房gydF4y2Ba 基米-雷克南gydF4y2Ba 演示在预防卫生保健预警系统中学习缺失模式的后果:一种新的模拟和解决方案gydF4y2Ba J生物医学信息gydF4y2Ba 2020gydF4y2Ba 10gydF4y2Ba 110gydF4y2Ba 103528gydF4y2Ba 10.1016 / j.jbi.2020.103528gydF4y2Ba 32795506gydF4y2Ba s1532 - 0464 (20) 30156 - 8gydF4y2Ba LundberggydF4y2Ba SMgydF4y2Ba 不gydF4y2Ba GgydF4y2Ba 陈gydF4y2Ba HgydF4y2Ba DeGravegydF4y2Ba 一个gydF4y2Ba PrutkingydF4y2Ba JMgydF4y2Ba 奈尔gydF4y2Ba BgydF4y2Ba 卡茨gydF4y2Ba RgydF4y2Ba HimmelfarbgydF4y2Ba JgydF4y2Ba 邦萨尔gydF4y2Ba NgydF4y2Ba 李gydF4y2Ba 年代gydF4y2Ba 从局部解释到对树木的可解释人工智能的全球理解gydF4y2Ba Nat Mach intelgydF4y2Ba 2020gydF4y2Ba 01gydF4y2Ba 2gydF4y2Ba 1gydF4y2Ba 56gydF4y2Ba 67gydF4y2Ba 10.1038 / s42256 - 019 - 0138 - 9gydF4y2Ba 32607472gydF4y2Ba PMC7326367gydF4y2Ba ChurpekgydF4y2Ba 毫米gydF4y2Ba 袁gydF4y2Ba TCgydF4y2Ba 温斯洛gydF4y2Ba CgydF4y2Ba 确gydF4y2Ba AAgydF4y2Ba MeltzergydF4y2Ba 做gydF4y2Ba 吉本斯gydF4y2Ba 理查德·道金斯gydF4y2Ba 说道gydF4y2Ba DPgydF4y2Ba 病房患者风险分层工具的多中心开发和验证gydF4y2Ba J呼吸急救医疗吗gydF4y2Ba 2014gydF4y2Ba 09gydF4y2Ba 15gydF4y2Ba 190gydF4y2Ba 6gydF4y2Ba 649gydF4y2Ba 55gydF4y2Ba 10.1164 / rccm.201406 - 1022摄氏度gydF4y2Ba 25089847gydF4y2Ba PMC4214112gydF4y2Ba 陈gydF4y2Ba TgydF4y2Ba GuestringydF4y2Ba CgydF4y2Ba XGBoost:一个可扩展的树增强系统gydF4y2Ba 第22届ACM SIGKDD知识发现和数据挖掘国际会议论文集gydF4y2Ba 2016gydF4y2Ba 知识发现(KDD)的16个gydF4y2Ba 2016年8月gydF4y2Ba 旧金山，加州gydF4y2Ba 785gydF4y2Ba 794gydF4y2Ba 10.1145/2939672.2939785gydF4y2Ba 史密斯gydF4y2Ba GBgydF4y2Ba 他gydF4y2Ba 博士gydF4y2Ba 梅雷迪思gydF4y2Ba PgydF4y2Ba 施密特gydF4y2Ba 体育gydF4y2Ba 费瑟斯通gydF4y2Ba πgydF4y2Ba 国家早期预警评分(NEWS)区分早期心脏骤停、意外重症监护病房入院和死亡风险患者的能力gydF4y2Ba 复苏gydF4y2Ba 2013gydF4y2Ba 04gydF4y2Ba 84gydF4y2Ba 4gydF4y2Ba 465gydF4y2Ba 70gydF4y2Ba 10.1016 / j.resuscitation.2012.12.016gydF4y2Ba 23295778gydF4y2Ba s0300 - 9572 (13) 00002 - 6gydF4y2Ba 国家早期预警评分(新闻):标准化评估急性疾病的严重性在NHSgydF4y2Ba 皇家内科医学院gydF4y2Ba 2012gydF4y2Ba 2020-06-18gydF4y2Ba https://www.rcplondon.ac.uk/file/32/download+&cd=4&hl=en&ct=clnk&gl=cagydF4y2Ba 皮门特尔gydF4y2Ba 米gydF4y2Ba 雷德芬gydF4y2Ba OCgydF4y2Ba 格里gydF4y2Ba 年代gydF4y2Ba 柯林斯gydF4y2Ba GSgydF4y2Ba MalychagydF4y2Ba JgydF4y2Ba 他gydF4y2Ba DgydF4y2Ba 施密特gydF4y2Ba 体育gydF4y2Ba 史密斯gydF4y2Ba GBgydF4y2Ba WatkinsongydF4y2Ba PJgydF4y2Ba 国家早期预警评分和国家早期预警评分2识别有住院死亡风险患者的能力比较:一项多中心数据库研究gydF4y2Ba 复苏gydF4y2Ba 2019gydF4y2Ba 01gydF4y2Ba 134gydF4y2Ba 147gydF4y2Ba 156gydF4y2Ba 10.1016 / j.resuscitation.2018.09.026gydF4y2Ba 30287355gydF4y2Ba s0300 - 9572 (18) 30945 - 6gydF4y2Ba PMC6995996gydF4y2Ba ElshawigydF4y2Ba RgydF4y2Ba Al-MallahgydF4y2Ba MHgydF4y2Ba SakrgydF4y2Ba 年代gydF4y2Ba 基于机器学习的高血压预测模型的可解释性gydF4y2Ba BMC Med通知Decis MakgydF4y2Ba 2019gydF4y2Ba 07gydF4y2Ba 29gydF4y2Ba 19gydF4y2Ba 1gydF4y2Ba 146gydF4y2Ba 10.1186 / s12911 - 019 - 0874 - 0gydF4y2Ba 31357998gydF4y2Ba 10.1186 / s12911 - 019 - 0874 - 0gydF4y2Ba PMC6664803gydF4y2Ba LundberggydF4y2Ba SMgydF4y2Ba 李gydF4y2Ba 如果gydF4y2Ba 解释模型预测的统一方法gydF4y2Ba 神经信息处理系统研究进展gydF4y2Ba 2017gydF4y2Ba 少量的酒2017gydF4y2Ba 2017年12月4日至9日gydF4y2Ba 加州长滩gydF4y2Ba 4765gydF4y2Ba 4774gydF4y2Ba 球gydF4y2Ba JWgydF4y2Ba 龙骑士达因gydF4y2Ba 我gydF4y2Ba 弗林gydF4y2Ba 晶澳gydF4y2Ba 所罗门gydF4y2Ba 废话gydF4y2Ba 管家gydF4y2Ba RWgydF4y2Ba 赛德尔体格检查指南，第九版gydF4y2Ba 2019gydF4y2Ba 伦敦gydF4y2Ba 爱思唯尔健康科学gydF4y2Ba
Baidu
map