在国际卫生保健数据集网络中实施COVID-19脆弱性指数:协作外部验证研究

简介

背景

导致COVID-19的新型冠状病毒SARS-CoV-2正在全球迅速传播，给全球卫生保健系统造成负担[1］．正在开发并向公众发布许多预测模型，以帮助大流行期间的决策[2］．其中许多模型旨在告知人们因COVID-19而发生严重后果的风险[3.-5］．最近的一项系统综述发现，所有当时发表的模型都存在较高的偏倚风险，并存在一个或多个局限性，包括用于开发模型的数据集较小以及缺乏外部验证[2］．

COVID-19脆弱性(C-19)指数[5]是为确定COVID-19感染期间易受严重后果影响的人群而开发的预后模型的一个例子。该模型具有潜在价值，因为它旨在预测普通人群的住院风险[2］．在进行这项研究时，有一篇关于该模型的论文作为预印本提供[5]，而模型本身可在一个网站上公开获得[6］．C-19指数旨在预测3个月内哪些患者因肺炎(或肺炎代用品)需要住院治疗。该模型是使用回顾性收集的医疗保险数据(65岁或以上的患者)开发的，不包括COVID-19患者。

目标

在本文中，我们旨在展示外部验证的重要性，并证明在紧急情况下，为此目的使用协作网络的可行性。我们选择用C-19指数来证明这一点，因为在同行评议之前，它作为一种可以预测COVID-19严重程度的模型，可以作为商业产品向公众提供，但尚未经过任何外部验证。目前尚不清楚该模型是否用于医疗决策，但它已被宣传为决策工具。然而，本文阐述的过程和汲取的经验教训适用于任何COVID-19预测模型。此外，C-19指数模型是使用非COVID-19数据开发的，不能保证在没有COVID-19的医疗保险患者身上训练的模型在COVID-19患者身上表现类似，甚至表现良好。研究表明，缺乏外部验证的模型存在很高的偏差风险[7］．此外，建议在临床使用前评估模型的再现性和可移植性的知识[8］．模型必须是可靠的，因为糟糕的预测可能不利于决策。2］．

观察性健康数据科学与信息学(OHDSI)合作是一组研究人员，他们正在合作开发分析观察性医疗数据的最佳实践[9］．OHDSI开发了一个框架，能够在全球大量数据集上及时验证预测模型[10］．OHDSI网络目前包含来自美国、欧洲和亚洲的大量COVID-19队列。在这项研究中，我们旨在证明在预测可信之前对模型进行外部验证的重要性。作为案例研究，我们选择调查C-19指数应用于世界各地数据库的COVID-19数据时的预测性能。本研究提供了关于在COVID-19大流行期间使用C-19指数模型辅助决策的适用性的信息。

方法

现有的C-19指数模型

在C-19索引论文中开发了三个模型[5］．最简单的模型是具有有限数量预测因子的逻辑回归:年龄、性别、医院使用情况、11种共病以及它们的年龄相互作用。另外两个模型则是拥有超过500个变量的梯度提升机器。这些梯度增压机模型中只有一种被报道过。保留模型会导致不符合TRIPOD(个体预后或诊断的多变量预测模型的透明报告)声明[11并使外部验证成为不可能。在本文中，我们选择评估简单逻辑回归模型，认识到全球迫切需要COVID-19预测模型，并且精简模型更容易在卫生保健环境中实施。

数据源

来自初级保健和二级保健系统的电子医疗记录(EMRs)和行政索赔数据库，其中包含来自澳大利亚、日本、荷兰、西班牙、韩国和美国的患者，在分布式网络中进行了分析多媒体附件1，表S1。在这些数据集中，5个包含COVID-19病例，9个没有。本文中使用的所有数据集均被映射到OHDSI观察性医疗结果伙伴关系通用数据模型(omp - cdm) [12］．开发omp - cdm是为了向研究人员提供具有标准数据库结构的不同数据集。这使得分析代码和软件能够在研究人员之间共享，从而促进了预测模型的外部验证。从临床实践中常规收集的记录中获得鉴别或假名数据。使用以下数据库进行分析:澳大利亚基于实践的电子研究网络(AU-ePBRN)(澳大利亚初级和二级保健数据库的链接);日本医疗数据中心(日本索赔);综合初级保健信息(IPCI)(荷兰初级保健EMR);初级保健研究信息系统(SIDIAP)(西班牙初级保健EMR);亚洲大学医学院(AUSOM)和健康保险审查和评估(HIRA) (EMR和索赔数据库，分别来自韩国);商业索赔和遭遇(CCAE)、ClinFormatics、医疗保险(MDCR)、医疗补助(MDCD)(美国索赔数据库)、Optum EHR、退伍军人事务部(VA)、哥伦比亚大学欧文医学中心(CUIMC)和塔夫茨医学中心研究数据仓库(TRDW)(美国EMRs)。 All analyses were conducted locally in a distributed network in which the analysis code was sent to participating sites and only aggregate summary statistics were returned, with no sharing of patient-level data between organizations.

发表同意书

每个站点都获得了机构审查委员会的研究批准或使用了未识别的数据;因此，该研究被确定为非人体课题研究。在任何地点都不需要知情同意。

参与者

C-19指数的目的是确定哪些COVID-19患者更有可能因严重并发症而需要住院治疗。C-19指数模型使用非covid -19数据开发;因此，我们在(1)COVID-19队列中对其进行了外部验证，以查看该模型在广告中所宣传的患者中传输的效果如何，以及(2)非COVID-19队列中，查看该模型在与用于开发该模型的患者相似的患者中传输的效果如何。

我们选择调查模型应用于有初始症状的门诊或急诊科(ED)患者时的表现。我们选择了这种方法，因为它模拟了患者因出现COVID-19症状或COVID-19(或流感)检测呈阳性而首次寻求治疗或医疗建议的情况。

对于使用COVID-19数据的外部验证，满足以下标准的患者被纳入目标人群:

• 在门诊或急诊科就诊时出现COVID-19(通过2020年1月1日之后记录的SARS-COV-2诊断代码或SARS-COV-2阳性检测确定COVID-19)
• 门诊或急诊科就诊时年龄≥18岁
• 门诊或急诊科就诊前资料中观察时间≥365天
• 在过去60天内未诊断出流感、流感样症状或肺炎(以确保指标日期为COVID-19最近症状的日期)

指标日期定义为有效门诊或急诊科就诊的日期。

对于使用非covid -19数据(流感数据)的外部验证，满足以下标准的患者被纳入目标人群:

• 在门诊或急诊科就诊时出现流感或流感样症状(如发烧和咳嗽、呼吸短促、肌痛、不适或疲劳)
• 门诊或急诊科就诊时年龄≥18岁
• 门诊/急诊科就诊前资料中观察时间≥365天
• 在过去60天内未诊断出流感、流感样症状或肺炎(以确保指标日期为最近流感症状的日期)

指标日期定义为有效门诊或急诊科就诊的日期。

结果

结果为在指标日(有效的门诊或急诊科就诊)和指标后30天内因肺炎住院。

多媒体附件2包含本研究中使用的肺炎、流感、流感样症状和COVID-19的定义。参与者队列的完整细节和用于验证的结果可在研究包中找到[13］．

预测

C-19指数logistic回归版本的预测因子为年龄(年)、男性性别、前12个月住院次数以及各种临床分类软件精炼(CCSR)类别的指标变量。表中给出了C-19预测因子和系数多媒体．所使用的CCSR分类为除结核病引起的肺炎以外的肺炎、其他未明确定义的心脏病、心力衰竭、急性风湿性心脏病、冠状动脉粥样硬化和其他心脏病、肺心病、慢性风湿性心脏病、糖尿病合并并发症、无并发症的糖尿病、慢性阻塞性肺病和支气管扩张，以及其他特定和未明确的下呼吸道疾病。年龄与每个CCSR变量的相互作用也被作为预测因素。每个CCSR类别对应于属于该类别的国际疾病分类第十版(ICD-10)代码的集合。

在发育数据中，如果患者的ICD-10代码在指数之前的特定时间段内属于CCSR“除结核引起的肺炎外的肺炎”分组，那么他们的预测因子“除结核引起的肺炎外的肺炎”的值为1;否则，它就是0。对每个CCSR预测者重复此分配。omp - cdm中的数据不使用ICD-10代码，而是使用医学系统化命名法(SNOMED)代码。因此，为了复制omp - cdm数据中的预测因子，我们需要找到对应于每个CCSR预测因子的SNOMED编码集。我们通过在CCSR类别中找到每个ICD-10代码的SNOMED等效物来实现这一点。

C-19的OHDSI实现所使用的每个CCSR类别的SNOMED分组在多媒体．

样本大小

我们在2020年确定了41381名因COVID-19而去门诊或急诊科就诊的患者:1985名患者来自韩国，37950名患者来自西班牙，1446名患者来自美国。我们还从6个国家的数据库中确定了9,429,285名因流感或流感样症状而门诊或急诊科就诊的患者。每个数据库流感或流感样症状的访问次数在2793至3,146,801之间。

缺失的数据

预测模型采用队列设计，包括任何满足纳入标准的患者。我们没有排除在有效门诊或急诊科就诊后30天内失去随访的患者。

统计分析方法

使用标准判别指标评估模型性能:受试者工作特征(AUROC)曲线下面积(相当于C统计量)和精度召回曲线下面积(AUPRC)。后者在评估罕见结果时是AUROC的有用补充[14］．AUROC为1对应于这样一个模型:与未经历该结局的患者相比，将经历该结局的患者总能赋予更高的风险。AUROC为0.5对应于随机猜测患者风险的模型。精确度的定义是真阳性的数量除以真阳性的数量加上假阳性的数量。召回率定义为真阳性的数量除以真阳性的数量加上假阴性的数量。精度-召回曲线显示了不同阈值下的精度和召回之间的权衡。AUPRC的性能与结果的稀有性有关。AUPRC大于具有结果的人口百分比，表明模型具有判别能力，该值越大(越接近1)，判别能力越好。AUPRC给出了假阳性率的一些见解;AUPRC值较低，表明模型将导致许多假阳性。 The calibration was determined by creating deciles based on the predicted risk and plotting the mean predicted risk versus the observed risk in each decile. If a model is well calibrated, the mean predicted risk will be approximately equal to the observed risk for each decile.

我们遵循TRIPOD声明准则[11]用于报告本文的模型验证。为了透明度，GitHub上有一个开源包，用于在任何omp - cdm数据上实现模型[13］．

开发与验证

C-19指数模型开发设置和验证设置之间的差异包括不同的目标人群和不同的数据集。我们选择的验证设计设置是为了模拟临床医生需要决定是否收治COVID-19患者的情况。重要的是，我们在COVID-19患者身上验证了C-19指数模型。

C-19指数采用队列设计，于2016年9月30日将成年患者纳入队列，并预测他们是否会在接下来的3个月内因肺炎或替代疾病(流感、急性支气管炎或其他特定的上呼吸道感染)住院。要求患者拥有6个月或6个月以上的数据，在索引后3个月内离开数据库且未记录死亡的患者被排除在外。在我们的外部验证中，我们采用了队列设计，但将因流感(或COVID-19)首次门诊/急诊科就诊的成年患者纳入队列，而不是固定日期;此外，我们预测肺炎住院时间为30天，而不是3个月。我们排除了指数前60天内患有流感或肺炎的患者，以将数据限制在首次就诊。这模拟了COVID-19大流行期间的情况，临床医生需要决定是否将最初出现COVID-19的患者住院。我们需要12个月的前期观察，并且不排除索引后3个月内离开数据库的患者。

C-19指数是利用大流行前MDCR数据库中的一部分患者编制的。这是一个包含65岁以上患者的美国索赔数据库。在这项研究中，我们能够从外部评估COVID-19数据的C-19指数模型，包括来自韩国、西班牙和美国的65岁以下成年患者。

结果

基于网络的结果

我们的完整分析结果可在交互式应用程序[15］．

MDCR数据(与发展数据相同数据源，但不同患者子集)以及HIRA、SIDIAP和VA数据(COVID-19患者)的特征显示在表1．本研究中使用的所有数据集的特征可在多媒体附件4．

模型的性能

当C-19被运送给COVID-19患者时，其auroc在0.36至0.56之间;详情见表2．AUROC和校准图显示在图1．C-19指数的内部鉴别性能AUROC为0.73。当我们在MDCR数据库中的患者(年龄≥65岁且有补充医疗保险覆盖的患者)上验证该模型时，但由于我们的目标人群由有症状的流感患者组成，性能为0.65，与0.73的发展性能相比有大幅下降。在其他包含流感患者的数据库中进行外部验证时，AUROC表现在0.40到0.68之间。完整结果显示在表3， AUROC和校准图见多媒体．作为敏感性分析，我们还在2020年患有COVID-19或有疾病症状的患者组成的目标人群中验证了C-19指数;结果相似，见表S2多媒体附件1．

‎ 查看此图

讨论

C-19指数可在网上获得，作为预测COVID-19患者严重程度的工具;然而，它缺乏对这一人群的验证。我们在三个具有充足COVID-19数据的数据集上进行验证，结果显示鉴别性能较差(auroc <0.6)和校准。当该模型在12个流感患者数据集上进行验证时，我们观察到同样糟糕的表现，最佳auroc <0.70。

解释

这项研究的关键发现是C-19指数模型在移植给COVID-19患者时的表现。整个COVID-19数据集的模型性能较差(auroc 0.36-0.56)。SIDIAP数据中的表现比随机猜测更差，这与该模型应用于欧洲流感患者时所看到的糟糕表现是一致的。校准图显示，C-19指数一直低估了COVID-19患者的风险。

用于执行验证的数据集具有非常不同的患者群体。MDCR的患者年龄最大，该数据集中的许多患者有合并症。与MDCR相比，CCAE和JMDC数据集显示目标人群中更健康、更年轻的患者(平均年龄约40岁)。虽然MDCD数据集包含较年轻的患者，但这些患者通常有合并症(即，20%的患者患有慢性阻塞性肺疾病，11%有心力衰竭，17%有肺炎史)。各数据集的住院率差异很大，值在0.1% (JMDC)和12.4% (MDCR)之间。用于开发C-19指数的数据集中的结果率为0.23%，远低于本研究中用于验证模型的MDCR数据集中的结果率。这是因为我们的研究仅限于因流感或COVID-19而门诊或急诊科就诊的患者。虽然有5个数据集包含COVID-19患者，但只有4个数据集(VA、HIRA、SIDIAP和CUIMC)包含足够的数据进行外部验证。C-19指数模型应用于CUIMC中COVID-19患者的结果较差，AUROC <0.5;然而，该数据集主要由住院患者组成，因此似乎不适合验证预测住院的模型。

我们选择了有症状患者的目标人群，因为这类似于COVID-19预测模型在大流行期间可能在临床实施的情况:临床医生不太可能接收无症状患者。这表明，由于在模型开发数据中包含了许多健康患者，因此在一般人群中而不是在有症状的人群中评估的内部C-19 AUROC估计值与在现实环境中的使用相比可能是乐观的。当应用于预测美国数据中的流感患者住院时，判别性能在0.58至0.68之间．在CCAE数据集中，年轻患者的表现更差，可能是因为年龄是模型中的一个关键预测因素。当C-19指数在非美国数据集上传输时，澳大利亚和亚洲数据的区分差到合理(0.52-0.64)，欧洲数据的区分差到合理(0.4-0.49)。欧洲数据提取自一般实践设置，但C-19指数模型是使用美国索赔数据开发的。考虑到临床环境的差异，表现差并不奇怪。这一发现强调，模型通常不会被运送到不同的医疗机构。SIDIAP验证C-19指标模型时AUROC为0.36，劣于随机猜测，反演预测风险AUROC为0.64。这可能是C-19包含年龄相互作用项的结果，导致年龄系数为负。表1显示在SIDIAP中，该模型的年龄相互作用共病的记录不像在其他数据库中那样频繁。因此，在SIDIAP中，年轻患者可能比老年患者被分配了更高的风险。

将C-19应用于COVID-19数据时，校准效果很差。这并不意外，因为众所周知，COVID-19患者比一般无COVID-19人群因肺炎住院的风险更高。通过使用COVID-19患者的数据样本进行重新校准，可能会改进校准。

影响

这些结果为logistic回归C-19指数用于COVID-19数据时的表现提供了广泛的见解。外部验证发现，logistic回归C-19指数模型在预测COVID-19患者住院风险时不可靠。鉴于这一结果，我们不建议在COVID-19大流行期间使用逻辑回归C-19指数来帮助决策。该模型似乎没有传播给COVID-19患者，这突出了外部验证模型的重要性，特别是目标人群与发展人群不同的模型。

logistic回归C-19指数模型不能预测被调查的COVID-19患者因肺炎住院的潜在原因有很多。第一个原因可能是该模型是在65岁或以上的患者身上开发的，但适用于18岁或以上的患者。年龄在模型中有一个负系数，这可能导致模型应用于年轻患者时出现问题。第二个原因可能是由于预测因子的表型不正确。我们将SNOMED代码与CCSR提供的ICD-10代码进行了匹配;然而，由于数据集和卫生保健设置之间的编码差异，预测因子可能需要数据库特定的表型。这可能解释了欧洲数据集表现不佳的原因，这些数据集是从数据库中获得的，其记录条目可能与美国的不同。第三个原因是研究设计。C-19指数用于预测2016年某一特定日期的住院情况;然而，我们在有症状的门诊或急诊科患者的目标队列中验证了它，因为这更符合模型的临床用例。 Therefore, we were likely to have a sicker population, in which discrimination may have been more difficult. A fourth potential reason is that the C-19 index model was developed using data prior to 2017 but was validated on data from 2020: temporal changes and concept drift may have negatively impacted the performance. Although we do not know the reason for the unreliability of the C-19 index model on patients with COVID-19, we were able to quantify it by large-scale external validation across a network of data sets. In future work, it would be beneficial to develop techniques that can identify reasons for poor external validation performance, as this may inform new best practices for model development.

这项研究强调了在不同环境下进行广泛外部验证的重要性。在不确定时期，如大流行，面临做出重要决定的压力的医务人员可以从实施经过审查的预测模型中受益。然而，在使用模型之前，对模型在众多患者群体中的性能进行无偏倚和可靠的评估是很重要的。内部验证通常是有偏见的(例如，用于开发模型的总体与预期的目标总体不匹配)，并且可以提供乐观的性能估计(例如，一个糟糕的设计或小的数据集可能导致高估的鉴别性能)。OHDSI协作使用的方法可以跨多个数据集对模型进行有效的外部验证，当需要紧急情况时，这是一种宝贵的资源。

限制

在使用观察性医疗保健数据时，特别是在跨数据库网络时，一个常见的问题是难以开发在所有数据集上都有效的表型。在这项研究中，我们使用了开发模型的研究人员给出的预测器定义。然而，这些定义可能无法跨所有数据集传输，并可能导致性能下降。我们也仅限于验证不太复杂的C-19指数模型，因为对于更复杂的模型来说，变量太多且缺乏透明度。

本文中用于证明外部验证重要性的C-19指数模型对医疗决策的使用可能有限。其他COVID-19模型，如包括生理测量在内的模型，可能会产生更大的临床影响。然而，我们之所以选择C-19指数模型，是因为它在大流行早期就可用，并作为一种有用的工具向公众宣传，同时以预印本论文进行报告，没有经过正式的同行评审。

结论

我们已经证明了在多个数据集中实施外部验证以确定预测模型可靠性的重要性。我们选择了一个新开发的模型，即C-19指数，旨在预测哪些COVID-19患者有因SARS-CoV-2而出现严重并发症的风险。该模型报告的内部AUC为0.73，但被认为具有很高的潜在偏差风险[2］．C-19指数解决了一个重要问题，可以在COVID-19大流行期间极大地帮助决策;然而，它在COVID-19患者中的表现尚不清楚。我们的研究结果表明，当应用于亚洲、欧洲和美国新诊断的COVID-19患者时，C-19指数表现不佳。总的来说，我们建议该模型目前仅用于预测美国老年患者因肺炎而住院的情况。本研究的结果表明，内部验证性能应被视为乐观估计，预测模型需要在将使用的目标人群(或接近的代理)的多个数据集上进行验证，然后才应被信任。