结合流行病学和患者生成的健康数据，通过深度学习进行流感筛查:开发和验证研究

简介

随着移动医疗(mHealth)的日益普及，目前在医院之外产生和积累了大量与健康相关的数据[1-3.］．这些与健康相关的数据涵盖了广泛的定量变量，如身体活动、血糖水平、血压、心率/节律和氧饱和度，以及一系列定性数据，如情绪相关症状、食物摄入、药物使用和睡眠模式。甚至来自社交媒体帖子或搜索引擎查询的数据也可能被包括在内。4］．这类与健康相关的数据被归类为患者生成的健康数据(PGHD)，并由国家卫生信息技术协调员办公室定义为"与健康相关的数据，包括健康史、症状、生物特征数据、治疗史、生活方式选择，以及由患者或其指定人员(即护理伙伴或协助他们的人)创建、记录、收集或推断的其他信息，以帮助解决健康问题" [5］．

许多研究表明，PGHD对保健有各种潜在的好处。例如，PGHD可以通过提供持续监测和支持，以及更个性化的治疗计划，帮助糖尿病或高血压等慢性疾病患者更好地照顾自己[6-9］．PGHD还有助于远程监测患者的术后疼痛或慢性疼痛，并已被发现更准确地评估患者的心理情绪状态[10-12］．使用PGHD的另一个例子是预测传染病。一些研究表明，流感[13-15]及中东呼吸综合征[16可以使用搜索引擎查询数据(包括谷歌流感趋势和社交媒体帖子)预测流感爆发。除了这些间接的方法，患者通过网站或智能手机应用程序直接报告他们的症状，也可以用来检测流行病[17，18］．

虽然可以使用PGHD预测流感暴发，但对个别患者的诊断或筛查一直使用传统的医疗设备，如快速流感抗原检测或逆转录聚合酶链式反应(RT-PCR)。流感快速诊断测试(RIDT)因处理时间较短及容易取得，主要用作诊断测试[19］．然而，由于RIDT的敏感性较低，不足以作为流感的筛查试验[20.-22］．出于这一考虑，即使RIDT结果为阴性，也根据临床判断，为疑似流感病例开出了用抗病毒药物治疗流感的处方。流感样疾病(ILI)病例定义是一种基于症状的疑似病例筛查方法，但据报道其敏感性有限，尽管缺乏实质性的特异性[23］．

发烧被认为是流感最明显的症状。由于缺乏其他可区分的症状，将流感与其他疾病区分可能具有挑战性[24，25］．最近，据报道，深度学习方法在使用时间序列数据(如住院患者数据)预测单个患者结果方面超过了经典统计方法[23，26］．在这项研究中，我们提出了一种结合流行病学信息和来自移动健康应用程序的PGHD进行流感筛查的深度学习方法。然后将这些结果与患者的诊断结果进行比较。

方法

数据收集

我们回顾性地收集了Fever Coach应用程序的日志数据，该应用程序支持Android和iOS。27］．Fever Coach是一款使用用户自我报告数据的发烧管理应用程序(图1)．

数据收集时间为2017年1月至2018年12月。共有480,793个用户输入了28,010,112条记录。在同一时期，在一家诊所被诊断患有流感的用户人数为16 432人。2017年和2018年，分别有3583人和12849人被诊断患有流感。记录数据包括体温、体积、退热药物或抗生素药物的种类和形式、性别、年龄、体重、症状、病历等。“Fever Coach”的用户同意，他们的身份识别数据可以用于研究目的，三星首尔医院的机构审查委员会也放弃了知情同意。

我们收集了韩国气象局信息门户网站2017年1月至2018年12月的日平均气温、日最高气温、日最低气温、日平均露点、日平均相对湿度和日平均压力数据。观测点为首尔108 [28］．

韩国疾病控制中心(KCDC)利用从公共卫生中心收到的前一周的数据，每周二发布每周流感样疾病报告。这些数据收集于2017年1月至2018年12月期间[29］．

‎ 查看此图

数据预处理

所有的日志数据，按用户ID和年份分开，然后划分为集。发作时间定义为用户被诊断为流感或其他疾病的连续天数。例如，如果用户在2018年2月23日被诊断为流感，并在2018年2月21日至2018年2月24日期间记录了体温，则这几天被认为是1次发作。如果用户在他或她之前的记录后24小时内记录了另一个记录，则被认为是一个新的插曲。表1显示片段分离的示例。

每一集必须包含用户的年龄、性别和体重等信息。由于年龄是流感传播的关键因素之一，为了避免根据年龄进行过拟合，将用户分为0-2岁、2-5岁、6-12岁和≥13岁4个年龄组。没有年龄、性别和体重的病例被排除。此外，任何不包含至少1个发烧数据点的发作都被排除在外。

然后，我们从每年的流感诊断发作中计算出基于应用程序的每周流感监测。基于app的每周流感监测定义为每周报告的流感病例数除以同年年度报告的流感病例总数。例如，如果2018年报告了3000例流感病例，2018年第49周每周报告了300例流感病例，那么2018年第49周基于应用程序的监测为0.1。我们每年每周计算这个值，然后将这个值加到相应的插曲中。如果每次发作有多天，考虑到流感的潜伏期为1至4天，我们以每次发作的第一天为代表值[30.，31］．我们的周编号是基于ISO周日期系统[32］．基于应用程序的每周流感监测数据已导入多媒体附件1．

我们还添加了来自韩国气象厅的气象数据。和以前一样，我们使用了每集第一天对应的值。我们还增加了KCDC实验室监测，但这次我们使用的值对应于每次发作的第一天前1周。由于KCDC监测报告延迟，我们无法使用同一周对应的值。

最后，由于我们收集的日志数据中非流感发作的次数比流感发作的次数多，我们将每年非流感发作的次数设置为与流感发作的次数相同。使用2018年的数据进行训练和超参数调优，这些数据被随机分为训练集(2664/3330,80%)和测试集(666/3330,20%)。在训练集上使用5倍交叉验证。考虑到每年的流感流行略有不同，我们准备了一个额外的验证集。虽然我们的训练/测试集包括2018年收集的数据，但额外的验证集包括2017年收集的数据，这些数据每周报告的流感病例分布不同。与训练/测试集一样，流感和非流感发作的额外验证集也调整为50:50。图2总结了数据预处理的整体流程。

‎ 查看此图

深度学习模型与超参数训练

我们使用GRU-D作为基线模型[26］．GRU- d是一种基于循环神经网络的门控循环单元神经网络结构的改进设计。与GRU不同的是，掩码和时间戳被结合在一起，输入被操纵为3通道数据。由于Fever Coach数据具有多种缺失值的特征，我们认为GRU-D结构的掩码系统在我们的实验中是有效的。未对被屏蔽的数据执行反向传播;因此，它没有更新参数。输入数据被操纵为3通道数据，这些数据与时间戳连接，并按前面描述的那样被屏蔽。因此，矩阵X的形状_输入为3 × D × T，其中D为每次实验的变量数，T为时间序列的最大个数。我们在实验中使用T=70，因为在一集中输入数据的最大计数为70。在我们的实验中，可变维度的最大数量为16个(年龄4个，气象数据6个，性别、体重、流感监测、基于应用程序的监测、抗生素管理和退热药管理各1个)。我们使用不同的变量组合进行了3个实验。首先，我们使用整个16个维度(7个变量)来输入模型，并进行了2个额外的实验来评估输入变量对性能的影响。第二个实验在与第一个实验相同的条件下进行，只是删除了一个变量，使变量数量达到6个。第三个实验与第一个实验相似，只是增加了3个变量中的1个(体温、退烧药施用和抗生素施用)。我们使用二元交叉熵作为损失函数，我们使用精度作为评价指标来选择最佳模型。所有隐藏状态初始化为0。我们使用优化器，校正自适应矩估计，学习率为0.0001 [33］．共五十个世代。采用softmax函数作为激活函数。我们使用0.01的dropout来防止过拟合。所有的输入变量都标准化为平均值为0 (SD 1)。这些代码在GitHub存储库中公开可用[34］．

结果

获得的总发作数为6657。在这6657例病例中，3326例被诊断为流感。每集长度的平均值和SD为29.24 (SD 21.79)。表2总结了处理数据的一般特征。

本文提出的筛选算法以GRU-D为基础，以PGHD(体温记录、退热用药记录、抗生素用药记录)、app监测、气象数据为输入变量。试验数据集的受试者工作特征(AUROC)曲线下面积为0.902，准确度为82.43% (95% CI 80.28% ~ 84.44%)，灵敏度为84.20% (95% CI 81.07% ~ 87.00%)，特异性为80.92% (95% CI 77.85% ~ 83.73%)，阳性预测值(PPV)为79.05% (95% CI 76.38% ~ 81.50%)，阴性预测值(NPV)为85.69% (95% CI 83.26% ~ 87.83%)。混淆矩阵和受试者工作特征(ROC)曲线如图所示图3而且4,分别。

‎ 查看此图

‎ 查看此图

考虑到每年的流感流行略有不同，我们准备了额外的验证集，如方法部分所述。对于额外的验证集，我们的曲线下面积(AUC)为0.8647，准确度为77.99% (95% CI 76.31%-79.61%)，灵敏度为82.35% (95% CI 79.91%-84.61%)，特异性为74.79% (95% CI 72.46%-77.02%)， PPV为70.57% (95% CI 68.59%-72.47%)， NPV为85.24% (95% CI 83.47%-86.84%)。

我们还尝试以两种方式评估输入变量对性能的影响。首先，我们从所有变量中一次删除一个。其次，我们从基线变量中一次添加一个。为了逐个去除它们，我们首先使用所有10个输入变量训练模型，并测量当时的性能。然后，我们删除了1个输入变量，并使用总共9个输入变量在相同的数据集上训练模型，并测量其性能。我们一共得到了10个结果，并将它们总结在表3．例如，第二行表示使用了除发烧以外的所有变量。因此，基于应用程序的监测结果是最有影响力的变量，尽管它对特异性的影响很小。影响第二大的变量是气象观测数据。有趣的是，KCDC的监测数据似乎并没有产生重大影响。气象因素和基于应用程序的监测似乎弥补了KCDC监测数据从输入变量中排除的影响。

另一个实验是通过定义基本特征并每次添加一个变量来观察性能变化(表4)．使用的基线特征是体温、退热药和抗生素药物数据。我们通过将每个变量添加到基本特征中并观察性能来重复分析。在每个实验中，总共使用了4个输入变量。因此，我们发现性别数据会略微降低AUC性能(-0.02)，但基线性能与添加性别后修改的性能之间没有显著差异。体重和年龄也没有显著差异。对于气象数据、app监测和KCDC实验室监测变量，均显著提高了性能(P<措施)。“基线特征+ app监测”与“基线特征+气象数据”的表现差异不显著(P=的相关性)。同样，“基线特征+应用程序监测”与“基线特征+ KCDC实验室监测”的性能没有显著差异(P= .46)

最后，我们研究了输入数据的持续时间与筛选性能之间的相关性。图5描述了体温记录的持续时间与筛查表现之间的关系。我们最初假设，如果用户输入更多的数据，预测就会更准确。然而，在现实中，没有发现输入数据的持续时间与筛选性能之间的相关性。Spearman秩相关系数为0.0916。因此，这种关联不被认为具有统计学意义。

‎ 查看此图

讨论

在这项研究中，我们调查了使用PGHD筛查流感的可能性，例如从移动健康应用程序收集的体温和用药记录。

在本研究开始时，我们不知道服用退烧药时体温是否会发生变化，或者是否体温本身更重要。虽然发烧是流感的主要症状，但仅凭体温变化是无法诊断流感的[24，25］．因此，我们假设流感患者对退烧药反应较慢。为了验证这一假设，我们专门研究了使用退烧药和不使用退烧药的模型之间的性能差异。从输入变量中删除解热剂量记录比仅删除体温时的性能变化更大。基于这些结果，我们得出结论，该模型工作如预期。抗生素管理记录是我们认为重要的另一个变量。我们预计抗生素给药记录和退热给药记录会有类似的效果，但抗生素给药记录似乎限制了表现。这可能是由于抗生素的无效或不必要的抗生素处方。在我们的数据中，6657名使用者中有1952人被开了抗生素，其中674人被诊断患有流感以外的疾病。

体温是流感最重要的症状之一。然而，它对模型的影响并没有我们预期的那么强。在我们的数据中，97.42%(6485/6657)的事件中至少有一次温度高于38.3ºC。这说明大多数用户是在孩子发烧时使用该应用的，这也是该应用的初衷。其中50.82%(3296/6485)是流感发作，49.18%(3189/6485)是其他疾病发作。诊断为流感的患者组体温的均值和方差分别为38.1519ºC和0.8611ºC;体温与其他条件的平均值和方差分别为38.0449℃和0.8367℃。两组间有显著差异(P<措施)。我们推测，因为应用程序专注于发烧，体温对流感的预测能力下降了。

一个有趣的发现是性别对特异性的影响。虽然一些研究表明，流感流行率在性别上存在差异，但我们的数据发现，性别比例几乎相等，1677名男性和1660名女性被诊断患有流感。此外，当我们从输入变量中排除性别时，准确度和F₁测度没有显著变化。我们通过重复消融研究得到了相似的结果。因此，可能需要进一步的研究来澄清这一点。

综上所述，年龄、体重、性别对筛查效果影响不大。基于应用程序的监测大大提高了筛查性能，几乎与使用KCDC实验室监测或气象数据相同，后者经常被用作流感爆发的指标。

这项研究有几个局限性。首先，使用的训练和验证数据由患者自我报告。大多数用户使用智能手机报告自己的诊断结果;因此，临床医生没有报告这些数据。因此，如果使用医院生成的数据，我们不能确定是否会记录相同的结果。此外，初级保健医生通常使用RIDT而不是RT-PCR来诊断流感。由于RIDT的可靠性较低，我们的ground truth标签可能会有噪声。对于深度学习模型，如果部署时的数据与训练数据的特征略有不同，由于难以分析数据分布和输入变量对模型的影响，在验证时很难达到预期的性能[35］．由于数据不包括实验室结果，因此难以在临床环境中使用或用于一般流行病学分析;我们预计，通过Fever Coach应用程序应用有限的筛查测试将随着进一步的研究成为可能。我们正计划开展一项前瞻性观察研究来解决这些局限性。其次，采用各种方法测量体温。一些应用用户使用腋窝温度而不是鼓室温度。由于腋窝没有初级血管，因此腋窝温度就不太准确。这可能影响了模型的性能。

由于快速抗原检测的低敏感性和缺乏适当的筛查试验，流感筛查可能具有挑战性。在这项研究中，我们使用从mHealth应用程序中获得的PGHD开发了一种基于深度学习的筛查工具。实验结果证实，来自mHealth应用程序的PGHD可以作为个体患者流感筛查的补充工具。由于我们的数字方法可以在没有身体接触的情况下筛查患者，这种方法在筛查新的传染性疾病方面可能非常有益。