利用社交媒体上的症状和诊断报告预测中国大陆COVID-19病例数:观察性信息监测研究

简介

自2019年12月中国湖北省武汉市爆发冠状病毒病(COVID-19)以来[1，2，新型冠状病毒已影响到全球200多个国家和地区。截至2020年5月16日，新冠肺炎确诊病例超过400万例，死亡病例超过30万例[3.］．在诸多未知因素的影响下，实验室检测能力严重不足、病例报告延误、各地COVID-19应对措施不一、沟通不协调，给监测疫情动态、制定政策和有针对性的资源分配干预措施带来了巨大挑战。

当传统的疾病监测能力有限时，可公开获得的社交媒体和互联网数据可在发现新出现疫情的隐藏动态方面发挥关键作用[4］．数字疾病监测的研究，也称为信息监测或信息流行病学，在有用地利用互联网数据跟踪公众关注、情绪和健康的实时发展方面显示出巨大的希望[5-8］．具体来说，基于互联网搜索和社交媒体活动的数据可以即时预报和预测疾病流行情况，作为各种传染病常规监测方法的补充[5-7，9-14］．

数字疾病监测最著名的例子之一是谷歌流感趋势，它使用实时谷歌搜索词预测流感的临床发病率，初步取得了巨大成功[13，14］．来自推特等社交媒体平台的数据也被证明可以有效地预测和跟踪各种流行病，如流感[10，12]和寨卡病毒[15，都取得了不同程度的成功。然而，数字监控数据带来了独特的挑战。例如，在2008年发布后，谷歌流感趋势随着时间的推移变得越来越不准确，持续高估2011-2013年的流感流行率。预测错误的部分原因是人们搜索行为的改变，以及公众对疫情本身的关注增加，这推动了与疾病发病率无关的与意识相关的搜索查询[7，16］．与聚合搜索查询相比，用户生成的社交媒体数据具有更直接和更细粒度的优势，允许研究人员挖掘特定内容，以反映实际疾病。然而，媒体对新发疾病的关注可能会助长社交媒体活动，导致铺天盖地的讨论，淡化了实际感染病例的真实疾病信号;因此，预测的准确性较低[12］．

COVID-19的规模和传播速度前所未有，人们将自己隔离在家中，以打破感染链，引发了大规模的社交媒体活动[17］．大量的社交媒体数据不可避免地包含大量噪音(例如，公众的反应和对疾病的认识)，这可能会对疾病预测产生反效果。一些早期的信息监测研究跟踪了中国最受欢迎的公共社交媒体网站微博上关于COVID-19和患者特征的公众讨论[18-21］．两项研究表明，与covid -19相关的微博帖子和搜索查询可用于预测疾病患病率[19，22］．然而，这些研究依赖于粗粒度的社交媒体数据和基于疫情开始时具有较短时间窗口的几个关键词的查询数据[19，22］．因此，这些研究的预测准确性和结果可解释性受到上述信息监测研究同样的缺陷的限制。有很多理由在社交媒体上搜索和讨论COVID-19，特别是因为该疾病得到了大量媒体报道，而且许多国家都处于强制封锁状态。因此，为了更准确地预测感染病例并为快速应对提供信息，关键是要使用粒度和具体的社交媒体数据来识别可靠的疾病信号(即报告症状和诊断的“病帖”)。

在这里，我们提出了一项信息监测工作，以收集和分析微博上与COVID-19相关的帖子，并确定可以预测中国大陆COVID-19病例数的特定类型的微博帖子。据我们所知，该研究涉及的中文新冠肺炎相关社交媒体数据收集规模最大、最全面、粒度最细，远远超过了类似研究的规模、粒度和时间跨度[19，22］．我们建立了一个2.5亿人的微博用户池，大约是活跃微博用户的一半[23］．通过一份包含167个与COVID-19相关关键词的综合列表，我们检索了2019年11月1日至2020年3月31日期间的约1500万篇社交媒体帖子。随着数据粒度的大幅提高，我们开发了一个有监督的机器学习分类器，以区分“病帖”，即个人和他人的症状或诊断报告，与其他可能稀释数据流中的疾病信号的COVID-19相关帖子。使用官方报告的病例数作为结果，我们比较了生病岗位与其他COVID-19岗位的预测能力。我们展示了病假帖子预测中国疾病预防控制中心(中国疾控中心)每天报告的病例提前14天的证据，而其他与covid -19相关的帖子的预测能力要弱得多。对于带有地理标记的帖子子集，我们发现预测模式在湖北省和中国大陆其他地区都成立。我们的工作证明了一种通过症状或诊断报告识别疾病信号的可行方法，而不是依赖于对COVID-19的一般性讨论，这对信息监测文献做出了重大贡献。

方法

数据收集

本研究中使用的社交媒体数据来自中国流行的微博平台微博，该平台在2019年底拥有超过5.16亿的月活跃用户[23］．微博与Twitter非常相似，但后者在中国大陆被屏蔽。与Twitter不同，微博不提供对其数据库的大规模公共应用程序编程接口(API)访问。微博通过其网页界面支持基于关键词的帖子高级搜索;然而，根据微博政策，这些搜索的输出被限制在50页(或大约1000条帖子)。因此，大规模的公共数据访问是出了名的困难。

为了绕过这些限制，我们使用了一个最初建立于2018年的微博用户池，该用户池从我们之前与COVID-19无关的研究中获得的500万活跃微博用户开始[24，25］．然后，我们检索了最初500万用户的关注者和关注者(二级用户)，二级用户(三级用户)的关注者和关注者，等等，直到没有发现新用户。这一滚雪球过程产生了2.5亿用户(剔除了机器人)，约占2019年所有月活跃微博用户的48.4% [23]，在自我报告的性别和年龄分布方面与2018年微博用户人口相似[26)(见图1)．

‎ 查看此图

COVID-19帖子

遵循内容检索和分析的最佳实践[27，我们通过密切观察2020年1月下旬至3月每天的微博帖子，生成了一份与新冠肺炎相关的综合关键词列表。然后，我们通过搜索用户池中包含167个关键词的所有帖子来检索COVID-19帖子，这些关键词包括与疫情相关的一般术语，如冠状病毒和肺炎，以及特定地点(如“武汉”)、药物(如“瑞德西韦”)和预防措施(如“口罩”)。有关完整的关键字列表，请参见多媒体附件1(表A)。

在删除重复(即原始帖子的转发)后，我们保留了2019年11月1日(即第一批确诊病例前30天)至2020年3月31日(访问关于COVID-19的微博数据集，请参见[28])。

其中464,111/14,983,647个帖子(3.10%)带有地理信息标签。我们区分了湖北省内(即震中;169340/14983647;36.49%)和中国内地其他地区(294,771/14,983,647;63.51%)。

生病的帖子

我们根据医学社交媒体网站DXY.cn上发表的研究和新闻报道，将“病帖”定义为报告任何可能与COVID-19相关的症状或诊断的帖子[29］．我们收集了一个广泛的症状列表，包括常见的症状，如咳嗽和呼吸短促，以及不常见的症状，如腹泻。生病的帖子可以进一步分类为“内群生病的帖子”，我们将其定义为披露用户自己或直系亲属的症状或诊断的帖子，和“外群生病的帖子”，报告用户的直系亲属以外的人的症状和诊断。之所以采用先验分类，是因为人们往往对自己或直系亲属的医疗状况有第一手和更准确的信息;与此同时，他们关于家人以外的人的可靠信息要少得多，特别是在全国封锁期间。所有使用167个关键词获得但不属于这些类别的帖子都被归类为“其他COVID-19帖子”。下面我们提供了一个群内生病帖子的例子(为了简洁，我们进行了翻译和编辑):

2003年非典期间，我得了肺炎，有发热和咳嗽的症状，被怀疑感染了非典，最后住院一个多月。现在我们在2020年感染了COVID-19，我又开始咳嗽了，已经持续了一个多月。真是一团糟(发布于2020年1月29日晚上10:23)

我们还提供了一个外群病假的例子:

另一个村庄的一个人喝得太多了。他说他觉得不舒服，有感冒的症状。他的兄弟测量了他的体温，结果是38摄氏度。他的哥哥打了120，把他送到了医院。全村的人都惊呆了，大家都不敢出门。(2020年1月29日晚10:14发布)

我们使用有监督的机器学习算法从关键字检索的COVID-19帖子中识别生病的帖子。在5个月的数据收集期间，我们首先根据检索到的帖子的比例抽样了11,575个帖子。接下来，11名人工裁判标注了帖子是群内生病帖子、群外生病帖子还是其他COVID-19帖子。评委们对138个帖子进行了独立注释，并取得了较高的一致性(Krippendorff α=.945)，然后对其余的帖子进行了划分和注释。然后，使用带注释的帖子用各种算法训练机器学习模型。基于分类性能(参见表1)，我们使用随机森林算法(F1得分=0.880)选择模型。该模型将14983647个COVID-19岗位分为394,658个(2.63%)群内病假岗位、97,635个(0.65%)群外病假岗位和14491,354个(96.71%)其他岗位。由于群外病号数量较少，我们在后续分析中将群内病号和群外病号合并。

在有地理标记的COVID-19岗位(464,111/14,983,647，占检索岗位的3.10%)中，湖北有5650个病岗(1.2%)和163,690个其他岗位(35.3%);另外，26488个病位(5.7%)和268283个其他病位(57.8%)来自中国内地以外地区。然后将这些帖子数按天进行汇总。为了控制微博帖子的每日波动，我们进一步将这些数字与我们的用户池生成的所有微博帖子的每日计数进行规范化。规范化病假岗位和其他COVID-19岗位数量可解释为每100万个岗位的数量。图2总结了我们的数据收集和分类过程。

‎ 查看此图

COVID-19每日病例统计

我们收集了2020年5月8日中国疾控中心提供的中国内地每日新增病例。2020年1月16日，中国疾控中心官方网站开始整理数据。早期的计数来自Huang等[1]，并对照国家卫生健康委员会的有关通报进行验证。最终病例数据涵盖了2019年11月1日至2020年3月31日的同一时期，在此期间，首例报告的COVID-19临床病例可追溯到2019年12月1日。我们还区分了湖北内外的病例(见图3)．

值得注意的是，中国疾控中心在本研究涵盖的时间段内发布了7个版本的诊断标准，从而对病例计数进行了系统性的改变。特别是2020年2月12日，湖北省开始实施2020年2月4日发布的第五版新冠肺炎诊断标准。这导致新病例暂时激增[30.］．这一事件的影响在我们的分析中得到了控制，如下节所述。在对每个版本进行仔细比较后，我们得出结论，诊断标准的其他版本之间的变化相对较小，它们的发布日期似乎与病例数的突然变化没有关联;因此，我们没有对他们进行进一步的控制。

‎ 查看此图

统计分析

我们进行了格兰杰因果检验[31]，以了解病岗增加是否预示新个案增加，计算公式可由以下线性模型表示:

在哪里Ct每天的新病例数是否有差异t从天t -1，年代_我每天的病假岗位计数(标准化)是否有差异t从天t -1,我_t为时变二元变量，2020年2月12日湖北采用第五版诊断标准当日，二元变量为1。此二元变量控制病例计数的外生脉冲[32］．由于我们收集了早在2019年11月1日(2019年12月1日首次报告的COVID-19病例前30天)的微博帖子，我们能够测试多达29个滞后的此类帖子(即，米≤29)。模型进一步解释如下。

首先，使用差异评分而不是原始的新病例计数，因为原始计数的Dickey-Fuller检验不能在5%的置信水平上拒绝延迟3-29的非平稳性(即单位根的存在)(见表B)多媒体附件1)．格兰杰因果关系既要求平稳性又要求包含自回归项。相反，迪基-富勒检验表明病例计数的差异分数是平稳的:在1%的置信水平下，1-12延迟拒绝非平稳性，在5%的置信水平下，13-29延迟拒绝非平稳性(见表B)多媒体附件1)．Dickey-Fuller检验对病假岗位数量的平稳性及其差异得分得出了相同的结论(见表B)多媒体附件1)．因此，我们也使用差异评分代替原始计数来减少病假计数的滞后项之间的相关性。这更清楚地确定了它们对病例计数的独立影响。简而言之，这些差异得分可以理解为前一天统计之外的“每日附加”案例或微博帖子。

第二，确定要包含的滞后项的数量(即，米在上式中)，我们在迭代添加滞后项的同时比较模型拟合统计量。模型比较表明，包含更多的滞后会不断地改善模型拟合，直到最大滞后(即29;见附表C多媒体附件1)．然而，在包括超过20个滞后后，参数估计并没有发生质的变化(见表D和E多媒体附件1)．出于简约性和统计能力的考虑，我们在接下来的分析中设定了20个滞后点。

最后，我们加入一个二元变量来控制2020年2月12日COVID-19诊断标准的变化，并遵循干预分析程序[33］．由于这种变化不太可能导致案件计数的永久变化，因此在变化之日应用了即时脉冲函数。我们还测试了允许效应在2,3,4或5天内线性衰减的模型;这些模型比瞬时脉冲模型拟合数据更差(见表F)多媒体附件1)．

结果

采用稳健标准误差的普通最小二乘回归估计最终模型。模型中有20个滞后项，建模数据包括2019年12月1日至2020年3月31日的每日新增COVID-19病例数，以及2019年11月10日至2020年3月11日的病假岗位和其他COVID-19岗位的每日新增数量(N= 122)。

图4A总结了用标准化回归系数预测新冠肺炎病例的病假岗位的格兰杰因果关系估计(见表G)多媒体附件1对于所有估计的参数)。特别是，日新增病案岗位(每100万个岗位中有1个病案岗位)增加的一个标准差预测了提前1-14天日新增病案增加的0.133 (95% CI 0.065-0.201)至0.275 (95% CI 0.134-0.416)标准差。包括20个病假后，调整R²模型的值增加了0.128，表明除了自回归项和干预效应外，病假岗位可以解释额外12.8%的每日新增病例的方差。

此外，我们使用相同的线性模型估计了其他COVID-19发帖数与每日新增病例之间的关系。图4进一步说明了标准化估计值。与病假岗位相比，其他COVID-19岗位对未来病例数的信号较弱，其标准回归系数较小。这表明，讨论了COVID-19的某些方面，但没有明确报告一个人的症状或诊断的微博帖子的预测能力低于生病的帖子。

为了证实上述结果，我们检验了湖北内外病例的病岗格兰杰因果关系(见表H)多媒体附件1)．在湖北范围内，结果与全国格局基本一致。每日新增病位提前19天预测湖北省每日新增病例图4B.相比之下，其他COVID-19帖子有更少的可以预测新病例的滞后词。在湖北以外地区，病岗的预测模式与全国相似，但时间范围有限:病岗可以提前2至8天预测新发病例(见图4C)。

‎ 查看此图

讨论

主要研究结果

引起COVID-19的新型冠状病毒是人类宿主中的一种新病原体。它给全世界的公共卫生系统带来了巨大的挑战，因为筛查和诊断测试必须从零开始。即使最终有了这种检测手段，检测能力也往往受到严重限制;这可能加剧疫情的爆发，因为许多患者会在不知情的情况下感染他人。基于2019年11月1日至2020年3月31日期间约1500万条与COVID-19相关的微博帖子，我们开发了一个有监督的机器学习分类器来识别“生病帖子”，用户在这些帖子中报告自己或他人的COVID-19症状和诊断。使用官方报告的每日病例数作为结果，我们的工作表明，病假岗位显著地提前官方统计数据14天预测每日病例数。这一发现证实了先前的研究，即社交媒体数据可以有效地应用于临近预报和预测新出现的传染病，如COVID-19 [22，34］．

数字疾病监测的最大挑战之一是识别真实的疾病信号，特别是在面临COVID-19缓解措施导致的社交媒体活动泛滥的情况下[12，34-36］．我们发现，生病的帖子比其他COVID-19帖子具有更强的预测能力，这表明并非所有社交媒体数据都具有同样的信息量。具体来说，COVID-19严重扰乱了日常生活;由于新冠肺炎疫情，人们正在原地隔离，并越来越多地通过社交媒体与他人交流。如先前工作所示[18]以及在我们的数据集中，微博上与COVID-19相关的大多数讨论反映的是公众对COVID-19的认识，而不是实际的症状报告。以前的大多数研究采用了相当粗粒度的方法，主要依赖于聚合搜索查询数据或从有限的关键字搜索中检索的社交媒体数据[19，22］．在我们的工作中，我们收集了最大、最全面、最细粒的中文新冠肺炎相关社交媒体数据。更重要的是，我们演示了一种使用症状和诊断报告从噪声中分离有效信号的可行方法，这对数字监控文献做出了重大贡献。

另一项重要发现是，尽管病假岗位对每日病例计数的预测能力在湖北和非湖北地区都成立，但效应大小不同。作为疫情的中心，湖北省在研究初期出现了严重的检测短缺。因此，许多湖北居民转向微博等社交媒体网站寻求检测和医疗帮助。相比之下，社交媒体求助活动在中国其他地区并不常见，那里的检测和医疗资源要充足得多。考虑到这些区域差异，我们仍然观察到病员对病例计数的预测信号，这表明病员对检测延迟的预测能力是强大的。此外，影响估计的差异表明，社交媒体数据的预测能力在不同的地理地区、不同的防范水平和疫情的不同阶段可能有所不同。基于较长时间数据监测的未来研究可以更深入地探索COVID-19社交媒体监测效果的时空变化。

我们的工作具有广泛的公共卫生影响。社交媒体监控的高速和低成本在COVID-19暴发的早期阶段尤其有用，可以在最具成本效益的时候为遏制和缓解努力提供信息。对于公共卫生基础设施不允许进行广泛筛查和诊断检测的国家和地区，社交媒体疾病监测为公共卫生机构提供了急需的信息，以模拟疫情的轨迹，并迅速决定如何分配病床、呼吸机和个人防护设备等资源。

社交媒体监控的另一个优势是，它可以在远距离进行。随着新冠肺炎疫情在全球蔓延，缺乏检测和筛查基础设施的国家将成为“黑点”，危及本国公民和整个世界。世界卫生组织等国际组织必须将这些数据纳入其疫情预测管理实践，以动员和协调救援工作，帮助抗击COVID-19。

限制

这项研究有几个局限性。首先，微博帖子是回顾性检索的，而不是实时检索的;因此，删除或审查的帖子不在我们的数据集中。然而，我们没有理由相信删除或审查在可衡量的方面有利于“病态帖子”。事实上，最近一项关于2019年12月至2020年2月微博审查的研究显示，只有1.7/1000条微博被审查;此外，这些被审查的帖子一般与政府应对COVID-19的失误有关，而不是有关症状和诊断的个别报告[37］．因此，我们的结果不应该受到审查的影响。第二，正如一些研究表明的那样[38-40]，中国疾控中心公布的新冠肺炎确诊病例数可能低估了实际数字，部分原因是检测能力有限和无症状感染者的存在。尽管如此，这里的数据代表了确诊病例计数的最知名数据，我们的模型依赖于这些病例计数的趋势和变化，而不是实际数字。第三，要认识到，作为疾病信号的微博并非没有噪声，因为报告新冠肺炎症状的微博用户并不一定被临床诊断为新冠肺炎;微博用户可能不会说真话;微博用户可能会因为各种原因“过度报道”(多次发布自己的症状或诊断)或“少报道”(尽管有症状或诊断却不发布)。这种不准确性在用户生成的社交媒体数据中是固有的，并且广泛存在于所有信息监控研究中。然而，应该指出的是，信息监测的目标从来不是实现社交媒体帖子和临床病例之间的一对一匹配。相反，信息监控方法努力从社交媒体和互联网数据中挖掘有用的早期信号，作为传统监控措施的补充。尽管有这种噪音，我们仍然发现病位预测了COVID-19病例数，表明这一信号在反映疾病在人群中的传播方面是有效的。

结论

2019冠状病毒病等传染性疾病的威胁未来可能再次出现。在新出现的疾病暴发期间，社交媒体上的症状和诊断报告向公众发出了宝贵的警告信号。研究人员和疾病控制机构应该密切关注社交媒体信息圈。除了监控整个搜索和发布活动，筛选内容和有效地从噪音中分离真实信号是至关重要的。我们的主要发现强调了使用严格的程序和理解信息共享行为获得高质量疾病信号的重要性。基于更长期数据监测的未来研究可以更深入地探索COVID-19的时间和空间扩散。对报告信息或医疗资源限制的员额内容进行更详细的审查将有助于制定当地的疫情应对措施。