这是一篇根据创作共用署名许可协议(https://creativecommons.org/licenses/by/4.0/)发布的开放获取文章,允许在任何媒介上不受限制地使用、分发和复制,前提是正确引用了首次发表在JMIR公共卫生和监测上的原创作品。必须包括完整的书目信息,https://publichealth.www.mybigtv.com上的原始出版物的链接,以及此版权和许可信息。
过去的研究表明,与人类行为相关的各种信号(例如,社交媒体参与)可以有利于对COVID-19的计算预测。一种已被证明可以减少感染因子传播的行为是非药物干预措施(npi)的依从性。然而,公众坚持npi的程度难以衡量,因此难以纳入传染病的计算预测。征求许多个人的意见(即众包)可以对当前和未来感兴趣的目标做出令人惊讶的准确估计。因此,让一群人估计社区层面对npi的遵守情况可能被证明是COVID-19等传染病的准确和预测信号。
我们的目的是表明,对npi合规性的众包感知可以成为一个快速而可靠的信号,可以预测感染原的传播。我们通过测量对npi的众包感知与美国COVID-19事件病例之间的相关性来证明这一点,并评估纳入众包感知是否可以提高事件病例计算预测的预测性能。
在2020年9月至2021年4月的36周内,我们向两组人群询问了21个问题,关于他们对社区遵守npi和公共卫生指南的看法,收集了10,120份回复。研究人员将自我报告的州居住情况与美国人口普查的估计数据进行了比较,以确定人群的代表性。众包NPI信号被映射到21个平均感知依从性(MEPA)信号,并进行描述性分析,以调查特征,例如MEPA信号如何随时间变化,以及MEPA时间序列是否可以根据响应模式聚类。通过(1)估计MEPA与事件病例之间的相关性,以及(2)将MEPA纳入计算预测,我们调查了MEPA信号是否与COVID-19事件病例提前1-4周相关。
这些人群主要是美国人口的地理代表,东北部的代表人数略多。在整个调查期间,MEPA信号倾向于向中等程度的合规性收敛,无监督分析显示,信号大致根据所问问题的类型分为4组。在美国国家层面,几个MEPA信号与COVID-19事件病例提前1-4周呈线性相关。与仅针对过去事件病例训练的模型相比,纳入与社交距离、检测和限制大型集会相关的问题,可以提高未来1-3周对COVID-19事件病例的概率预测的样本外预测性能。
对非药物依从性的众包感知可能是改善对感染原轨迹的预测和提高公共卫生态势认识的重要信号。
预测感染原的传播可为公共卫生官员和关键决策者的决策提供支持[
对传染病的大部分预测是由计算模型产生的;然而,过去的研究表明,人类的判断也能够对各种各样的现象做出准确的预测。
人类判断预测工作可分为直接预测和间接预测。直接预测是通过让人们估计未来感兴趣的事件的概率来收集的。研究人员使用了各种方法,通过改变人们提交预测的格式,并训练不同的算法来结合个人预测,从外行、专家或混合人群中征求直接预测[
过去的研究发现,当要求那些具有专业知识的人进行直接预测时,表现一般[
关于汇总直接人类判断预测的工作集中在调整个体之间的相关预测,评估要合并的个体预测的数量,以及确定如何根据过去的预测表现适当地加权个体[
对未来事件的间接预测是通过以下方法收集的:(1)从被动来源(如社交媒体)提取人类判断数据[
过去将社交媒体数据纳入模型的工作通常将行为映射到一组随机变量,并将这些随机变量包含在统计模型中[
在这项工作中,我们研究了与社区非药物干预措施(npi)相关的众包问题如何有助于改善国家层面的COVID-19事件病例预测。在36周的时间里,我们向来自美国的代表性样本提出了21个与npi相关的问题。这些众包数据用于提前1-4周估计美国国家层面遵守npi的看法与事件病例之间的关联。此外,我们拟合了一个预测模型,并表明与不包括感知数据的对照相比,添加关于依从性感知的众包数据可以提高事件病例的预测准确性。
对于目前的文献,我们贡献了一种新颖的社区尺度感知信息数据流[
我们获得了里海大学机构审查委员会(IRB)的追溯许可,可以发布数据(#1808500-1)。IRB认为没有必要获得知情同意,因为数据的记录方式使人类受试者的身份无法直接或通过与受试者相关的标识符轻易确定。已公开提供的资料同样会被取消识别[
有10个
从2021年2月16日至2021年4月27日,参与者从
来自SurveyMonkey和Pollfish的有偿受访者约占回复的70%(7700/ 10852,71.0%),最终约占30% (3152
如果(1)超过一半的问题(即21个问题中的11个)为空白或回答为“不知道”(4),我们将参与者的回答从分析中删除
从2020年9月6日开始,到2021年4月30日结束,共向参与者发送了36次每周调查。调查问卷在每周一、周三和周五分发给不同的参与者,调查在周日关闭。调查问卷每周发送给同一参与者的次数不会超过一次。
从调查期的第4周(2020年9月)到连续第21周(2021年2月),SurveyMonkey的调查向参与者开放,并在整个36周的调查期内向志愿者开放。Pollfish调查从调查期的第21周(2021年2月)开始向参与者开放,直到连续第36周的数据收集(调查期结束;2021年4月)。
在2020年7月和8月,调查问卷被发送给参与者(1)填写调查问卷,(2)就调查中提出的问题是否措辞清晰征求反馈。前两项试点调查的反馈被用于更新和确定2020年9月至2021年4月期间发送的调查。
在2020年9月至2021年4月期间进行的调查要求参与者回答同一组21个“核心”问题(见
除了21个核心问题外,几周还包括一些主题问题,询问参与者在特定事件中对行为的看法(例如,假日聚会的规模)。因为这些问题在整个研究过程中并不一致,我们选择不将它们纳入分析。在调查结束时,参与者还被要求就其社区如何应对COVID-19以及未来如何改进调查提供可选的想法和反馈(有关实时组成的数据摘要报告,请参阅以前的报告[
在Pollfish调查的所有21个问题中,问题的提出顺序是随机的,而SurveyMonkey的问题被随机分为5类,询问参与者个人NPI行为、遵守与社区企业相关的指导方针、检测和隔离、意识以及与教育机构相关的限制或政策(参见
你注意到在你的社区中有多少人通常是:
1.在公共场合戴口罩
2.保持社交距离
3.呆在家里
在你的社区有多普遍:
4.餐厅将减少座位
5.企业关闭,只能在家工作
6.理发店和理发师将在限制条件下开放
7.老年人生活设施的访客将受到限制
8.经常接触的表面需要消毒
9.在治疗新冠肺炎患者的地区,医院将受到特殊保护
在您的社区中,人们遵循建议或要求的情况有多普遍:
10.做个活性病毒测试
11.进行抗体检测以检测之前的感染
12.隔离与检测呈阳性的人有过密切接触的人
13.对检测呈阳性的人进行隔离
14.隔离来自高感染地区的旅客
15.限制大型人群集会
你所在社区有多少人知道:
16.本地COVID感染水平
17.全州范围内减少COVID传播的目标
18.限制COVID传播的地方方法
在你的州,有百分之多少:
19.大学关闭或只开设远程课程
20.学校(K-12)关闭或只开设远程课程
21.违反COVID限制将导致罚款或警察执法
调查数据是从精算师团队(丹尼尔·英格拉姆和大卫·英格拉姆)那里回顾性获得的,他们对人类行为、众包以及认知如何预测SARS-CoV-2的传播感兴趣。调查收集有几个限制:(1)参与者标识符不是纵向收集的,因此我们无法跟踪为调查做出贡献的个人,(2)调查说明的措辞在SurveyMonkey和Pollfish平台之间略有不同,这可能会导致应答产生偏差。
所有36周内所有21个问题的个人受访者数据可在以前的报告中获得[
我们获得了里海大学IRB的批准,可以在开源平台上发布这些数据。
国家一级每流行病学周(流行病周)的事件病例收集自约翰霍普金斯大学CSSE GitHub存储库[
我们通过绘制所有州的图表来评估我们的样本是否代表美国人口(
我们的估算
我们包括了在所有州的观察到的和预期的参与者样本数量之间的估计相关系数。对于每个州,我们还比较了参与者的观察比例和预期比例之间的相对差异(
我们假设对问题的调查答复
平均感知依从性(MEPA)是针对特定问题定义的
在哪里
在流行病学周上发生的美国全国COVID-19病例
对于每个调查问题,我们估计流行病学周MEPA之间的相关系数
我们将层次聚类算法适合所有21个MEPA时间序列的2到10个聚类。利用欧几里得距离计算两个时间序列之间的不相似度。使用廓形系数来评估拟合2个簇、3个簇等(最多10个簇)的质量[
SIR(易感、感染和移除)模型适合于美国事件病例数,以产生估计的事件病例数
SIR模型在时间上进行估计
有初始值
残差产生为
在哪里
的最佳滞后数
为了将所有的MEPA时间序列合并到一个模型中,我们首先将SIR模型拟合到原始时间序列中,并计算残差
我们的控制模型遵循与原始事件病例时间序列相同的SIR“去趋势”,然后对残差拟合一个ARIMA。ARIMA在建模时采用了与VARMA模型类似的方法
在哪里
ARIMA过程是许多时间序列应用中的第一个尝试模型。如果包含MEPA变量的模型不能在SIR + ARIMA模型的基础上改进,那么MEPA可能不会比单独使用事件案例的滞后值增加任何预测价值。
对上述VARMA和ARIMA模型进行拟合
预测采用加权区间评分(WIS)
其中,区间得分(IS
在哪里
WIS和区间评分是负向的,与较小的值相比,较大的值表示较差的预测性能。最好的WIS是0,最坏的WIS是正无穷。
对比两个调查平台(即SurveyMonkey和Pollfish)的回复率发现,在切换到Pollfish后,每周的样本量一直较高。样本在地理上主要代表美国人口,在东北部有轻微的过度抽样。MEPA值在调查期开始时比结束时变化更大,这表明要么随着时间的推移反应变得更加一致,要么在整个调查期样本量较大导致反应变异性较低。聚类分析显示,调查问题可以根据问题类型聚为4组,这表明未来的调查可能通过使用更少的问题针对这些问题类型而更有效。相关分析显示,几个MEPA时间序列与未来1-4周发生的COVID-19病例之间存在相当强的相关性。几个MEPA时间序列还提高了事件COVID-19病例预测模型提前1-4周的预测准确性。
SurveyMonkey的调查平均收到了236分
(A) Pollfish平台(红色)和在SurveyMonkey上提交答复并获得补偿的参与者(绿色)和志愿者(蓝色)在每个流行周的参与者回复数量。(B)在某一流行病周内对每个问题作出答复的参与者比例。志愿者每周的贡献是一致的,Pollfish的参与者也是如此,而SurveyMonkey平台上获得补偿的参与者贡献的数量各不相同。回答比例较低的问题对应于那些询问较难观察到的非药物干预行为的问题,如老年生活设施的探视规则(问题7),社区成员是否接受抗体检测(问题11),以及最近旅行者的检疫(问题14)。
参与者回答问题的平均百分比为87
收集最多反馈的州包括加利福尼亚州(956/10,120,9.5%)、纽约州(876/10,120,8.7%)、宾夕法尼亚州(678/10,120,6.7%)、德克萨斯州(645/10,120,6.4%)和佛罗里达州(456/10,120,4.5%)。
观察到的响应频率与期望频率之间的相关性为0
7个州与预期反应率相差超过9个SDs。4个州代表人数不足(密西西比、波多黎各、佛罗里达和德克萨斯),3个州代表人数过多(明尼苏达、宾夕法尼亚和纽约)。
当补偿反应和志愿者反应都包括在内时,宾夕法尼亚州的反应频率比预期高10个SDs,当志愿者反应被移除时,反应频率下降到低于预期3.5个SDs。
为了评估在数据收集过程中切换调查平台对结果的影响,我们分析了样本的代表性是否随着调查平台的不同而变化。我们计算了所有州的预期和观察反应之间的平均相对差异,并在不同的调查平台上进行了比较。该分析显示,来自SurveyMonkey的付费参与者(即非志愿者)的州居住地(平均值为−0.599,SE 0.015)比来自Pollfish的付费参与者的州居住地(平均值为−0.751,SE 0.019;
在调查期间对调查所观察到的回应数(纵轴)与根据人口普查所预期的总回应数(横轴)相比较。虚线表示观察到的响应数和期望的响应数是否相等。有些状态是过采样和过采样。
从调查开始到结束,MEPA在以下3个问题上增幅最大:问题21(∆平均值21=意味着21日week36——意思是21日week1=1.29),询问参与者对州政策的了解,以及是否“违反COVID限制会导致罚款或警察执法”11= 1
从调查开始到结束,MEPA下降最多的有以下3个问题:问题7(∆平均值7=−1.07),询问参与者对参观老年生活设施的限制频率;问题4(∆平均值4=−0.83),询问餐厅减少座位的频率;问题9(∆平均值9=−0.81),询问医院在治疗COVID-19患者时采取特殊防护的频率。
调查期开始时MEPA值之间的SD (SD开始= 0
各时期MEPA值之间的估计相关性
(A)在调查期间询问的21个问题的平均依从性感知(MEPA)。(B)滞后1至34周的所有21个MEPA时间序列的自相关。在调查期间,人们对有关国家政策(问题21)和抗体检测实践(问题11)的问题的依从性看法有所上升,而对有关老年人生活设施(问题7)和餐馆(问题4)的限制的依从性看法有所下降。在34个滞后周内,5个问题的平均绝对自相关性高于0.2。对于大多数MEPA时间序列,对于滞后长达4周(l=4)的情况,时间t与时间t−l的MEPA值之间的估计相关性大于0.35。MEPA时间序列似乎包含比随机行走更多的结构,这表明众包感知可能是预测事件病例的有用信号。
MEPA时间序列被分为以下4类(
将MEPA时间序列划分为4个聚类时,以剪影系数衡量的聚类质量最高;然而,4个聚类的轮廓系数与2个和3个聚类的轮廓系数相似(
同一聚类内的MEPA时间序列询问参与者类似的坚持行为。与回避行为相对应的问题(问题2、12和15)与其他问题相比,与企业限制(问题4和6)、对当地病毒高传染性的认识(问题2和13)以及对州一级的认识(问题16和17)相似。这些结果表明,参与者可能以类似的方式考虑了一组问题(例如,与回避有关的问题),这表明未来的调查可能受益于更直接地针对这些因素。
有关不同聚类中MEPA反应之间1-4周的自相关性,请参见
21个平均依从感(MEPA)时间序列的层次聚类,使用欧几里得距离作为2个时间序列之间不相似性的度量。(A) 2-10个MEPA时间序列簇的廓形系数。(B)在横轴上报告问题,在纵轴上报告单个问题或集群之间的不相似性的树状图。(C) MEPA时间序列聚为4组,对应廓形系数最高。由于MEPA时间序列可以被分成类似的组,一个较小的调查可能能够捕捉到美国公众对非药物干预的依从性的相同模式。
估计的相关性(
21个平均依从性知觉(MEPA)时间序列与美国国家水平的依从性知觉问题和事件病例之间的线性相关。问题2“你注意到在你的社区中有百分之多少的人通常在公共场合戴口罩?”1-4周前的事件病例为−0.26或更低,问题19“在你的州,有百分之多少的大学关闭或只开设远程课程?”, 1-3周后的病例为0.27或更高。在国家层面,选择众包对坚持非药物干预的看法与短期和长期报告的事件病例相关。
与仅考虑美国国家事件过去时间序列的模型相比,包括美国国家事件病例历史计数和MEPA数据的模型改变了预测轨迹和预测区间宽度(
与不使用MEPA的模型相比,包含单个MEPA时间序列的预测生成更小(改进的)WIS的次数所占的比例在未来1-3周的预测范围的大多数依从性问题中超过50% (
与控制模型相比,包括MEPA数据后,在事件病例报告数量达到峰值时(
在整个调查期间的6个时间点提前1-4周对美国国家事件病例进行预测,首先拟合SIR(易感、感染和移除)模型,然后对残差进行建模(A)拟合具有1个滞后的自回归模型,(B-E)拟合向量自回归移动平均,其中包括剩余时间序列和对选定问题的平均依从性感知(MEPA)值,和(F)对残差进行随机预测,包括对参与者提出的所有问题的MEPA值以及AR(1)模型。AR(1):滞后为1的自回归;ARIMA:自回归综合移动平均;RF:随机森林。
与未使用MEPA时间序列预测未来1-4周的对照SIR模型相比,SIR(易感、感染和切除)加向量自回归移动平均(VARMA)模型的加权区间评分(WISs)改善(更小)的比例和95% ci。在模型21右边的另一个模型是SIR模型加上随机预测,其中包括所有21个MEPA时间序列和模型残差的ARIMA。大多数MEPA时间序列改进了提前1周和2周对事件病例的预测。少数几个MEPA时间序列改善了未来3周的预测,而未来4周的预测仅略有改善。
在包含1个平均感知依从性时间序列的模型和仅使用过去事件病例数据来产生预测的控制模型之间,美国国家事件病例(A)提前1周、(B)提前2周、(C)提前3周和(D)提前4周预测的加权区间得分(WISs)的差异。WISs的差异与预测的流行周相对应,而不是预测产生的时间。美国国家层面的事件报告数量以灰色表示。一个点代表特定流行周WIS的差异,当模型削弱预测性能时,该点被标为红色,当预测优于控制模型时,该点被标为蓝色。包括围绕非药物干预的人类行为的认知,可以改善高峰事件病例发生时和之后的预测。
内联图形7。
我们发现,在美国国家层面上,对遵守npi的众包感知与事件病例提前1-4周相关,将感知数据纳入计算模型可提高提前1-3周的预测准确性。由于人群的反应可以迅速收集(即,在分发在线调查的几个小时内),这些反应可以包括到一个计算模型中,该模型可以为疾病预防控制中心等组织提供每周流行病学目标的实时预测。
由于基于公众认知的预测是快速和信息丰富的,在州或联邦机构发布新的NPI指南以评估这些新指南的有效性之后,这些预测有时会非常有效。我们的模型可以揭示人们认为公众遵守这些指南的程度,以及遵守情况的变化如何影响传染因子的轨迹,从而向公共卫生官员提供哪些干预措施能够遏制寻求风险的行为。这些预测对政策制定者和社区领导人也很有价值,例如,他们决定大学课程是应该亲自上课还是远程授课。
这项工作支持了这样一个假设,即人群可能能够为社区坚持npi的结果分配现实的概率,这与最近的工作一致,这表明外行可以对各种现实世界现象进行准确的概率预测,如新电影的票房收入或感染因子的影响[
这项研究的证据表明,参与者能够判断他们能够观察和预测哪些活动,以及他们可以在什么空间水平上进行预测。例如,参与者可以选择回答“不知道”或将问题留空。参与者更多地回答与他们的环境有关的问题,比如戴口罩的人的比例,而较少回答与他们的环境无关的问题,比如对老年人生活中心的访问限制。在研究的初始试点阶段,调查问题要求参与者在州一级而不是社区一级做出预测,在这个试点阶段,许多参与者抗议说,他们无法在这个层面做出合理的预测,这表明参与者对当地社区一级的预测可以推断到什么程度有一定的认识。最后,每周对特定新产品进口问题的回答之间的强相关性表明,本研究参与者的判断是一致的(见
然而,依靠人类的判断提出了使用计算模型进行预测时不存在的挑战。人类的判断容易受到各种各样的偏见的影响,这些偏见往往是由判断提示如何呈现的细微变化引发的。
在未来的工作中有几个限制需要解决。我们希望克服的一个限制是,参与者没有被纵向追踪,因此,我们无法分析个人的反应如何随时间变化。另一个限制是,用于招募志愿者的电子邮件包含了前几个月数据收集结果的摘要链接。虽然这可能会增加参与者在研究中的经验价值,但它可能会使他们的判断与这些总结值相结合,从而使他们随后的反应产生偏见[
未来的研究应该探索,通过将向人群提出的问题的空间尺度与感兴趣的流行病学目标相匹配,是否可以通过人类判断对事件病例进行更准确和校准的预测。在州或社区一级的判决与州或社区一级的事件案件之间可能观察到更强的联系,而不是在国家一级预测事件案件。例如,人们可以调查预测的准确性是否取决于州的地理大小(如德克萨斯州vs特拉华州)或种族多样性(如加利福尼亚州vs西弗吉尼亚州)等因素。此外,受访者可以被要求判断他们所在县的合规性,然后,这些判断可以添加到一个产生县级预测的模型中。在这个地方层面上的强有力的预测对于社区领导人来说是有价值的,例如,在决定市政厅会议是应该亲自举行还是在远程举行时。估计这些局部预测的一个重大挑战是随着时间的推移从给定社区收集足够的响应,如前所述,可以通过对感兴趣的地区进行目标和过度采样来进行局部预测。未来的研究还应探索对新产品执行情况的认知是否可以预测其他流行病学目标。虽然我们在这项研究中关注的是意外病例,但我们目前的方法应该适用于其他感兴趣的预测结果,如COVID-19住院和死亡。
对人类行为的众包感知,如非药物依从性,可能是一个快速和信息丰富的信号,可以改善对传染病病原体轨迹的概率预测,并可能对传染病相关政策产生重要影响。
向参与者提供调查,以获取对非药物干预的依从性的看法。
每个州的观察和预期参与者比例。
平均感知依从性与美国国家事件案例之间的相关性。
SIR(易感、感染和移除)模型适用于美国国家事件案例。
平均感知依从性时间序列为1周的自相关。
问题群与事件案例之间的二元关系。
在众包平均感知依从性预测中跨模型的假设检验。
赤池信息标准
自回归综合移动平均
疾病控制和预防中心
机构检讨委员会
平均感知依从性
药物干预
易受感染然后被移除
向量自回归移动平均
加权区间评分
我们感谢COVID - 19缓解监测项目(CMMP)的以下成员:Dale Hall、FSA、CERA、MAAA、CFA;Robert Wolf, FSA, CFA, CERA;尚凯兰,FSA, CFA, PRM, SCJP;John Stark, FSA, CERA。我们感谢精算师协会在数据收集方面的支持。我们还要感谢在调查期间提出看法的所有参与者。
没有宣布。