JPH JMIR公共卫生监测 JMIR公共卫生和监视 2369 - 2960 卡塔尔世界杯8强波胆分析 加拿大多伦多 v8i12e39336 36219845 10.2196/39336 原始论文 原始论文 众包人类行为感知以改善美国国家COVID-19事件病例的计算预测:调查研究 Mavragani 孤挺花 Eysenbach 冈瑟 戈尔 罗斯 Shihao 布劳恩 大卫 博士学位 1
心理学系 利哈伊大学 17 E博士追悼辞 伯利恒,宾夕法尼亚州(18015年 美国 1 6107583000 dab414@lehigh.edu
https://orcid.org/0000-0001-9481-917X
英格拉姆 丹尼尔 工商管理硕士 2 https://orcid.org/0000-0001-9342-2664 英格拉姆 大卫 Cera,来自PRM 2 https://orcid.org/0000-0002-7648-2013 Bilal 博士学位 3. https://orcid.org/0000-0001-8823-6752 沼泽 Jessecae 博士学位 1 https://orcid.org/0000-0001-7064-1151 安德鲁说 托马斯。 博士学位 4 https://orcid.org/0000-0002-6362-9231
心理学系 利哈伊大学 宾夕法尼亚州伯利恒 美国 精算风险管理 奥斯汀,得克萨斯州 美国 计算机科学与工程 利哈伊大学 宾夕法尼亚州伯利恒 美国 卫生学院 利哈伊大学 宾夕法尼亚州伯利恒 美国 通讯作者:David Braun dab414@lehigh.edu 12 2022 30. 12 2022 8 12 e39336 6 5 2022 12 9 2022 8 10 2022 9 10 2022 ©David Braun, Daniel Ingram, David Ingram, Bilal Khan, Jessecae Marsh, Thomas McAndrew。原载于JMIR公共卫生与监测(https://publichealth.www.mybigtv.com), 2022年12月30日。 2022

这是一篇根据创作共用署名许可协议(https://creativecommons.org/licenses/by/4.0/)发布的开放获取文章,允许在任何媒介上不受限制地使用、分发和复制,前提是正确引用了首次发表在JMIR公共卫生和监测上的原创作品。必须包括完整的书目信息,https://publichealth.www.mybigtv.com上的原始出版物的链接,以及此版权和许可信息。

背景

过去的研究表明,与人类行为相关的各种信号(例如,社交媒体参与)可以有利于对COVID-19的计算预测。一种已被证明可以减少感染因子传播的行为是非药物干预措施(npi)的依从性。然而,公众坚持npi的程度难以衡量,因此难以纳入传染病的计算预测。征求许多个人的意见(即众包)可以对当前和未来感兴趣的目标做出令人惊讶的准确估计。因此,让一群人估计社区层面对npi的遵守情况可能被证明是COVID-19等传染病的准确和预测信号。

客观的

我们的目的是表明,对npi合规性的众包感知可以成为一个快速而可靠的信号,可以预测感染原的传播。我们通过测量对npi的众包感知与美国COVID-19事件病例之间的相关性来证明这一点,并评估纳入众包感知是否可以提高事件病例计算预测的预测性能。

方法

在2020年9月至2021年4月的36周内,我们向两组人群询问了21个问题,关于他们对社区遵守npi和公共卫生指南的看法,收集了10,120份回复。研究人员将自我报告的州居住情况与美国人口普查的估计数据进行了比较,以确定人群的代表性。众包NPI信号被映射到21个平均感知依从性(MEPA)信号,并进行描述性分析,以调查特征,例如MEPA信号如何随时间变化,以及MEPA时间序列是否可以根据响应模式聚类。通过(1)估计MEPA与事件病例之间的相关性,以及(2)将MEPA纳入计算预测,我们调查了MEPA信号是否与COVID-19事件病例提前1-4周相关。

结果

这些人群主要是美国人口的地理代表,东北部的代表人数略多。在整个调查期间,MEPA信号倾向于向中等程度的合规性收敛,无监督分析显示,信号大致根据所问问题的类型分为4组。在美国国家层面,几个MEPA信号与COVID-19事件病例提前1-4周呈线性相关。与仅针对过去事件病例训练的模型相比,纳入与社交距离、检测和限制大型集会相关的问题,可以提高未来1-3周对COVID-19事件病例的概率预测的样本外预测性能。

结论

对非药物依从性的众包感知可能是改善对感染原轨迹的预测和提高公共卫生态势认识的重要信号。

众包 新型冠状病毒肺炎 预测 人类的判断
简介

预测感染原的传播可为公共卫生官员和关键决策者的决策提供支持[ 1 2].过去对季节性流感、埃博拉、登革热、基孔肯雅热和寨卡病毒的预测帮助官员采取短期行动,遏制疾病的传播和负担,并起草政策决定[ 3.- 8].COVID-19大流行进一步凸显了预测在支持公共卫生态势感知方面的重要性[ 9- 11].

对传染病的大部分预测是由计算模型产生的;然而,过去的研究表明,人类的判断也能够对各种各样的现象做出准确的预测。 12 13],包括传染因子[ 14- 17].

人类判断预测工作可分为直接预测和间接预测。直接预测是通过让人们估计未来感兴趣的事件的概率来收集的。研究人员使用了各种方法,通过改变人们提交预测的格式,并训练不同的算法来结合个人预测,从外行、专家或混合人群中征求直接预测[ 18- 21].结构化启发式规范了应该如何收集预测,以尽量减少潜在的偏差或不适当的影响,研究人员可以使用几种不同的协议来严格收集预测[ 19 20. 22].

过去的研究发现,当要求那些具有专业知识的人进行直接预测时,表现一般[ 23 24].与专家一样,非专业人士的预测表现好坏参半,预测表现的可变性可能是由于环境中与感兴趣的事件相关的线索。 25],以及人们依赖启发式在信息很少的情况下快速做出决定[ 26- 29].人类会受到几种认知偏差的影响,这些偏差会对我们做出正确判断的能力产生负面影响。 30. 31].也就是说,有很多例子表明,基于心理启发式的预测优于计算模型[ 32].

关于汇总直接人类判断预测的工作集中在调整个体之间的相关预测,评估要合并的个体预测的数量,以及确定如何根据过去的预测表现适当地加权个体[ 18 21].直接预测利用人类从可用的结构化数据和通常无法用于计算模型的信息(如主观信息、直觉和专业知识)中构建预测的能力[ 33].

对未来事件的间接预测是通过以下方法收集的:(1)从被动来源(如社交媒体)提取人类判断数据[ 34- 37],(2)主动向人群询问可能与感兴趣的目标相关的协变量,或(3)要求人群在预测市场中采取行动,这可以映射到概率预测[ 38 39].间接预测提供了在测量的客观数据和主观数据上训练统计模型的机会。

过去将社交媒体数据纳入模型的工作通常将行为映射到一组随机变量,并将这些随机变量包含在统计模型中[ 34- 37 40].大多数研究都将这些人和社交媒体来源视为被动信号,可以通过挖掘这些信号来做出更准确的预测。例如,最近的一项研究利用从Twitter收集的流动性数据,改进了对多个地理级别的COVID-19病例的预测[ 41].社交媒体之外的数字互动和参与数据也可能是有用的预测信号,最近的一项研究发现,与COVID-19症状相关的谷歌搜索趋势改善了对COVID-19事件病例和死亡的临近预测和预测[ 42].也有人提出了区隔模型,通过估计个体之间的接触网络以及繁殖和恢复速度,或通过在疾病状态之间建立一个考虑到人类行为的更复杂的函数,来考虑人类行为。 43].预测市场是聚合人类判断的另一种方法,它要求一群参与者对未来事件的潜力下注,并激励每个参与者优化他们的总收益[ 38 39].创建预测市场的目标不是将行为与感兴趣的结果联系起来,而是利用个人提取计算模型无法获取的替代数据源的能力,并对市场的总体行为做出反应。与不包含间接预测的模型相比,包含间接预测的模型报告了更好的性能;然而,效果因感染源和收集的数据类型而异。人类行为和感知也可以用来预测社交媒体参与和社区行为,这可能有利于决策者和社区领导人的决策。例如,过去的研究研究了哪些组织在Twitter上分享的信息类型能促进最强烈的公众参与。 44],以及可能根据人口统计数据寻找哪些与健康相关的信息来源,以及这些因素如何有助于遵守社交距离指南[ 45].

在这项工作中,我们研究了与社区非药物干预措施(npi)相关的众包问题如何有助于改善国家层面的COVID-19事件病例预测。在36周的时间里,我们向来自美国的代表性样本提出了21个与npi相关的问题。这些众包数据用于提前1-4周估计美国国家层面遵守npi的看法与事件病例之间的关联。此外,我们拟合了一个预测模型,并表明与不包括感知数据的对照相比,添加关于依从性感知的众包数据可以提高事件病例的预测准确性。

对于目前的文献,我们贡献了一种新颖的社区尺度感知信息数据流[ 46],表明(1)在国家层面上,与事件病例提前1-4周有很强的相关性;(2)在计算模型中,提高了提前1-3周样本外预测的预测准确性。

方法 道德的考虑

我们获得了里海大学机构审查委员会(IRB)的追溯许可,可以发布数据(#1808500-1)。IRB认为没有必要获得知情同意,因为数据的记录方式使人类受试者的身份无法直接或通过与受试者相关的标识符轻易确定。已公开提供的资料同样会被取消识别[ 46].参与者要么(1)自愿完成调查,要么(2)以换取报酬。得到补偿的参与者从调查平台上获得积分,这些积分可以兑换成礼品卡或捐赠给慈善机构。

调查物流 参与者及招聘

有10个从2020年8月30日至2021年4月28日的36周内,共有852份调查回复(平均每周281份回复,标准差为119)。付费参与者最初是通过 调查猴子平台(4405 /10852年,405%),从2020年9月23日到2021年2月15日。SurveyMonkey是一个调查平台,在全球拥有超过1.4亿的参与者。该平台对每项服务收取费用,并保证付费参与者将是来自感兴趣地区的代表性样本。调查可以发送给一组符合特定标准的参与者(称为目标受众),如原籍国、年龄、社会经济因素(收入、婚姻状况和就业)等。这项研究的参与者被要求居住在美国,年龄至少为18岁。调查的设计、分发和数据收集通过SurveyMonkey软件进行管理。

从2021年2月16日至2021年4月27日,参与者从 Pollfish调查平台(3295 /10852年,304%)。这一变化是由于SurveyMonkey每周提供的回复数量变化很大,在某些周内未能提供所订购的回复数量。Pollfish是另一个按回复收费的调查平台,它允许研究人员指定目标受众,并保证有代表性的回复数量。SurveyMonkey和Pollfish的目标和服务是相似的,不过Pollfish软件收集的是关于受访者的更高分辨率的空间数据。Pollfish平台收集了与SurveyMonkey相同标准的参与者的回答。

来自SurveyMonkey和Pollfish的有偿受访者约占回复的70%(7700/ 10852,71.0%),最终约占30% (3152 /10852(29.0%)的参与者是在2020年8月30日至2021年4月28日期间通过SurveyMonkey平台招募的志愿者。这些志愿者大多是通过口口相传和社交媒体招募的。

如果(1)超过一半的问题(即21个问题中的11个)为空白或回答为“不知道”(4),我们将参与者的回答从分析中删除7% (511 /10的回答)或(2)一位参与者对每个问题(2 .)给出相同的回答3% (331 /10的回答)。所有空白和“不知道”的回答被排除在分析之外(97% (20569 /214总数的200][即, N参与者 ×21])。

调查时间

从2020年9月6日开始,到2021年4月30日结束,共向参与者发送了36次每周调查。调查问卷在每周一、周三和周五分发给不同的参与者,调查在周日关闭。调查问卷每周发送给同一参与者的次数不会超过一次。

从调查期的第4周(2020年9月)到连续第21周(2021年2月),SurveyMonkey的调查向参与者开放,并在整个36周的调查期内向志愿者开放。Pollfish调查从调查期的第21周(2021年2月)开始向参与者开放,直到连续第36周的数据收集(调查期结束;2021年4月)。

在2020年7月和8月,调查问卷被发送给参与者(1)填写调查问卷,(2)就调查中提出的问题是否措辞清晰征求反馈。前两项试点调查的反馈被用于更新和确定2020年9月至2021年4月期间发送的调查。

调查内容及问题

在2020年9月至2021年4月期间进行的调查要求参与者回答同一组21个“核心”问题(见 文本框1对于核心问题的列表)。核心问题要求参与者了解他们对社区成员遵守npi(如佩戴口罩)的看法,以及他们遵守与检测、隔离和大型集会相关的公共卫生准则的看法。参与者按照李克特量表回答调查问题,选项如下:“没有/不采用”、“很少/20%”、“一些/40%”、“很多/80%”、“全部/100%”和“不知道”。

除了21个核心问题外,几周还包括一些主题问题,询问参与者在特定事件中对行为的看法(例如,假日聚会的规模)。因为这些问题在整个研究过程中并不一致,我们选择不将它们纳入分析。在调查结束时,参与者还被要求就其社区如何应对COVID-19以及未来如何改进调查提供可选的想法和反馈(有关实时组成的数据摘要报告,请参阅以前的报告[ 47])。

在Pollfish调查的所有21个问题中,问题的提出顺序是随机的,而SurveyMonkey的问题被随机分为5类,询问参与者个人NPI行为、遵守与社区企业相关的指导方针、检测和隔离、意识以及与教育机构相关的限制或政策(参见 多媒体附件1).

在2020年9月6日至2021年4月30日的每次调查中,向参与者提出了21个“核心”问题。

问题

你注意到在你的社区中有多少人通常是:

1.在公共场合戴口罩

2.保持社交距离

3.呆在家里

在你的社区有多普遍:

4.餐厅将减少座位

5.企业关闭,只能在家工作

6.理发店和理发师将在限制条件下开放

7.老年人生活设施的访客将受到限制

8.经常接触的表面需要消毒

9.在治疗新冠肺炎患者的地区,医院将受到特殊保护

在您的社区中,人们遵循建议或要求的情况有多普遍:

10.做个活性病毒测试

11.进行抗体检测以检测之前的感染

12.隔离与检测呈阳性的人有过密切接触的人

13.对检测呈阳性的人进行隔离

14.隔离来自高感染地区的旅客

15.限制大型人群集会

你所在社区有多少人知道:

16.本地COVID感染水平

17.全州范围内减少COVID传播的目标

18.限制COVID传播的地方方法

在你的州,有百分之多少:

19.大学关闭或只开设远程课程

20.学校(K-12)关闭或只开设远程课程

21.违反COVID限制将导致罚款或警察执法

数据采集和可用性

调查数据是从精算师团队(丹尼尔·英格拉姆和大卫·英格拉姆)那里回顾性获得的,他们对人类行为、众包以及认知如何预测SARS-CoV-2的传播感兴趣。调查收集有几个限制:(1)参与者标识符不是纵向收集的,因此我们无法跟踪为调查做出贡献的个人,(2)调查说明的措辞在SurveyMonkey和Pollfish平台之间略有不同,这可能会导致应答产生偏差。

所有36周内所有21个问题的个人受访者数据可在以前的报告中获得[ 46].数据采用宽格式,每一行代表一个调查答复,列表示调查完成日期和调查问题的21个答案。

我们获得了里海大学IRB的批准,可以在开源平台上发布这些数据。

流行病学数据

国家一级每流行病学周(流行病周)的事件病例收集自约翰霍普金斯大学CSSE GitHub存储库[ 48].该储存库存储了从2020年1月22日到现在所有50个州和5个领地的每天累积病例。计算每天的事故个案 D,我们减去每天的累积病例数 D每天的累积病例 D+ 1。我们计算了一天的事故案例 D在国家层面,通过汇总所有50个州和所有5个地区的事件案例。将全国每日事件病例汇总,得出每个流行周的事件病例,其中流行周从周日开始,周六结束。

评估人群是否代表美国人口

我们通过绘制所有州的图表来评估我们的样本是否代表美国人口( 年代)这对( r年代e年代 ), r年代 观察到的参与者总数是否为状态 年代而且 e年代 来自国家的预计响应数量是多少 年代

我们的估算 e年代 假设 r年代 是从随机变量中抽取的 R年代 ∼本( N,θ年代 ), N所有调查的参与者总数是多少 θ年代 随机选择一个在州登记的公民的概率是多少 年代.我们估计 θ年代 为各州的人口普查估计数 年代除以所有州的人口普查估计的总和。的值 e年代

我们包括了在所有州的观察到的和预期的参与者样本数量之间的估计相关系数。对于每个州,我们还比较了参与者的观察比例和预期比例之间的相对差异( 多媒体附件2).

统计的设置

我们假设对问题的调查答复从参与者,当时 t xt i, q ,是由随机变量生成的 Xt i, q 它得到了支持 增刊 Xt i, q ) = {0123.4}对应5个不同的坚持水平。值0对应于没有遵守或社区未采用的遵守,值4对应于完全遵守(调查中的回答“全部/100%”)。时间的随机变量 t的问题两个参与者之间被认为是独立的。

平均感知依从性(MEPA)是针对特定问题定义的在一个特定的时间 t的平均值 xt i, q 超过参与者,或

在哪里 N回答问题的人数是多少在时间 t.MEPA q t 旨在衡量对特定类型新产品导入的总体坚持程度。尽管个体反应是离散的,MEPA q t 为连续值。如果我们定义随机变量MEPA q t 的平均值 N有限方差的独立随机变量,则我们期望MEPA q t 有一个钟形曲线分布,类似于正态分布,限制在从0到4的封闭区间内。

在流行病学周上发生的美国全国COVID-19病例 t, ( ct ),假设是由相应的随机变量生成的 Ct ,我们对这个时间序列不做额外的假设。

评估MEPA与事件病例之间的相关性

对于每个调查问题,我们估计流行病学周MEPA之间的相关系数 t以及流行病学周的美国国家事件病例 t t+ 1, t+ 2, t+ 3, t+ 4。每个星期前时间点的估计相关系数和95% ci的行列表可在 多媒体

聚类问题

我们将层次聚类算法适合所有21个MEPA时间序列的2到10个聚类。利用欧几里得距离计算两个时间序列之间的不相似度。使用廓形系数来评估拟合2个簇、3个簇等(最多10个簇)的质量[ 49].绘制树状图以可视化聚类,并在流行病学周内对MEPA时间序列进行分组和绘制。

有和没有众包感知的预测模型 SIR加上向量自回归移动平均

SIR(易感、感染和移除)模型适合于美国事件病例数,以产生估计的事件病例数t ,及残差( ϵt ct t )采用包含一个或多个MEPA时间序列的矢量自回归移动平均(VARMA)模型进行建模。

SIR模型在时间上进行估计 t易感人群( 年代t ),感染(t ),并移除( Rt )隔间根据

有初始值 年代0 ,我0 而且 R0,和参数 β>0和 γ>0.我们选择 年代0根据最近的人口普查,这相当于美国的人口数量。初始值0设为与收集调查数据的第一个流行病学周(2020年8月30日至2020年9月05日)报告的感染数相等,和 R0设置为0。采用Runge-Kutta-Fehlberg方法和参数对上述初值问题进行了积分 β而且 γ都是通过最小化最小二乘解来估计的t ,报告的事件数目(SIR模型在4个不同时间点的估计数字,可在 多媒体附件4).

残差产生为 et ct t ,我们假设这些残差与其中一个MEPA时间序列可以被建模为VARMA模型。VARMA假设残差,MEPA时间序列 遵循

θ l Yt l Ut

在哪里 Yt = ( ϵt q t Ut 随机向量是遵循白噪声过程还是 Ut ∼N (0Σ),运营商 θ l)= B1 l+ B2 l2+··· Bk 是一个系数矩阵,算子 ψ l)= 一个1 l+ 一个2 l2+··· 一个k 是一个系数矩阵,和算子 lj 是滞后运算符还是 ljYt Yt j .我们假设协方差 Y年代 而且 Yt 是固定的,等于Σ。

的最佳滞后数 θ ψ通过计算Akaike信息准则(AIC),对模型拟合1到3个滞后的所有组合,对36周中的每一周进行估计 θ1到3的滞后 ψ.选择AIC最低的组合。

SIR加上随机森林加上VARMA

为了将所有的MEPA时间序列合并到一个模型中,我们首先将SIR模型拟合到原始时间序列中,并计算残差 et ct t .接下来,我们训练了一个随机森林回归 f有5000棵树,其中期望的输出是 ϵt 作为函数 et −1和所有的MEPA时间序列值,使用LOWESS平滑,滞后为1。的残差 δt e5;t f et −1ˆ1 t −1 ,米ˆ2 t −1 ··· ,米ˆ21 t −1),ˆ q t LOWESS平滑的MEPA时间序列值有问题吗在时间 t,计算并假设遵循自回归综合移动平均(ARIMA)过程,或 θ l δt ψ l ut .按照与上述SIR + VARMA模型相同的方式,基于AIC每周选择滞后。

控制模型

我们的控制模型遵循与原始事件病例时间序列相同的SIR“去趋势”,然后对残差拟合一个ARIMA。ARIMA在建模时采用了与VARMA模型类似的方法

Yt et Θ l Yt l ut

在哪里 ut N(0,σ2).对这个模型唯一的补充就是我们可以“区别” Yt 的值依次减去 Y在时间 t - 1从价值观 Y在时间 t永远如此。差异是计算出来的 dt =∇ Yt Yt Yt −1,拟合上述模型,生成的预测 dt +1 dt + 2 ···,然后恢复 欧美+ l通过计算 Y t+ l)−1 + d t+ l).

ARIMA过程是许多时间序列应用中的第一个尝试模型。如果包含MEPA变量的模型不能在SIR + ARIMA模型的基础上改进,那么MEPA可能不会比单独使用事件案例的滞后值增加任何预测价值。

对上述VARMA和ARIMA模型进行拟合 statsmodelsPython中的包[ 50].

预测评分

预测采用加权区间评分(WIS) K中心分位数[ 51].

其中,区间得分(IS αk )是

在哪里 F为预测累积分布函数,1( x)为指示函数,则 u表示(1 -。 α/2)分位数 F l代表了 α/2分位数 F表示中位数或0.50分位数,和 c最终报道的真相是[ 52].此外,体重 w0等于1/2 wk k/ 2。

WIS和区间评分是负向的,与较小的值相比,较大的值表示较差的预测性能。最好的WIS是0,最坏的WIS是正无穷。

结果 概述

对比两个调查平台(即SurveyMonkey和Pollfish)的回复率发现,在切换到Pollfish后,每周的样本量一直较高。样本在地理上主要代表美国人口,在东北部有轻微的过度抽样。MEPA值在调查期开始时比结束时变化更大,这表明要么随着时间的推移反应变得更加一致,要么在整个调查期样本量较大导致反应变异性较低。聚类分析显示,调查问题可以根据问题类型聚为4组,这表明未来的调查可能通过使用更少的问题针对这些问题类型而更有效。相关分析显示,几个MEPA时间序列与未来1-4周发生的COVID-19病例之间存在相当强的相关性。几个MEPA时间序列还提高了事件COVID-19病例预测模型提前1-4周的预测准确性。

调查平台回应率

SurveyMonkey的调查平均收到了236分06 (sd81)14)每周补偿反应,平均88次80 (sd 22)68)志愿者每周的回复,这表明付费调查的回复率比志愿者调查的回复率更高,但在周内的变化更大。Pollfish的调查平均收到272分55 (sd 7)80)每周的补偿回复,志愿者的回复没有被收集到Pollfish系统中。总体而言,在Pollfish公司( 图1一个)。

(A) Pollfish平台(红色)和在SurveyMonkey上提交答复并获得补偿的参与者(绿色)和志愿者(蓝色)在每个流行周的参与者回复数量。(B)在某一流行病周内对每个问题作出答复的参与者比例。志愿者每周的贡献是一致的,Pollfish的参与者也是如此,而SurveyMonkey平台上获得补偿的参与者贡献的数量各不相同。回答比例较低的问题对应于那些询问较难观察到的非药物干预行为的问题,如老年生活设施的探视规则(问题7),社区成员是否接受抗体检测(问题11),以及最近旅行者的检疫(问题14)。

问题回复率

参与者回答问题的平均百分比为8789% (sd 6)15%) ( 图1B)第1题到第5题和第15题平均回答了94题98% (sd 1而问题7、9、11、14和21的回答概率最低,平均回答率为7863% (sd 209%)。

代表性的抽样

收集最多反馈的州包括加利福尼亚州(956/10,120,9.5%)、纽约州(876/10,120,8.7%)、宾夕法尼亚州(678/10,120,6.7%)、德克萨斯州(645/10,120,6.4%)和佛罗里达州(456/10,120,4.5%)。

观察到的响应频率与期望频率之间的相关性为090 (95% ci 084 - 094; P <。001),并建议反应率与州一级的人口成正比。根据人口普查,我们比较了每个州观察到的反应比例与该州的个人比例(见 多媒体附件2为观测比例、期望比例和相对差)。

7个州与预期反应率相差超过9个SDs。4个州代表人数不足(密西西比、波多黎各、佛罗里达和德克萨斯),3个州代表人数过多(明尼苏达、宾夕法尼亚和纽约)。 图2).宾夕法尼亚州是代表人数最多的州。

当补偿反应和志愿者反应都包括在内时,宾夕法尼亚州的反应频率比预期高10个SDs,当志愿者反应被移除时,反应频率下降到低于预期3.5个SDs。

为了评估在数据收集过程中切换调查平台对结果的影响,我们分析了样本的代表性是否随着调查平台的不同而变化。我们计算了所有州的预期和观察反应之间的平均相对差异,并在不同的调查平台上进行了比较。该分析显示,来自SurveyMonkey的付费参与者(即非志愿者)的州居住地(平均值为−0.599,SE 0.015)比来自Pollfish的付费参与者的州居住地(平均值为−0.751,SE 0.019; t51= 7.58; P<措施)。

在调查期间对调查所观察到的回应数(纵轴)与根据人口普查所预期的总回应数(横轴)相比较。虚线表示观察到的响应数和期望的响应数是否相等。有些状态是过采样和过采样。

长期环境保护法

从调查开始到结束,MEPA在以下3个问题上增幅最大:问题21(∆平均值21=意味着21日week36——意思是21日week1=1.29),询问参与者对州政策的了解,以及是否“违反COVID限制会导致罚款或警察执法”11= 124)询问社区成员多久会按照建议寻求“[…]以及问题14(∆平均14= 057),询问参与者他们的社区成员在旅行后隔离的频率( 图3一个)。

从调查开始到结束,MEPA下降最多的有以下3个问题:问题7(∆平均值7=−1.07),询问参与者对参观老年生活设施的限制频率;问题4(∆平均值4=−0.83),询问餐厅减少座位的频率;问题9(∆平均值9=−0.81),询问医院在治疗COVID-19患者时采取特殊防护的频率。

调查期开始时MEPA值之间的SD (SD开始= 089)大于调查期结束时MEPA值之间的SD (SD . 89)结束= 033) ( 图3A).在整个调查过程中,所有21个问题的MEPA平均值保持相似(平均开始= 315日的意思结束= 314)。这一结果可能是由于随着时间的推移,人们的看法趋于一致,或者由于整个调查期间样本量的增加而减少了可变性。

各时期MEPA值之间的估计相关性 t而且 t l滞后4周以上时大于0.35 ( l=4)对于大多数MEPA时间序列( 图3B)并提出许多MEPA时间序列包含比随机游走更多的结构。以下5个调查问题的回答的平均绝对自相关性大于0.2:问题3([…]),问题4[…]]re年代taurants complying with Centers for Disease Control and Prevention [CDC] recommendations to have reduced seating), question 9 ([...] special protection in hospital areas that treat COVID patients), question 10 ([...] get tested for active virus), and question 11 ([...] get antibody testing to detect prior infection). The mean absolute autocorrelation for these 5 questions across 34 lagged weeks was above 0.2. A more detailed view of autocorrelation for a lag of 1 week has been provided in 多媒体

(A)在调查期间询问的21个问题的平均依从性感知(MEPA)。(B)滞后1至34周的所有21个MEPA时间序列的自相关。在调查期间,人们对有关国家政策(问题21)和抗体检测实践(问题11)的问题的依从性看法有所上升,而对有关老年人生活设施(问题7)和餐馆(问题4)的限制的依从性看法有所下降。在34个滞后周内,5个问题的平均绝对自相关性高于0.2。对于大多数MEPA时间序列,对于滞后长达4周(l=4)的情况,时间t与时间t−l的MEPA值之间的估计相关性大于0.35。MEPA时间序列似乎包含比随机行走更多的结构,这表明众包感知可能是预测事件病例的有用信号。

根据在一段时间内回答的相似性对问题进行聚类

MEPA时间序列被分为以下4类( 图4A和B):(1)值在2.5到3.5之间的问题群(即,低到中等的依从性; 图4C),(2)聚类值随时间递减( 图4C),(3)在调查开始时值接近2.25并随时间增加的聚类( 图4C)和(4)在调查开始时的值接近1.25,随着时间的推移而增加,在调查结束时结束于2.50以上( 图4C)。

将MEPA时间序列划分为4个聚类时,以剪影系数衡量的聚类质量最高;然而,4个聚类的轮廓系数与2个和3个聚类的轮廓系数相似( 图4A).在集群中 图4C,可能存在2个集群-一个随着时间的推移依从性增加,另一个随着时间的推移依从性下降。

同一聚类内的MEPA时间序列询问参与者类似的坚持行为。与回避行为相对应的问题(问题2、12和15)与其他问题相比,与企业限制(问题4和6)、对当地病毒高传染性的认识(问题2和13)以及对州一级的认识(问题16和17)相似。这些结果表明,参与者可能以类似的方式考虑了一组问题(例如,与回避有关的问题),这表明未来的调查可能受益于更直接地针对这些因素。

有关不同聚类中MEPA反应之间1-4周的自相关性,请参见 多媒体附件6

21个平均依从感(MEPA)时间序列的层次聚类,使用欧几里得距离作为2个时间序列之间不相似性的度量。(A) 2-10个MEPA时间序列簇的廓形系数。(B)在横轴上报告问题,在纵轴上报告单个问题或集群之间的不相似性的树状图。(C) MEPA时间序列聚为4组,对应廓形系数最高。由于MEPA时间序列可以被分成类似的组,一个较小的调查可能能够捕捉到美国公众对非药物干预的依从性的相同模式。

依从性观念与报告事件案例之间的相关性

估计的相关性( ρMEPA时间序列代表对“你注意到在你的社区中通常保持社交距离的人的百分比是多少?”前1周的事件数为−046 (95% ci−069 ~−015)。此外,相关性( ρ)为−03 (95% ci−067 ~−012)对于提前2周发生的事件,−035 (95% ci−061 ~−002),以及−026 (95% ci−055比008)在接下来的4个星期( 图5).“在你所在的州,关闭或只开设远程课程的大学的比例是多少?”有估计的相关性( ρ) 046 (95% ci 015比069)提前一星期办理。此外,相关性( ρ)为036 (95% ci 004至062), 027 (95% ci−007至055), 015 (95% ci−019比046)分别在美国国家层面提前2周、3周和4周报告的事件病例( 图5,第19排)。每个问题的相关系数和95% ci可在 多媒体.综上所述,这些结果表明,对遵守新国家行动计划的看法的变化(即MEPA时间序列)与COVID-19事件病例的变化有关。

21个平均依从性知觉(MEPA)时间序列与美国国家水平的依从性知觉问题和事件病例之间的线性相关。问题2“你注意到在你的社区中有百分之多少的人通常在公共场合戴口罩?”1-4周前的事件病例为−0.26或更低,问题19“在你的州,有百分之多少的大学关闭或只开设远程课程?”, 1-3周后的病例为0.27或更高。在国家层面,选择众包对坚持非药物干预的看法与短期和长期报告的事件病例相关。

众包MEPA在预测中的样本外改进

与仅考虑美国国家事件过去时间序列的模型相比,包括美国国家事件病例历史计数和MEPA数据的模型改变了预测轨迹和预测区间宽度( 图6).包含历史计数和包含所有MEPA数据的随机预测回归的模型提出了与只包含病例数据的ARIMA(对照)模型相似的轨迹,该模型在报告病例高峰之前具有更宽的预测间隔,而在报告病例高峰之后具有更小的预测间隔( 图6A和F)。

与不使用MEPA的模型相比,包含单个MEPA时间序列的预测生成更小(改进的)WIS的次数所占的比例在未来1-3周的预测范围的大多数依从性问题中超过50% ( 图7).MEPA提前两周提高了预测。MEPA时间序列对应的问题是“有百分之多少的人通常呆在家里?”“人们按照建议接受抗体检测的情况有多普遍?”以及“在你的社区里,人们遵守限制大型聚会的指导方针的情况有多普遍?”,将两周后的预测提高了76%(95%置信区间58%-94%)。接下来的三周,问题是“有百分之多少的人通常呆在家里?”,提高了76% (95% CI 58%-94%)的预测,而包含所有依从性问题的机器学习模型提高了76% (95% CI 58%-94%)的预测。包括MEPA数据可以最低限度地提前4周改善预测,而且只针对一小部分问题。

与控制模型相比,包括MEPA数据后,在事件病例报告数量达到峰值时( 图8).提前一周的预测显示,预测准确度随时间持续小幅上升( 图8A).提前2周及3周的预报显示,在事件数目达到高峰时及紧接高峰后,预报准确度大幅提高( 图8B和C),并且在接近病例数高峰时( 图8D)总的来说,这些结果表明,在预测COVID-19事件病例的模型中,对NPI遵从性的某些感知可能是有用的信号。

在整个调查期间的6个时间点提前1-4周对美国国家事件病例进行预测,首先拟合SIR(易感、感染和移除)模型,然后对残差进行建模(A)拟合具有1个滞后的自回归模型,(B-E)拟合向量自回归移动平均,其中包括剩余时间序列和对选定问题的平均依从性感知(MEPA)值,和(F)对残差进行随机预测,包括对参与者提出的所有问题的MEPA值以及AR(1)模型。AR(1):滞后为1的自回归;ARIMA:自回归综合移动平均;RF:随机森林。

与未使用MEPA时间序列预测未来1-4周的对照SIR模型相比,SIR(易感、感染和切除)加向量自回归移动平均(VARMA)模型的加权区间评分(WISs)改善(更小)的比例和95% ci。在模型21右边的另一个模型是SIR模型加上随机预测,其中包括所有21个MEPA时间序列和模型残差的ARIMA。大多数MEPA时间序列改进了提前1周和2周对事件病例的预测。少数几个MEPA时间序列改善了未来3周的预测,而未来4周的预测仅略有改善。

在包含1个平均感知依从性时间序列的模型和仅使用过去事件病例数据来产生预测的控制模型之间,美国国家事件病例(A)提前1周、(B)提前2周、(C)提前3周和(D)提前4周预测的加权区间得分(WISs)的差异。WISs的差异与预测的流行周相对应,而不是预测产生的时间。美国国家层面的事件报告数量以灰色表示。一个点代表特定流行周WIS的差异,当模型削弱预测性能时,该点被标为红色,当预测优于控制模型时,该点被标为蓝色。包括围绕非药物干预的人类行为的认知,可以改善高峰事件病例发生时和之后的预测。

内联图形7。

讨论

我们发现,在美国国家层面上,对遵守npi的众包感知与事件病例提前1-4周相关,将感知数据纳入计算模型可提高提前1-3周的预测准确性。由于人群的反应可以迅速收集(即,在分发在线调查的几个小时内),这些反应可以包括到一个计算模型中,该模型可以为疾病预防控制中心等组织提供每周流行病学目标的实时预测。

由于基于公众认知的预测是快速和信息丰富的,在州或联邦机构发布新的NPI指南以评估这些新指南的有效性之后,这些预测有时会非常有效。我们的模型可以揭示人们认为公众遵守这些指南的程度,以及遵守情况的变化如何影响传染因子的轨迹,从而向公共卫生官员提供哪些干预措施能够遏制寻求风险的行为。这些预测对政策制定者和社区领导人也很有价值,例如,他们决定大学课程是应该亲自上课还是远程授课。

这项工作支持了这样一个假设,即人群可能能够为社区坚持npi的结果分配现实的概率,这与最近的工作一致,这表明外行可以对各种现实世界现象进行准确的概率预测,如新电影的票房收入或感染因子的影响[ 13 53];然而,还需要完成更多的工作来评估在多大程度上包括人类的判断知觉可以提高传染病模型的预测准确性( 多媒体).过去关于外行做出准确概率预测能力的文献褒贬不一。过去的一些研究表明,人们可能无法将环境线索与结果的准确概率联系起来。 54],而其他研究表明,人们的统计直觉可能会与他们所处环境的统计数据重叠[ 53].

这项研究的证据表明,参与者能够判断他们能够观察和预测哪些活动,以及他们可以在什么空间水平上进行预测。例如,参与者可以选择回答“不知道”或将问题留空。参与者更多地回答与他们的环境有关的问题,比如戴口罩的人的比例,而较少回答与他们的环境无关的问题,比如对老年人生活中心的访问限制。在研究的初始试点阶段,调查问题要求参与者在州一级而不是社区一级做出预测,在这个试点阶段,许多参与者抗议说,他们无法在这个层面做出合理的预测,这表明参与者对当地社区一级的预测可以推断到什么程度有一定的认识。最后,每周对特定新产品进口问题的回答之间的强相关性表明,本研究参与者的判断是一致的(见 多媒体).我们的研究结果可能支持这样的观点,即人类的判断是可以预测事件的,因为人们可以准确地感知和推断他们周围的环境。

然而,依靠人类的判断提出了使用计算模型进行预测时不存在的挑战。人类的判断容易受到各种各样的偏见的影响,这些偏见往往是由判断提示如何呈现的细微变化引发的。 55].看似无关的信息会对判断产生很大影响。例如,当被要求完成一项不相关的任务时,例如在竞拍普通物品(如一瓶葡萄酒)之前写下他们社会安全号码的后两位数字,社会安全号码高的人在葡萄酒上的出价比号码低的人高[ 56].这些发现强调了精心设计判断问题以避免引发判断偏差的重要性。人类判断数据的质量也必须进行检查,因为本研究的参与者经常在一次调查中留下一个或多个问题的空白,大约2%的参与者对每个问题都给出了相同的回答,这表明他们没有仔细阅读调查项目。最后,招募人类参与者需要时间、精力和金钱。招募志愿者可以节省资金,但需要付出努力,而且响应数量不确定,在收集数据以应对流行病或大流行等时间敏感事件时可能具有挑战性。本研究的参与率在整个数据收集期间呈上升趋势,因此难以评估MEPA随时间的变化更多地是由感知遵守的变化还是由参与率的变化推动的。

在未来的工作中有几个限制需要解决。我们希望克服的一个限制是,参与者没有被纵向追踪,因此,我们无法分析个人的反应如何随时间变化。另一个限制是,用于招募志愿者的电子邮件包含了前几个月数据收集结果的摘要链接。虽然这可能会增加参与者在研究中的经验价值,但它可能会使他们的判断与这些总结值相结合,从而使他们随后的反应产生偏见[ 56].另一个限制是在数据收集过程中切换调查平台(从SurveyMonkey到Pollfish)。这一转变的需求是由SurveyMonkey每周提供所需付费回复数量的能力突然下降所驱动的 图1A).这种转换似乎对样本的地理代表性产生了影响,因为Pollfish提供的样本代表性不如SurveyMonkey。由于转换调查平台与应答数量和流行周相混淆,转换调查平台可能对应答产生的影响在很大程度上尚不清楚。此外,各州不同的抽样率造成了在州一级估计预测的困难。从人口较少的州进行过采样将确保预测模型有足够的数据来估计可靠的预测。在整个调查过程中没有持续收集其他人口统计信息,因此,我们无法评估样本是否具有其他人口统计维度的代表性。最后,有证据表明,自我表达可能因地理位置而异。 57].未来的研究应考虑位置和周围的人口结构如何影响人们的看法,例如,导致高估人口密集地区戴口罩的流行程度。

未来的研究应该探索,通过将向人群提出的问题的空间尺度与感兴趣的流行病学目标相匹配,是否可以通过人类判断对事件病例进行更准确和校准的预测。在州或社区一级的判决与州或社区一级的事件案件之间可能观察到更强的联系,而不是在国家一级预测事件案件。例如,人们可以调查预测的准确性是否取决于州的地理大小(如德克萨斯州vs特拉华州)或种族多样性(如加利福尼亚州vs西弗吉尼亚州)等因素。此外,受访者可以被要求判断他们所在县的合规性,然后,这些判断可以添加到一个产生县级预测的模型中。在这个地方层面上的强有力的预测对于社区领导人来说是有价值的,例如,在决定市政厅会议是应该亲自举行还是在远程举行时。估计这些局部预测的一个重大挑战是随着时间的推移从给定社区收集足够的响应,如前所述,可以通过对感兴趣的地区进行目标和过度采样来进行局部预测。未来的研究还应探索对新产品执行情况的认知是否可以预测其他流行病学目标。虽然我们在这项研究中关注的是意外病例,但我们目前的方法应该适用于其他感兴趣的预测结果,如COVID-19住院和死亡。

对人类行为的众包感知,如非药物依从性,可能是一个快速和信息丰富的信号,可以改善对传染病病原体轨迹的概率预测,并可能对传染病相关政策产生重要影响。

向参与者提供调查,以获取对非药物干预的依从性的看法。

每个州的观察和预期参与者比例。

平均感知依从性与美国国家事件案例之间的相关性。

SIR(易感、感染和移除)模型适用于美国国家事件案例。

平均感知依从性时间序列为1周的自相关。

问题群与事件案例之间的二元关系。

在众包平均感知依从性预测中跨模型的假设检验。

缩写 另类投资会议

赤池信息标准

华宇电脑

自回归综合移动平均

疾病预防控制中心

疾病控制和预防中心

IRB

机构检讨委员会

MEPA

平均感知依从性

NPI

药物干预

先生

易受感染然后被移除

VARMA

向量自回归移动平均

威斯康星州

加权区间评分

我们感谢COVID - 19缓解监测项目(CMMP)的以下成员:Dale Hall、FSA、CERA、MAAA、CFA;Robert Wolf, FSA, CFA, CERA;尚凯兰,FSA, CFA, PRM, SCJP;John Stark, FSA, CERA。我们感谢精算师协会在数据收集方面的支持。我们还要感谢在调查期间提出看法的所有参与者。

没有宣布。

鲁茨 CS 黄齐的 国会议员 施罗德 Anyatonwu 年代 达利 FS Danyluk G 费尔南德斯 D 格林 SK Kipshidze N l Mgbere O 麦克休 迈尔斯 摩根富林明 Siniscalchi 一个 沙利文 广告 西 N 约翰逊 带给 将传染病预测应用于公共卫生:以流感预测为例的前进道路 BMC公共卫生 2019 12 10 19 1 1659 10.1186 / s12889 - 019 - 7966 - 8 31823751 10.1186 / s12889 - 019 - 7966 - 8 PMC6902553 Pollett 年代 约翰逊 帝国 NG Brett-Major D Del Valle SY Venkatramanan 年代 R Porco T 浆果 即时通讯 Deshpande 一个 Kraemer 杯子 大火 戴斯。莱纳姆: Pan-Ngum W Vespigiani 一个 伴侣 SE Silal SP Kandula 年代 吸管 R Quandelacy TM 摩根 JJ J 莫顿 信用证 Althouse BM Pavlin J 范Panhuis W 莱利 年代 带给 Viboud C 布雷迪 O 河流 C 流行病预测和预测研究的建议报告项目:EPIFORGE 2020指南 科学硕士 2021 10 19 18 10 e1003793 10.1371 / journal.pmed.1003793 34665805 pmedicine - d - 20 - 04450 PMC8525759 Del Valle SY 麦克马洪 黑洞 亚设 J 哈契 R 北方联盟党 JC 棕色(的) Leany Pantazis Y 罗伯茨 DJ 摩尔 年代 彼得森 Escobar H Hengartner 西北 Mukundan H 2014-2015年DARPA基孔肯雅热挑战的总结结果 BMC感染 2018 05 30. 18 1 245 10.1186 / s12879 - 018 - 3124 - 7 29843621 10.1186 / s12879 - 018 - 3124 - 7 PMC5975673 埃文斯 MV 达拉斯 助教 英航 默多克 CC 德雷克 JM 潜在寨卡病毒载体的数据驱动识别 Elife 2017 02 28 6 e22053 10.7554 / eLife.22053 28244371 PMC5342824 约翰逊 Apfeldorf K 多布森 年代 Devita J Buczak 一个 鲍夫 B Moniz l 巴格利 T Babin 年代 Guven E Yamana T 萨满 J Moschou T 洛锡安 N 车道 一个 奥斯本 G G 布鲁克斯 l 法罗 D Hyun 年代 Tibshirani R 罗森菲尔德 R Lessler J 帝国 N 卡明斯 D 劳尔 年代 摩尔 年代 克拉珀姆 H R 贝利 T Garcia-Diez 卡瓦略 Rodo X Sardar T 保罗 R E Sakrejda K 棕色(的) 一个 X Osoba O Vardavas R 美瀚 D 摩尔 D Porco T 《护理 年代 F 沃顿 l Convertino Y Reddy 一个 奥尔蒂斯 E Rivero J 布里托 H Juarrero 一个 约翰逊 l Gramacy R 科恩 J 末底改 E 默多克 C 罗尔 J 瑞安 年代 Stewart-Ibarra 一个 Weikel D Jutla 一个 R Poultney Colwell R Rivera-Garcia B 巴克 C 贝尔 J 带给 Swerdlow D Mier-Y-Teran-Romero l Forshey B 他还 J 亚设 J 粘土 马戈利斯 H Hebbeler 一个 乔治 D 克雷蒂安 J 对登革热流行概率预测的公开挑战 美国国立自然科学研究院 2019 11 26 116 48 24268 24274 10.1073 / pnas.1909865116 31712420 1909865116 PMC6883829 Kobres P 克雷蒂安 J 约翰逊 摩根 JJ Whung P Mukundan H Del Valle SY Forshey BM Quandelacy TM 带给 Viboud C Pollett 年代 对国际关注的突发公共卫生事件期间寨卡病毒预测和预测研究的系统回顾和评估 PLoS nel Trop Dis 2019 10 4 13 10 e0007451 10.1371 / journal.pntd.0007451 31584946 pntd - d - 19 - 00725 PMC6805005 帝国 NG 麦高文 CJ Yamana TK 印度央行 一个 埃尔 Osthus D Kandula 年代 布鲁克斯 信用证 Crawford-Crudell W 吉布森 GC 摩尔 E 席尔瓦 R 带给 约翰逊 罗森菲尔德 R 萨满 J 美国季节性流感实时多模型集合预报的准确性 PLoS计算生物学 2019 11 22 15 11 e1007486 10.1371 / journal.pcbi.1007486 31756193 pcompbiol - d - 19 - 01044 PMC6897420 Viboud C 太阳 K Gaffey R Ajelli Fumanelli l 乌鸫 年代 Chowell G 西蒙森 l Vespignani 一个 RAPIDD埃博拉预测挑战小组 RAPIDD埃博拉病毒预测挑战:综合和经验教训 流行 2018 03 22 13 21 10.1016 / j.epidem.2017.08.002 28958414 s1755 - 4365 (17) 30127 - 5 PMC5927600 带给 虽说 RB 约翰逊 巴特勒 JC 改进大流行应对:利用数学建模应对2019冠状病毒病 临床感染病 2022 03 09 74 5 913 917 10.1093 / cid / ciab673 34343282 6338173 PMC8385824 克莱默 E E 洛佩兹 V J Brennen 一个 卡斯特罗Rivadeneira 一个 gerd 一个 Gneiting T 房子 K Y Jayawardena D 汉字 一个 一个 K Muhlemann 一个 尼米 J 沙阿 一个 斯塔克 一个 Y Wattanachit N 该研究 Y 耆那教徒的 年代 Bannur N 提婆 一个 Kulkarni Merugu 年代 艾丽萨 一个 Shingi 年代 女子 一个 白色 J 硬饼干 N 伍迪 年代 Dahan 狐狸 年代 盖瑟 K Lachmann 迈耶斯 l 斯科特 J 侦探 斯利瓦斯塔瓦 一个 乔治 G Cegan J Dettwiller 英格兰 W 法新 猎人 R 拉弗蒂 B Linkov 梅奥 Parno 罗兰 特朗普 B Zhang-James Y 年代 Faraone 年代 赫斯 J 莫理 C Salekin 一个 D Corsetti 年代 贝尔 T 艾森伯格 Falb K Y 马丁 E 麦考利 E 迈尔斯 R 施瓦兹 T 谢尔登 D 吉布森 G R l Y D 杨ydF4y2Ba X X Y Y l Y J l P W D Biegel H 北方联盟党 J 麦康奈尔 年代 Nagraj V 哈德角海恩尼斯主街Guertin 年代 Hulme-Lowe C 特纳 年代 Y 禁止 X 沃伦文 R 在香港 香港 年代 范德瓦尔 一个 乌龟 J ben - nun 莱利 年代 莱利 P Koyluoglu U DesRoches D Forli P Hamory B Kyriakides C 花环 H 米利肯 J Moloney 摩根 J Nirgudkar N Ozcan G Piwonka N 拉维 施克拉德 C Shakhnovich E 西格尔 D Spatz R 施蒂费尔 C 威尔金森 B 一个 Cavany 年代 西班牙 G 摩尔 年代 Oidtman R 珀金斯 一个 克劳斯 D 克劳斯 一个 Z J W Lavista费雷 J C T X 年代 年代 Vespignani 一个 Chinazzi 戴维斯 J μ K Pastore Y Piontti 一个 X 一个 门敏 J 法瑞斯 V Georgescu 一个 利瓦伊 R Sinha D 王尔德 J Perakis G Bennouna Nze-Ndong D 普伊施 D Spantidakis Thayaparan l Tsiourvas 一个 衬衣 一个 Jadbabaie 一个 沙阿 D 德拉Penna N 附加评论 l Sundar 年代 我读 R Osthus D 卡斯特罗 l 飞兆 G 米肖德 Karlen D 金赛 ·穆兰尼 l Rainwater-Lovett K 胫骨 l Tallaksen K 威尔逊 年代 E 凹痕 J Grantz K 一个 Kaminsky J Kaminsky K 基冈 l 劳尔 年代 Lemaitre J Lessler J 梅雷迪思 H Perez-Saez J 沙阿 年代 史密斯 C 纯爱 年代 遗嘱 J 马歇尔 加德纳 l 尼克松 K Burant J l l Z X G Y 年代 莱纳 R 理发师 R Gakidou E 干草 年代 Lim 年代 穆雷 C Pigott D 高隆 H Baccam P 阶段 年代 Suchoski B 普拉卡什 B Adhikari B J 罗德里格斯 一个 Tabassum 一个 J Keskinocak P 莉莲 J 巴克斯特 一个 Oruc B Serban N Arik 年代 Dusenberry Epshteyn 一个 正构醛 E l C 斯特 T 萨瓦河 D Sinha R T N J l 阿伯特 年代 博斯 N 恐慌 年代 Hellewell J Meakin 年代 K Kalantari R Yamana T 年代 萨满 J Bertsimas D Skali Lami O 索尼 年代 塔子Bouardi H 艾耶尔 T Adee Chhatwal J Dalgic O 拉德 如果这样 B 穆勒 P J Y 年代 D 绿色 一个 J 布鲁克斯 l 一个 Jahja 麦当劳 D 纳史木汗 B Politsch C Rajanala 年代 Rumack 一个 西蒙 N Tibshirani R Tibshirani R 文图拉 V 沃瑟曼 l O 'Dea E 德雷克 J Pagano R Tran l 黄齐的 H 沃克 J 虽说 R 约翰逊 带给 帝国 N 评估美国COVID-19死亡率的个体和整体概率预测 美国国立自然科学研究院 2022 04 12 119 15 e2113561119 10.1073 / pnas.2113561119 35394862 PMC9169655 埃文 LR Nutcha W Jarad N 阿卜杜勒 香港 凯蒂 H 雅诗 YC 约翰内斯 B 安德鲁 Z 特蕾莎修女 肯塔基州 Xinyue X 美国2019年冠状病毒疾病(COVID-19)的综合预测 MedRXiv 2020 2022-11-16 https://www.medrxiv.org/content/10.1101/2020.08.19.20177493v1 Hanea 卷边 V Nane 女朋友 专家不确定性量化:现状与研究需求 风险肛门 2022 02 42 2 254 263 10.1111 / risa.13718 33629402 安德鲁说 T Wattanachit N 吉布森 GC 帝国 NG 汇集专家的预测:统计方法、实验和应用的综述 威利交互式Rev计算统计 2021 06 16 13 2 e1514 10.1002 / wics.1514 33777310 PMC7996321 博斯 阿伯特 年代 J 海恩 H 奎尔蒂 BJ Jit 传染病数学建模中心COVID-19工作组 van Leeuwen E 科里 一个 恐慌 年代 比较德国和波兰的COVID-19人类和基于模型的预测 PLoS计算生物学 2022 09 18 9 e1010405 10.1371 / journal.pcbi.1010405 36121848 pcompbiol - d - 22 - 00086 PMC9534421 法罗 直流 布鲁克斯 信用证 Hyun 年代 Tibshirani RJ 伯克 DS 罗森菲尔德 R 流行病学预测的人的判断方法 PLoS计算生物学 2017 03 10 13 3. e1005248 10.1371 / journal.pcbi.1005248 28282375 pcompbiol - d - 16 - 00766 PMC5345757 安德鲁说 T 帝国 NG 一个预测美国COVID-19大流行早期阶段的专家判断模型 PLoS计算生物学 2022 09 18 9 e1010485 10.1371 / journal.pcbi.1010485 36149916 pcompbiol - d - 21 - 01928 PMC9534428 Recchia G 弗里曼 行政法官 斯皮格尔霍尔特 D 专家和外行对COVID-19大流行规模的预测有多准确? 《公共科学图书馆•综合》 2021 5 5 16 5 e0250935 10.1371 / journal.pone.0250935 33951092 玉米饼- d - 21 - 04714 PMC8099086 这本 RT 温克勒 RL 结合风险分析专家的概率分布 风险分析 2006 05 29 19 2 187 203 10.1111 / j.1539-6924.1999.tb00399.x Grigore B 彼得斯 J 海德 C 斯坦 K 远程专家诱导在卫生技术评估中的可行性研究 BMC Med通知Decis Mak 2017 09 04 17 1 131 10.1186 / s12911 - 017 - 0527 - 0 28870196 10.1186 / s12911 - 017 - 0527 - 0 PMC5584524 卷边 V 伯曼 Hanea 麦克布莱德 曼氏金融 Wintle 公元前 使用IDEA协议的结构化专家启发式的实用指南 方法生态进化 2017 09 05 9 1 169 180 10.1111 / 2041 - 210 x.12857 温克勒 RL Grushka-Cockayne Y Lichtendahl KC VRR 概率预测及其组合:一个研究视角 决策分析 2019 12 16 4 239 260 10.1287 / deca.2019.0391 库克 RM 不确定性专家:科学中的意见和主观概率 1991 英国牛津 牛津大学出版社 伯曼 麦克布莱德 艾什顿 R Speirs-Bridge 一个 弗兰德 l Wintle B 费德勒 F Rumpff l C 专家地位及表现 《公共科学图书馆•综合》 2011 7 29 6 7 e22998 10.1371 / journal.pone.0022998 21829574 玉米饼- d - 11 - 06290 PMC3146531 斯宾塞 勃拉克 问题特征对专家和新手判断的调节作用 市场研究杂志 2018 12 20. 34 2 233 247 10.1177 / 002224379703400204 斯图尔特 TR Roebber PJ 通过 低频 分析专家判断任务的重要性 组织行为与人类决策过程 1997 03 69 3. 205 219 10.1006 / obhd.1997.2682 卡尼曼 D 特沃斯基 一个 主观概率:对代表性的判断 认知心理学 1972 7 3. 3. 430 454 10.1016 / 0010 - 0285 (72) 90016 - 3 卡尼曼 D 特沃斯基 一个 关于预测心理学 心理评估 1973 07 80 4 237 251 10.1037 / h0034747 特沃斯基 一个 卡尼曼 D 可用性:判断频率和概率的启发式方法 认知心理学 1973 9 5 2 207 232 10.1016 / 0010 - 0285 (73) 90033 - 9 特沃斯基 一个 卡尼曼 D 基础利率的实证影响 DTIC 1981 2022-11-16 https://apps.dtic.mil/sti/pdfs/ADA099501.pdf 吉仁泽 G Gaissmaier W 启发式决策 阿努Rev Psychol 2011 01 10 62 1 451 82 10.1146 / annurev -心理- 120709 - 145346 21126183 沙阿 正义与发展党 奥本海默 DM 启发式变得简单:一个减少工作量的框架 Psychol牛 2008 03 134 2 207 22 10.1037 / 0033 - 2909.134.2.207 18298269 2008-01984-002 Wubben Wangenheim 艘渔船 即时客户基础分析:管理启发式方法经常“做对” 市场营销杂志 2008 05 72 3. 82 93 10.1509 / jmkg.72.3.82 易卜拉欣 R 年代 J 为预测算法引出人类判断 管理科学 2021 04 67 4 2314 2325 10.1287 / mnsc.2020.3856 英国宇航系统公司 年代 (拉)唱 E Kwon O 考虑社交媒体效应以提高感染模型的准确性:抗击COVID-19大流行和信息大流行 欧洲信息系统杂志 2021 02 25 30. 3. 342 355 10.1080 / 0960085 x.2021.1890530 Hirose H l 利用Twitter预测传染病传播:以流感为例 2012 第五届国际并行架构、算法和编程研讨会 2012年12月17日至20日 台北,台湾 10.1109 / PAAP.2012.23 麦当劳 DJ J 绿色 一个 AJ DeFries N Hyun 年代 奥利维拉 Sharpnack J J Tibshirani R 文图拉 V 沃瑟曼 l Tibshirani RJ 辅助指标能否改善COVID-19预测和热点预测? 美国国立自然科学研究院 2021 12 21 118 51 e2111453118 10.1073 / pnas.2111453118 34903655 2111453118 PMC8713796 C 一个 C J B W 利用社交媒体上的症状和诊断报告预测中国大陆COVID-19病例数:观察性信息监测研究 J医疗互联网服务 2020 05 28 22 5 e19421 10.2196/19421 32452804 v22i5e19421 PMC7257484 Polgreen 纳尔逊 FD 诺伊曼 GR 利用预测市场预测传染病活动 临床感染病 2007 01 15 44 2 272 9 10.1086/510427 17173231 CID40364 出售 TK Warmbrod 吉隆坡 沃森 C Trotochaud 马丁 E 拉维 SJ Balick Servan-Schreiber E 使用预测轮询来利用集体智慧进行疾病预测 BMC公共卫生 2021 11 20. 21 1 2132 10.1186 / s12889 - 021 - 12083 - y 34801014 10.1186 / s12889 - 021 - 12083 - y PMC8605461 年代 Santillana SC 通过ARGO使用谷歌搜索数据准确估计流感流行 美国国立自然科学研究院 2015 11 24 112 47 14473 8 10.1073 / pnas.1515373112 26553980 1515373112 PMC4664296 C J Z 太阳 X Olatosi B 斯曼 年代 X 南卡罗来纳州人口流动与COVID-19疫情的时空关系:时间序列预测分析 J医疗互联网服务 2021 04 13 23 4 e27045 10.2196/27045 33784239 v23i4e27045 PMC8045774 Rabiolo 一个 Alladio E 莫拉莱斯 E 麦克诺特 人工智能 F 阿菲菲 AA Marchese 一个 通过将症状搜索行为整合到预测模型中预测COVID-19流行:信息监视研究 J医疗互联网服务 2021 08 11 23 8 e28876 10.2196/28876 34156966 v23i8e28876 PMC8360333 恐慌 年代 Salathe 詹森 VAA 模拟人类行为对传染病传播的影响:综述 J R Soc接口 2010 09 06 7 50 1247 56 10.1098 / rsif.2010.0142 20504800 rsif.2010.0142 PMC2894894 Singhal 一个 巴喜 Mago V 推特上COVID-19期间公共和私人医疗保健组织之间的协同作用:使用预测模型的情绪和参与分析 JMIR Med Inform 2022 08 18 10 8 e37829 10.2196/37829 35849795 v10i8e37829 PMC9390834 弗里德曼 卢卡斯 N 亨特 D 齐格勒 CK 公众对COVID-19的知识、对信息源的信任和遵守社会距离之间的关系:横断面调查 JMIR公共卫生监测 2020 09 15 6 3. e22060 10.2196/22060 32930670 v6i3e22060 PMC7511226 布劳恩 D 英格拉姆 D 英格拉姆 D B 沼泽 J 安德鲁说 T 将对人类行为的众包感知纳入美国COVID-19国家事件病例的计算预测 OSF预印本 2022 2022-11-16 https://osf.io/7vrmy 英格拉姆 D 英格拉姆 D 美国COVID-19缓解措施:2020年9月至2021年4月 精算师学会 2022-11-16 https://www.soa.org/globalassets/assets/files/resources/research-report/2021/covid-eight-month-report.pdf 越南盾 E H 加德纳 l 一个基于web的交互式仪表板,用于实时跟踪COVID-19 《柳叶刀》传染病杂志 2020 05 20. 5 533 534 10.1016 / s1473 - 3099 (20) 30120 - 1 Rousseeuw PJ 轮廓:用于解释和验证聚类分析的图形辅助 计算与应用数学杂志 1987 11 20. 53 65 10.1016 / 0377 - 0427 (87) 90125 - 7 Seabold 年代 Perktold J Statsmodels:使用Python进行计量经济和统计建模 SciPy 2022-11-16 https://conference.scipy.org/proceedings/scipy2010/pdfs/seabold.pdf J 埃尔 Gneiting T 帝国 NG 以区间形式评估疫情预测 PLoS计算生物学 2021 02 17 2 e1008618 10.1371 / journal.pcbi.1008618 33577550 pcompbiol - d - 20 - 01502 PMC7880475 Gneiting T Balabdaoui F 阿布 AE 概率预测,校准和锐度 英国皇家统计学会 2007 04 69 2 243 268 10.1111 / j.1467-9868.2007.00587.x 格里菲思 TL 特南鲍姆 简森-巴顿 日常认知中的最佳预测 Psychol Sci 2006 09 17 17 9 767 73 10.1111 / j.1467-9280.2006.01780.x 16984293 PSCI1780 麦克道尔 雅可布 P 自然频率对贝叶斯推理影响的元分析 Psychol牛 2017 12 143 12 1273 1312 10.1037 / bul0000126 29048176 2017-47164-001 特沃斯基 一个 卡尼曼 D Karpak B Zionts 年代 理性选择与决策框架 基于微机的多标准决策与风险分析。北约ASI系列,第56卷 1989 柏林,海德堡 施普林格 81 126 艾瑞里 D Loewenstein G Prelec D “相干随意性”:没有稳定偏好的稳定需求曲线 经济学季刊 2003 02 01 118 1 73 106 10.1162 / 00335530360535153 米切尔 l 弗兰克 先生 哈里斯 KD 多兹 PS 丹弗斯 厘米 幸福的地理:将推特的情绪和表达、人口统计和地方的客观特征联系起来 《公共科学图书馆•综合》 2013 5 29 8 5 e64417 10.1371 / journal.pone.0064417 23734200 玉米饼- d - 13 - 07723 PMC3667195
Baidu
map