在这项研究中，选择了来自15个流感传播区的24个国家，在全球范围内评估EBS的表现:阿根廷、澳大利亚、巴西、保加利亚、中国、哥斯达黎加、厄瓜多尔、埃及、法国、德国、希腊、印度、伊朗、墨西哥、尼日利亚、俄罗斯、沙特阿拉伯、南非、瑞典、泰国、乌拉圭、英国、美国和越南。选择这些国家是为了代表广泛的地理位置、语言和收入阶层，并从所有流感传播区随机抽样。

FluNet是世界卫生组织(WHO)为传播病毒学流感监测数据而创建的基于网络的工具，并作为评估EBS系统的参考。FluNet提供所有参与全球流感监测和反应系统(GISRS)的国家、与GISRS合作的其他国家流感参考实验室以及世卫组织区域数据库每周汇总的各国实验室确诊流感病例的公开数量[ 21]。FluNet数据收集于2013年1月至2019年12月，但沙特阿拉伯除外，其FluNet数据仅截至2017年1月。研究期的开始时间选择在2013年1月，以便2009年大流行的影响不会影响分析。

由于FluNet是一个活跃的国际监测工具，其数据在开放领域以汇总方式发布，因此本研究不需要研究伦理委员会的批准。

HealthMap通过从基于网络的新闻聚合器(如谷歌news)、专家主持的系统(如监测新发疾病计划- mail)和来自官方来源的经过验证的警报收集数据，提供传染病的实时监测[ 10， 19]。从2013年1月到2019年7月，通过HealthMap过滤算法的任何与“人类流感”相关的新闻报道都被视为流感报道。重复报告通过分配给每个报告的唯一ID号来识别，并与有关国家海外领土的报告一起删除(分别为31,796个事件中的9012个和62个)，从而产生总共22,722个独立报告。为了匹配黄金标准数据，来自HealthMap的每日报告计数被汇总为每周格式，从而产生总共341个每周数据点，跨越6.5年。

2017年，世卫组织在多个公共卫生组织的协作下，实施了开源流行病情报(EIOS)系统，在全球范围内提供及时的公共卫生监测[ 22]。EIOS集成了来自多个EBS系统(包括HealthMap)的数据，并在上传到平台之前执行重复数据删除。每日事件数据提供自2017年11月11日(EIOS实施之日)至2019年12月。检索了24个相关国家的所有EIOS报告，其中关键词为“未识别流感病毒”、“H1N1”、“H1N1v”、“H1N2”、“H1N2v”、“H2N1”、“H2N2”、“H3N2”和“H3N2v”，并按周汇总，共计109周。

我们的整体工作流程见 图1。采用贝叶斯变化点(BCP)分析，根据媒体报道频率或确诊流感病例数，在所有3个数据集中回顾性发现疫情。暴发发生的日期必须在金标准和EBS数据中检测到，因为fluet没有提供一致的流行病指标。虽然最初不是为传染病爆发而开发的[ 23， 24]，变化点分析已被用于确定流感流行的起始点[ 25， 26]。从本质上讲，变点法是识别时间序列中分布参数前后差异显著的点。为此，BCP算法将时间序列分解为块，计算这些块的均值和方差，并导出每个断点作为变化点的概率。所有BCP分析均使用4.0.3版本的R包BCP [ 23， 27]，它基于Barry和Hartigan [ 24]。通过600次马尔可夫链蒙特卡罗迭代估计后验均值和方差，并由此估计每个时间点为变化点的概率，前100次马尔可夫链蒙特卡罗迭代作为老化丢弃。只使用了600次迭代，因为在第一次迭代之后很快就达到了收敛。先验值p0(变化点概率)和w0(信噪比)保持默认值0.2。由于疫情期间BCP分析标记了多个变化点，因此我们应用了额外的标准来确定流感疫情的开始和结束点。简而言之，流行病的起点和终点分别是上升曲线和下降曲线上的第一个和最后一个变化点。看到 多媒体附录1有关BCP方法和爆发检测算法的更详细描述。

将使用HealthMap和EIOS报告检测到的疫情间隔与使用fluet检测到的间隔进行比较，以计算灵敏度(EBS系统检测到的所有疫情在金标准数据中所占的比例)、阳性预测值(PPV, EBS数据中检测到的所有疫情在金标准中所占的比例)、特异性(EBS数据中未发生疫情的所有周的比例)、在此期间，在金标准数据中未检测到爆发)、及时性和及时敏感性，每个EBS系统按国家分别进行。及时灵敏度的度量描述了系统在传统监测系统之前或前后同时检测爆发的能力，在黄金标准中定义为EBS在爆发开始前后两周的窗口内进行爆发检测。我们在黄金标准数据中选择疫情爆发前后这一时间间隔的理由是，流感的肠易激综合征数据报告滞后通常超过2周;因此，这是EBS可能获得的时效性优势。此外，我们假设在金标准数据中可以在爆发前2周检测到真正的爆发，但不能早于此，以避免检测到假阳性。及时性定义为在检测到未检测到的爆发时剩余的爆发持续时间的比例[ 28]。

在上面的等式中，alert是指在EBS系统数据中检测到的爆发。n(周)是各个系统的研究总周数(HealthMap为341周，EIOS为109周)。准确性计算为正确分类的周数除以所有周数的总和。

我们进行了多变量回归，以确定特定国家因素(自变量)对绩效指标(因变量)的独立影响，同时控制模型中包含的所有其他因素。将高度相关的自变量从模型中剔除，直到方差膨胀因子低于保守阈值4 [ 29]。采用基于赤池信息准则的正向选择方法选取影响变量。通过检查最终模型的残差图，我们确认所有模型假设都满足。

作为解释变量的特定国家变量是数据收集期间媒体报道的总数、每周媒体报道的最大数量、全球区域(温带北半球、温带南半球或热带)、语言(官方语言英语是/否)、纬度、经度、人类发展指数(HDI)、新闻自由指数(PFI)、互联网用户总数和HealthMap过滤语言(是/否)。纬度和经度被分配到每个国家的质心。由于层次稀疏，乡村语言只能作为英语是否为官方语言的二元指标进行探索。地理作为一个分类变量(温带vs热带)和一个连续变量(纬度/经度)被探索。2018年的人类发展指数排名和2017年每个国家的互联网用户总数来自联合国开发计划署[ 30.]。2018年的PFI值来自 无国界记者组织［ 31]。PFI的范围从1到100，数值越低表示新闻自由度越高。所有回归模型均采用R软件3.6.3进行拟合[ 32]，包括软件包MASS版本7.3-51.6 [ 33]和glmnet 4.0版本[ 34]。效应估计报告为点估计和95% ci，和 P值仅用于方向。在2个敏感性分析中，我们选择了基于最小绝对收缩和选择算子回归的变量，并排除了FluNet数据质量较低的3个国家(尼日利亚、泰国和越南)。

将fluet实验室确认的7年流感阳性计数与HealthMap报告的6.5年和EIOS报告的2年进行比较。在大多数国家，fluet提供的流感阳性标本数量足够高，可以很好地区分流行期和非流行期。在尼日利亚、泰国和越南，由于检测人数和阳性结果较少，信噪比非常高。EBS信号的数量因国家而异，EIOS收集的年度报告比HealthMap更多，因为它汇集了来源( 多媒体附录2)。在12个国家(保加利亚、哥斯达黎加、厄瓜多尔、德国、希腊、伊朗、尼日利亚、沙特阿拉伯、南非、瑞典、泰国和乌拉圭)收集到的HealthMap报告很少，其中HealthMap没有过滤各自官方语言的新闻文章。

图2说明了选定国家的fluet、HealthMap和EIOS随时间的报告频率。经常报告的国家的健康地图报告通常与fluet数据中的流感流行相吻合(如阿根廷、印度、美国)。相比之下，EIOS报告似乎与FluNet计数不太同步，并且往往具有较低的信噪比。从这些图中可以明显看出，各国的流感活动和EBS信号存在很大差异。

总体而言，数据集中238例疫情中有22例(9.2%)是在金标准数据中疫情发生前后2周的时间间隔内检测到的。在24个国家中，HealthMap和EIOS分别在12个(50%)和19个(79%)未及时发现任何疫情( 图3)。HealthMap显示，保加利亚、英国和美国的疫情发现最为及时，7个国家中有2个(29%)分别发现了疫情。EIOS在法国和越南显示出50%的及时敏感性，对应于2次暴发中有1次及时发现，在巴西、瑞典和英国则为33%(3次暴发中有1次及时发现)。相比之下，EBS系统的灵敏度远高于及时灵敏度，HealthMap和EIOS分别在6个国家和9个国家的疫情爆发期间的任何时间检测到100%的疫情。然而，国家之间的差异很大。同样，PPV和及时性在各国之间也存在很大差异:HealthMap的PPV在4个国家<50%，在9个国家< 75%，而EIOS的PPV从哥斯达黎加的0%到伊朗的100%，8个国家<50%，8个国家< 75%。EIOS的及时性特别差，在15个国家中，在发现时剩余的疫情持续时间比例<50%。这意味着大多数EBS警报是在爆发进行到一半时发出的，此时可能会通过其他方式检测到爆发。

为了更全面地了解系统性能，准确度作为结合敏感性和特异性的度量来计算( 图3)。HealthMap的准确率在美国(81%)、厄瓜多尔和巴西(均为77%)最高，在沙特阿拉伯(47%)和越南(44%)最低。EIOS在巴西和俄罗斯(均为75%)、保加利亚和厄瓜多尔(均为72%)的准确率最高，沙特阿拉伯(46%)和越南(32%)的准确率最低。

作为一个说明性的例子，HealthMap在美国的评价指标一直很高，因为HealthMap报告与FluNet计数中反映的季节性流感流行很好地同步( 图2和 多媒体附录3)。在没有明确流感季节性的国家，如印度，HealthMap的及时性和敏感性低于美国(及时性:50%对94%，敏感性:55%对100%)，但由于高特异性(分别为88%对78%)，总体准确性没有显著降低(分别为76%对81%)。相比之下，EIOS在2018年非流行病季节在美国检测到许多流行病信号，这相对于印度的性能指标有所下降，在印度，EIOS的灵敏度相同(均为50%)，但特异性更高(分别为95%和69%)。显然，一系列特定国家的因素必然导致美国和印度在系统性能上的这些差异。

接下来，我们确定了与按系统分层的国家绩效指标变化相关的因素。由于不满足线性回归的假设，并且逻辑回归存在问题，因此不可能确定任何系统的及时敏感性预测因子，因为一些解释变量显示完全分离。指标中只有少量的变化可以由所检查的变量解释，如R²数值范围在0.144到0.587之间。在HealthMap ( 表1)，较高的敏感性与较高的报告总数和较高的HDI相关。新闻自由的增加(对应于较低的PFI)和英语作为官方语言与HealthMap的较低敏感性有关。环境影响评估系统灵敏度更高( 表2)与较高的纬度和较低的新闻自由独立相关。相反，较高的HDI降低了HealthMap的特异性，而增加的PFI降低了特异性。EIOS在热带地区的特异性明显高于温带地区。没有一个被检查的变量与HealthMap的PPV显著相关，而一个国家的纬度和PFI影响了EIOS的PPV。爆发检测的及时性与较高数量的报告、较高的HDI和HealthMap中纬度的增加以及较高数量的报告、较高的纬度和EIOS中英语不是官方国家语言相关。两种敏感性分析的结果与主分析的结果非常相似。

据我们所知，这项研究是第一个在全球范围内严格评估两个EBS系统HealthMap和EIOS的黄金标准，允许量化EBS性能的全球变化，并确定决定这种变化的国家特定因素。由于全球15个流感传播区的24个国家被列入季节性流感的多重暴发模式，因此保证了高度的普遍性。

我们引入了及时敏感性指标，以评估每个系统在传统监测系统之前或前后同时发现传染病暴发的能力。灵敏度与及时灵敏度的对比突出了系统提供信息的爆发比例(175/238,73.5%)与EBS可能导致早期发现的爆发比例(22/238,9.2%)之间的差异。这些结果表明，在EBS中监测报告频率可能不足以进行爆发检测，并且它们建议需要重新考虑如何使用EBS系统来实现跨国家及时爆发检测的假设。

由于我们记录了各国在敏感性、PPV和疫情检测及时性方面的显著差异，我们分析了几个协变量作为这种差异的潜在驱动因素。我们发现，收集的报告数量解释了两个系统的性能差异，而较高的HDI提高了HealthMap的灵敏度和及时性，但降低了PPV。EIOS绩效最重要的预测指标是一个国家的地理位置，具有更高的灵敏度、及时性和PPV，但在远离赤道的国家特异性较低，这表明EIOS在明确发现季节性流行病模式方面更好。令人惊讶的是，EBS过滤语言并没有被发现是国家间差异的决定因素。总体而言，结果表明，这两个EBS系统在高收入国家的表现最好，尽管这些系统未能及时发现这些国家的大量疫情。这些结果并不一定与EBS在检测埃博拉或登革热方面确实比传统监测系统具有及时性优势的发现相冲突。 12- 14]。

收集的报告数量对系统性能的重要影响可能是由于测量和未测量的因素。出乎意料的是，在我们的数据集中，报告总数与一个国家的HDI或PFI之间没有显著的相关性。可以解释这一发现的无法测量的因素可能是特定国家的新闻景观，新闻来源包括在由EBS系统过滤的新闻聚合器中，以及当地互联网的可用性和使用情况。随着低收入国家的联系日益紧密，使用社交媒体的机会出现了。例如，2014/2015年西非埃博拉疫情期间，回顾性研究表明，对Twitter活动的监测产生的警报比官方机构发出的警报更早[ 14， 35]。然而，使用社交媒体作为疾病监测的数据流带来了额外的挑战，例如社交媒体用户对普通公众的代表性有限，以及出现错误信息的可能性很大[ 36， 37]。

社交媒体监控是一种有趣的方式来补充当前的EBS [ 38， 39]，但从评估的角度来看，在分析组合数据源之前，必须先了解单个数据流的性能。由于收集的报告数量对系统性能有重要影响，因此为报告数量设置阈值以提醒EBS系统用户可能是一个值得探索的有趣方法。例如，为了使信息上下文化，可以标记基于低报告数的警报，并提供一个警告，即EBS系统信息可能不可靠，因为它基于的信息太少。

虽然有许多方法可以实现一般疾病的数字监测和流感的数字监测[ 40， 41，我们特别关注了基于数字新闻媒体的2个EBS系统的效用。我们重点关注这些系统，因为它们在国际和许多国家的公共卫生实践中经常使用。鉴于其经常使用，重要的是建立健全的证据基础，以指导其有效实施和运作。除了EBS之外，还提出了许多其他数字疾病监测方法，包括监测基于网络的搜索查询、社交媒体或专门针对流感的参与式在线系统。虽然其中一些方法已经引起了人们的注意，但它们并没有广泛应用于公共卫生实践[ 42]。谷歌Flu Trends就是一个例子，这是谷歌研究人员开发的一个系统，使用基于网络的搜索查询来预报区域流感活动，该系统被发现与肠易肠综合征系统密切相关，并能准确预测流感样疾病的发病率[ 5]。然而，谷歌流感趋势在未能发现甲型H1N1流感大流行并高估2012-13年流感季节后被终止[ 40， 41， 43]。在多项研究中，监测社交媒体(主要是Twitter)也显示出预测疾病爆发的潜力，并且与肠易激综合征数据有很好的相关性[ 44， 45]，但它的使用一直是零星的，通常集中在大型聚会上。

在为数不多的量化EBS系统性能的研究中，Barboza等人[ 46发现HealthMap在全球范围内平均比黄金标准提前12天检测到H5N1疫情，检出率为43%，PPV为12%(而我们的研究分别为75%和66%)。差异可能是由于研究设计的不同，因为该论文的作者将H5N1暴发的第一份报告作为流行病的起点，并使用了不同的金标准。有趣的是，在同一项研究中，作者通过汇总来自6个来源的数据来模拟虚拟系统并评估其性能[ 46]。该虚拟联合系统对H5N1暴发的检出率达到93%，但PPV检出率仅为7%，而eios的平均灵敏度较低(73%)，但平均PPV较高(60%)，在我们的研究中实现了一个联合系统。在另一项研究中，Barboza等[ 18]还确定了系统类型、过滤语言、爆发地区和传染病类型是系统性能的决定因素，但没有评估这些决定因素的影响如何因国家而异。

尽管在EBS系统的其他评估中使用了流感[ 46]，由于流感具有明显的季节性、高流行率以及因此可能缺乏新闻价值，因此这种评估的结果推广到其他传染病暴发的程度是有限的。此外，流感与其他感兴趣的疾病(如普通感冒)共享数字疾病检测的重要关键词。因此，我们预计我们的结果可能会低估EBS的表现，因为通过EBS检测流感等常见感染的爆发可能比通过EBS检测埃博拉等不太频繁但更有新闻价值的传染病更困难。事实上，由于EBS检测机制可能在更普遍的传染病之间有所不同，我们建议将本研究作为蓝图，对检测其他类型疾病的EBS系统进行单独的性能评估。例如，在埃博拉等出血热的情况下，由于报告延迟大和数据可用性差，EBS系统在检测方面可能比传统监测系统更领先。 13， 14， 47]。然而，由于疫情数量少，而且金标准数据的可用性有限，特别是在疫情早期，对出血热等疾病的EBS定量评估受到阻碍。由于这些原因，并且考虑到EBS评估研究的数量较少，我们的目标是首先通过使用具有足够报告数量的疾病来进行有效的统计推断，从而提高对EBS性能的理解。通过fluet进行的传统流感监测提供了这种高报告数量和几乎全球覆盖的黄金标准。

然而，fluet在此评估中存在一些局限性。最值得注意的是，这些数据中没有明确标注流行病间隔;因此，我们必须应用统计方法来检测流感爆发，允许在金标准数据中标记这些间隔。虽然这种方法似乎对大多数国家都很有效，但在尼日利亚、泰国和越南，由于报告的病例数量少，而且这些国家的流感活动本来就比较不规律，因此效果并不好。此外，由于流感统计只代表寻求医疗保健的人数，流感活动的总量被低估了，卫生保健资源和监测活动的差异可能会影响报告的标本数量。更复杂的是，一些国家在流行病期间修改了它们的检测和监测战略[ 48]。例如，法国仅在每年的10月初至5月初向国际卫生组织报告流感病例。

用于评估EBS的其他金标准数据的例子包括疾病控制和预防中心流感样疾病监测网络[ 5]，世卫组织报告H5N1 [ 46]和疾病控制与预防中心的黄皮书[ 12]。所有这些数据都依赖于卫生保健寻求行为或卫生保健提供者的被动报告。此外，世卫组织和黄皮书报告由于需要国家当局的正式通知而出现延误。事实上，人们可能会争辩说，不存在针对流感(或任何其他疾病)的适当黄金标准，因为所有肠易激综合征系统都受到延误、多报和少报的影响[ 49， 50]并经常只记录那些寻求医疗护理的病例[ 51]。由于没有一个可靠的黄金标准来比较EBS系统的性能，不仅会导致多个系统的评价指标出现差异，而且在不同疾病和地区比较同一系统时也会出现问题。考虑到确定合适的金标准所面临的挑战，我们认为FluNet是一个合理的选择，因为它显示了良好金标准的许多特征:(1)流感病例是实验室确诊的，因此FluNet具有高度特异性，并且病例的PPV很高。对于确定疫情的开始和结束，这些特征比敏感性(即绝对病例数)更重要，因为实验室确诊病例数准确反映了疫情期的开始和结束点，这是本案例中金标准感兴趣的信息;(二)病例数足够高，能够作出有效统计推断的;(3) FluNet数据涵盖广泛的国家，可以在许多区域和季节进行测量;(4)我们的回顾性数据提取避免了由于数据延迟和更正而引入的错误。此外，我们选择应用的自动流行病检测过程可能与EBS系统在实践中的使用方式不同。然而，检测BCP爆发是一种查看报告频率的标准化方法。

系统性能的变化可以探索，但是有限的。由于只有24个国家的数据，在进行回归时，在分类变量中每一类的自由度和国家数量都很少。因此，不可能在每一种情况下理清所有变量的影响。

最后，将每日EBS报告汇总为每周计数是影响我们确定及时敏感性的能力的一个重要限制，但有必要保证与金标准数据的可比性。同样，由于EBS数据是按国家汇总的，因此它们没有捕捉到国家内部的任何区域差异。这对于不连续的大陆和跨越不同气候区域的大国(如巴西和中国)来说尤其成问题，因为它们具有不同的流感流行特性[ 48]，但又有必要保证可比性。

正如SARS-CoV-2大流行所表明的那样，传染病将继续是全球卫生安全的主要风险。这项研究的结果可以帮助指导开发更好的EBS，以防止未来的大规模爆发。从本研究中较差的及时爆发检测表明，EBS的使用和评估需要进一步发展。

我们的分析记录了不同设置的性能差异。根据现有的常规公共卫生监测、相关基础设施和媒体情况，EBS目前在某些情况下是有用的，特别是在高收入国家，用于季节性流感流行监测。需要作出努力，更好地了解通过EBS检测疫情的决定因素，特别是在低收入和中等收入国家，因为发现目前的EBS系统在热带地区和人类发展指数较低的地区存在劣势。在未来的研究中，应探讨由EBS偏见造成的不平等，如媒体和互联网覆盖率低以及热带病的低新闻价值，并应通过EBS的进一步发展来满足资源贫乏地区的需求。