官方流感样疾病急诊科就诊次数(ILI-ED)来自纽约市政府发布的《每周流感监测报告》[ 30.］．这些报告被编成每日细目。ILI病例的数据使用光学绘图阅读软件(WebPlotDigitizer [ 31])，由每个日值的像素计数验证。纽约市的总计数数据和每个行政区的计数数据是通过这种方法确定的。之所以采用这种方法，是因为纽约市卫生部无法提供其他数据。

谷歌Trends提供给定地理区域内用户进入谷歌的查询量的时间序列索引。查询索引基于查询份额:特定地理区域内有关搜索词的总查询量除以所检查的时间段内该区域的查询总数。最大查询归一化为100，在检查的初始日期的查询共享归一化为零[ 7］．该查询共享也随时间变化。在我们的模型中，使用的搜索查询是“流感”、“抱怨”、“流感”和“高烧”。根据我们的调查，这些问题给出了最高的信号。更重要的是，这些准确的关键词也被用于tweet收集，作为比较的基础。谷歌提供州和(有限的)城市搜索的每周数据。必须通过查询重叠时间段的搜索量，并沿时间序列按比例调整查询索引来提取每日数据。这些趋势数据都是在一天内(2013年5月11日)下载的，因为谷歌会随着时间改变信号显示。值得注意的是，这些数据与每周谷歌流感趋势(GFT)数据不同，后者不提供每日细分数据，也未用于本研究。话虽如此，GSQ可能会成为GFT的潜在代表。 When comparing the 7-day GSQ volume totals with GFT weekly volume hits, their correlation coefficient was .78 between September 23, 2012 and May 5, 2013.

使用Twitter Streaming API，从2012年10月15日到2013年5月10日收集地理编码的推文;与Broniatowski及其同事建议的方法不同，我们的方法不涉及将流感相关的推文与每周或每天的推文总数进行标准化。之所以没有这样做，是因为我们看到了每天推文的基线数量的变化，而且每天的推文量很低(高峰季节从0到120条推文不等)。

这些推文是根据地理边界框(40.44，−74.93)到(41.12，−72.63)选择的。选择这个窗口是为了计算从新泽西和长岛通勤到纽约市的人。假设将边界框移到离城市更远的地方，推文的信号位置不会发生显著变化;然而，更大的区域将允许更大的推文量进行分析。为了确定tweet是否在感兴趣的框架内，首先检查tweet的纬度和经度。如果缺少tweet位置，则使用配置文件的纬度和经度。用户还可以为他们的个人资料定义一个基于文本的位置，但这些推文无法可靠地确定是否在边界框内，因此被排除在外。Dredze等人开发了“Carmen”系统，该系统通过交叉引用定位关键字到数据库来对推文进行地理定位，但将带有GPS戳的推文与定位于更广泛区域的推文进行比较仍然存在困难[ 32］．

然后将关键字过滤器应用于我们的推文集合:“flu”、“gripe”、“influenza”和“high fever”是不区分大小写、有单词限制的包含字符串。“Avian”、“stomach”和“bird”是排除字符串。虽然本研究的目的不是优化关键词选择，但进行了初步研究，以观察添加其他ILI症状和药物的包含词对信噪比的影响。Ginsberg和同事们使用线性回归模型系统地构建了一组45个重要的谷歌流感趋势关键字[ 5］．Kim等人在韩文Twitter上也使用了类似的方法[ 12］．然而，最佳关键字随着时间和地理区域的变化而变化，因此我们的方法专注于获得一个既强又具体的信号，而不关心下一个最佳关键字的边际值的递减。我们的搜索范围很广，足以涵盖前11个与ili相关的搜索查询主题，这些主题将谷歌流感趋势45个关键字分组。

收集过滤后的推文后，所有2972条推文都被手动管理。来自同一用户的重复推文首先从数据集中删除。然后，我们使用Lamb等人建立的模型创建了推特分类的类别[ 33]:相关(R) vs不相关(Ir)，意识(A) vs感染(I)，自我(S) vs他人(O)。此外，添加了第四个选项(Lamb等人不包括)来标记高(H) vs中(M) vs低(L)——对受试者提到生病概率的猜测。这个分类可以通过对主题生病的真实性进行排序，帮助区分讽刺推文和严肃推文。germTracker和CrowdBreaks也利用用户对主题疾病的猜测来利用基于人为的推文分类[ 34］．

所有推文在与日期分离后都被贴上标签，以防止预期的常规流感季节对分类产生偏见。这些类别被分为12个四字母代码和一个无关推文的额外代码。总体而言，相关感染-自高/相关感染-自中(RISH/RISM)和相关感染-其他高/相关感染-其他中(RIOH/RIOM)构成了流感或流感样症状人群的推文;相关-感染-自我低/相关-感染-他人低(RISL/RIOL)分组推文针对正在康复的人群;相关意识-自我高/相关意识-自我中(RASH/RASM)通常将对流感疫苗有负面反应的人的推文分组;相关意识-自我低(RASL)对流感疫苗和成功接种的推文进行分组;相关-意识-他者-高/相关-意识-他者-中(RAOH/RAOM)指不同程度的新闻媒体警示;以及关注公众健康意识和治疗的相关意识-他人低(RAOL)分组推文。这个方案的例子可以在 多媒体附件1．

这项研究中使用的推文是公开分发的。用户必须签署Twitter条款和协议，并同意公共隐私设置，才能同意阅读这些推文。由于该项目不符合人体受试者研究的标准，因此获得了IRB的豁免审批。然而，出于这项研究的目的，推特用户的id没有被收集，所以每条推特实体都保持匿名。随后的分析依赖于推文内容、推文频率(聚合)和推文位置。

计算推文计数的时间序列，首先评估数据的质量。我们将收集到的90%以上的推文归类为相关推文。大多数推文都是关于自我(S)，关于被感染(I)或有ILI症状，并被列为受试者患病的高概率(H)，如图所示 表1．这些Pearson相关值对应于2012年10月15日至2013年5月10日的推文。

然后将每个时间序列，包括GSQ时间序列，与ILI数据进行比较并进行排名(见 表1)．2012年10月15日至2013年5月10日期间，感染、RISH和相关组和亚组与金标准ILI数据的Pearson相关性较高。 图1说明了上述与ILI数据的关系。

图2说明了GSQ和Twitter数据之间的比较，两者都与ILI进行了比较。请注意，GSQ和Twitter“意识”时间序列之间的Pearson相关性为。934。2013年1月10日，波士顿宣布流感进入公共卫生紧急状态。

为了比较Twitter、GSQ和ILI时间序列数据集，我们首先使用带有EVIEWS-7统计包的增强迪基-富勒(ADF)检验来确认单位根的存在。然后调整每个数据集以满足平稳性测试。在执行一阶差分之前，数据集在1%显著性水平上不是平稳的( 表2而且 3.)．

然后对时滞数据集进行Englemen Granger协整检验。建立协整性和平稳性允许在我们的回归模型中确定一致估计量。我们的方法存在一个缺点:没有测试季节性，因为可用的数据只包括一个季节。关于工作日效应和为什么周周期项不包括在模型中的讨论可以在 多媒体附件2．

第一个AR模型结合了感染时间序列数据和第一周14天的滞后ILI数据。时间滞后反映了在公开报告更新的ILI-ED访问计数方面的实际延迟。模型和结果如图所示 表4．注意mu和在后面的模型中分别表示误差和漂移。

模型1:ILI= 米₁伊犁(−14)+ 米₂感染(−1)+ 米_3. μ(−1)+ ε

上述模型的结果表明，时滞ILI数据对预测不显著。这说服我们修改模型，只纳入感染推文时间序列数据。在整个7周内，感染推文时间序列的最佳模型有以下形式:

模型2:ILI= α₁感染(−2)+ α₂ μ(−1)+ α_3. μ(−2)+ ε

我们对GSQ数据重复了相同的过程，构建了一个模型，将第一周的GSQ数据和ILI滞后数据结合起来。结果列在 表5．

模型3:ILI= β₁伊犁(−14)+ β₂gsq(−3)+ β_3. μ(−1)+ β₄ μ(−2)+ ε

我们再次发现滞后的ILI数据不显著，并将其从后续的GSQ模型中剔除。对于谷歌搜索查询数据，构建以下模型，通过调整时间序列滞后来优化其预测得分。

模型4:ILI= γ₁gsq(−3)+ γ₂ μ(−1)+ γ_3. μ(−2)+ ε(第一、第二周)

模型5:ILI= γ₁gsq(−4)+ γ₂ μ(−1)+ γ_3. μ(−2)+ ε(第三至第七周)

两个GSQ和Twitter感染模型然后通过它们的平均绝对百分比误差(MAPE)进行比较 表6)．数据显示，与GSQ数据(5.5、15.8、12.4和11.3)相比，Twitter在1月份前4周的MAPE得分较低(4.7、6.9、11.8和10.4)。

使用感染推文时间序列进行时间预测的平均MAPE为8.4。 图3演示了使用1月份感染推特时间序列(模型2)的ILI预测。

根据回顾性分析[ 37]，在北布鲁克林发现了RISH推文的主要时空集群[ 38]在2012年11月24日至2013年3月11日期间，相对风险为2.74 (RISH to control RISM)，显著性为 P<措施。2013年1月8日至15日之后一周的前瞻性矢量图可以在 图4．

这项研究的主要目的是评估推特数据在预测纽约市每日当地流感病例方面的强度。我们使用关键字过滤器和位置过滤器选择Twitter数据的方法返回了一个包含90%以上相关推文的数据集。每日感染推文显示与每日ILI访问量的相关性最高( R=.763)为2012-2013年期间。虽然我们认为RISH类别最清楚地识别了疾病的个人账户，但与ILI的相关性并不像仅使用感染推文保护伞那样强( R= .689)。这可能是因为感染汇总了来自个人和其他人的报告，以便更好地反映基于症状进展水平的不同确定性水平的流感病例总数。与RISM和RIOH的相关性(.542)相比，RISL组的相关性较低(.542)。616而且.655), however, still are consistent with the evaluator guess in the classification scheme.

推特数据(感染和RISH)显著优于每日GSQ数据( R=.683)与2012年10月15日至2013年5月10日ILI日访视的相关性。从质量上看，这些结果与我们的预期一致。Twitter允许提取与感染相关的推荐信息。这些感染推文比意识推文更能预测潜在病例( 图1)和GSQ数据，两者都不能区分因意识而搜索或因感染而搜索的人。事实上，GSQ类似于Awareness tweets ( 图2)，相关系数为。934。在临近的1月10日波士顿宣布公共卫生紧急状态后，这两个数据集的数据量立即大幅增长(约600%)(纽约州在2天后宣布进入紧急状态，也出现了激增)。谷和同事在分析2013年中国H7N9疫情时注意到，在媒体发布后，Twitter上的公众关注度也出现了类似的飙升，前3天的影响最为明显[ 39］．从公共卫生的角度来看，对媒体反应的意识反应提供的信息要么是夸大的，要么是已经确定的，要么两者兼而有之。感染推文更有相关性，因为它们表明了当前可能的病例，而不一定是医院网络所考虑的。这并不是完全不考虑意识推文。事实上，与意识相关的推文仍然可以提供关于疫苗接种的重要见解。相关、意识和自我类别的数据表明，人们在推特上发布流感疫苗时可能已经太晚了 图2在 多媒体附件2)．虽然从10月到12月有一些信号，但关于流感疫苗的推文在流感高峰期附近达到峰值，此时这些推文的使用者可能已经接触过病毒，免疫力下降。推迟接种疫苗可能导致了高峰季节强度的增加。

在考虑时间预测时，感染推文的表现优于GSQ数据。虽然对非流感高峰期的预测具有可比性，但MAPE在2013年1月6日至2月23日之间的差异很明显，其中包括流感季节的峰值和最高波动。感染推文模型的平均MAPE为8.4，而GSQ模型的MAPE为11.8。重要的是，现有的和官方发布的滞后ILI数据在预测实时ILI病例方面没有统计学意义。这进一步强调了对替代实时数据源(如Twitter)的需求。

时空分析也提供了有价值的见解。特别是，在11月至3月的时间段内，在布鲁克林北部发现了一个高概率患病推特用户与中等概率感染推特用户比例较高的主要集群。该集群包括巴克莱中心和大西洋大道终点站，这两个地方都是人群聚集和通勤的地方，因此感染和/或传播流感的可能性增加。目前还不确定是什么因素导致了高可信度感染推文的倾向增加，或者引引性地说，是什么因素导致了该群体中疾病的增加。纽约市卫生局确实有每个行政区的每日时间序列数据(见 图3在 多媒体附件2)．布朗克斯区、曼哈顿区、布鲁克林区和皇后区在整个纽约市的ILI-ED就诊人数中都倾向于遵循类似的趋势;在2013年1月8日至1月18日期间，这四个区都出现了流感就诊高峰。斯塔顿岛的报告少得多，也没有可见的山峰。在行政区一级聚合卫生部的时间序列数据可能不会立即揭示潜在集群的知识，例如SaTScan使用地理编码的推文在布鲁克林北部识别出的集群。前瞻性模型，如本研究中的一个(见 图4)，由于缺乏地理金标准数据进行比较，尚未得到验证。然而，我们相信这种表示在证明一种可能的局部扩散模型时是有用的。

这项研究面临着一些局限性。对推文进行分类强调，文本解释是一项艰巨的任务，需要具有相关语言和感兴趣地区上下文知识的人类口译员。识别俚语、拼写错误、Twitter词汇、内部引用、时事、意图和推文情绪的能力，为机器学习算法、经验丰富的研究人员和合同数据分类器提取意义和情绪设置了很高的门槛。对于推文密度较高的大都市地区，多种语言可以发挥作用。例如，“gripe”在英语中是抱怨的意思，但在葡萄牙语和西班牙语中是流感的意思;这也是法语中“grippe”的拼写错误。此外，这些推文仅用英语和西班牙语进行了查询。在推文量已经很低的情况下，需要捕捉其他语言，如意大利语、葡萄牙语、马来语和他加禄语，以完善模型。当涉及到定性编码时，检查评分者之间的可靠性是关键，因为这个过程本质上是主观的。我们正在附加数据集 多媒体改进分类方案的反馈。

这里使用的分类方法也是手动的，关键字的选择没有通过从大量关键字中迭代删除来优化。也就是说，我们的目的并不是为了获得最高的相关值，因为最优的关键词在时间框架和地区是不同的。虽然此处使用的手动方法具有消除自动分类可能导致的假阳性/阴性的优点(正如通常报道的那样[ 40])，这种方法的折衷在于分析速度。自动分类器已经取得了成功，并且可以对其进行训练，以包括本研究中的其他流感搜索策略(参见 表1在 多媒体附件2)以提高速度和准确度。这些基于规则的启发式补充了Paul等人的分类器发现的日益增长的基础[ 33]和Nagel等人[ 41，它显示了单词袋、URL网址、转发状态、表情符号和推文的语法组织，作为疾病的指标。

最后，建模方法存在局限性。对于时间建模，在时间序列分析中没有考虑季节性因素。这是由于缺乏回顾性ILI和Twitter数据访问。由于流感是周期性的，季节性问题在预测流感高峰的几周是极其相关的。对于空间模型，地理编码的推文数量很少，这对分析的能力有明显的限制。虽然纽约市的许多推特用户可能也在推特上说他们生病了(没有地理编码)，但目前还无法通过可用数据验证他们确实是在纽约市内发推文。然而，地理编码的推文预计在未来几年还会增长，随着这种增长，有可能会有更高的统计能力[ 42］．此外，Carmen和其他文本挖掘方法正在考虑提高非gps的、基于位置的数据的保真度[ 32， 43］．根据我们的调查，纽约市的地理编码推文数量最高(占推文总数的2-3%)[ 42)，因此尚不清楚这里使用的模型是否适用于数据不那么普遍的其他城市。令人鼓舞的是，在这个案例研究中，推文的数量在统计上发现了显著的时空集群和时间自相关性 P=。002年和 P=。01levels respectively based on the sample. But even with increased geolocation of tweets, when it comes to tracking disease within cities, two obstacles remain: how to verify tweet content, and how to account for tweeter mobility to treat Infection tweets as footprints rather than static incidents. Interactions with the disease could result from interactions within familiar networks of people or from commuting across vast environments.

这不是第一个证明Twitter在预测流感病例方面的相关性的研究。Broniatowski和同事最近对纽约市Twitter的研究可以作为时间分析的比较基础[ 24］．他们的感染推文算法发现，与这里的方法相比，感染推文与ILI访问的相关性更强( R=。88vs R= .763)。然而，Broniatowski等人更简单的关键字过滤算法与ILI访问量的相关值较低( R=标识)。然而，这些比较并非如此 其他条件不变．本研究将日数据而非周数据进行关联，首次考察日数据在城市层面是否具有足够的信号。也不清楚他们的算法中使用了哪些关键词，以及如何比较没有MAPE分数的预测模型对给定周的预测ILI数的预测。

从时空的基础上，考虑这项工作如何与Sadilek等人提出的框架相关联是很重要的。 44］．这里的方法试图简单地根据特定地区的推文密度绘制地理风险图。我们的模型表明，与高密度RISH推文共存意味着感染疾病的风险更高。Sadilek和他的同事们已经在他们的模型中加入了与社交网络中的人进行托管。我们的回顾性和前瞻性模型缺乏协变量来衡量这种网络交互，因此留下了改进的空间。与此同时，公开可用的地理编码推文数量有限，这可能表明这样的框架很难在短时间内在市政层面实施。

最后，我们看到了Lamb等人通过包括评估者猜测来改进分类方案的途径。这个因素可以解释推特人的讽刺、语气和自信。这一因素在为病例与对照组“生病”推文的时空分析建立基础方面也至关重要。

这项研究提出了几个主要的结论。这是第一个将每日城市级别的推特数据作为预测纽约市ILI急诊科实时访问的手段的研究。它还提出了一些有用的模型，可以利用地理编码的Twitter数据来了解潜在的疾病热点(如巴克莱中心和大西洋大道终结点)，因为它们在整个流感季节都在移动。这些信息将与考虑疫苗接种地点的可用性和可及性以及监测持续的疫苗接种率有关。Twitter还可以通知公共卫生官员当地即将到来的疾病负担。公共卫生官员已经使用SaTScan和电子病历(EMR)数据来跟踪疾病在空间和时间上的异常爆发。现在，Twitter可以从个人报告中提供加权的潜在案例来改进这些模型。当无法通过其他方式获得超本地确认的流感病例数据时，Twitter提供了一个实时信息数据源。这些信息可以被过滤以选择特定于感染的推荐，作为一个数据集，它优于来自谷歌Trends搜索查询的混合意识的每日数据。这些数据还可以在独特的前瞻性模型中加以利用，以预测ILI在空间和时间上的趋势(参见中图5) 多媒体附件2)．

展望未来，定义本地化的阈值将是至关重要的，Twitter可以成为一个有用的预测数据集。为了让Twitter数据得到验证，黄金标准公共卫生数据必须更容易获得。在纽约市行政区测试流感病例的相关值，开始显示Twitter在本地ILI-ED预测方面的能力的局限性(见图7) 多媒体附件2)．随着未来几年移动设备和社交媒体活动的预期增长，我们期待在数据驱动的流行病学不断增长的领域中，从Twitter获得新的挑战、见解和应用。