由疾病控制和预防中心(CDC)建立的监测系统，以及通过国家监测，有可能降低疾病引起的发病率和死亡率，并改善健康状况;然而，它们的效用尚未得到证实[ 1］．传统上，对疾病发病率和流行率的监测是持续和系统的，通常依靠临床医生、化验室或急诊科报告的实验室确诊病例。在报告病例和将数据汇编成监测报告之间，往往存在1至2周的时间延迟，这影响了卫生部门对可能暴发的疫情的反应。

在过去十年中，互联网作为公共卫生信息来源的潜力并没有被忽视。据推测，日常使用非正式电子信息(通常是用户生成的)可以减少识别疫情所需的时间，防止政府压制疫情信息，并促进公共卫生干预[ 2］．随着社交媒体网站越来越受欢迎，人们公开分享他们日常生活的许多方面，依赖于使用实时数据以对潜在疫情提供快速分析和反馈的综合征监测系统现在有了新的数据来源[ 3.］．信息流行病学是一个新兴领域，在基于互联网的场所上，用户生成的数据使挖掘、汇总和分析文本成为可能，从而为公共卫生从业人员和公共政策提供信息，这是一个应用于疾病爆发检测的新兴领域[ 4］．信息监视，从信息流行病学收集的信息被用作一种监视方法[ 4]，可用于加强综合征监测，并可应用于流感活动。

在疫苗可预防的疾病中，季节性流感对美国成年人的影响最大[ 5］．虽然流感病毒的症状与普通感冒相似，但感染流感病毒可导致不同程度的严重症状，易感人士可因此死亡[ 6］．根据2007年的一项研究，每年成人流感造成的国家经济负担可达833亿美元[ 7］．虽然流感病毒的性质不断变化，每年都有新的流感季节来源，但用传统的监测方法几乎不可能预测感染的发病情况和受影响的人数。通过实施一种补充监测工具，重点关注从社交媒体收集的实时趋势，并快速发布这些数据，公共卫生机构可能会做好更好的准备，并能够遏制社区中可能使人衰弱的疫情。

最近的疾病监测网站是Web应用程序的混合体，能够挖掘、分类、过滤和可视化流行病信息，同时实时使用地理信息系统(GIS)，从而最大限度地减少延迟并不断更新[ 8- 14］．由波士顿儿童医院组织的HealthMap每天有1000至15万用户，以多种语言提供与世界各地所有类型疫情相关的公共卫生报告的实时更新[ 2］．互联网上的社交媒体也比传统方法更快地发现食源性疾病的爆发，因为许多受影响的人选择不就医，而是在网上公布他们的症状[ 15］．谷歌流感趋势收集了谷歌中与流感症状、治疗方法和并发症相关的5000万个最常见的搜索查询，并将其与疾病预防控制中心报告的全国流感样疾病(ILI)率进行比较[ 16］．使用互联网的好处是多方面的，因为这些互联网工具可以帮助公共卫生官员强调疫苗接种和预防措施的重要性，或指导医生做出医疗决策[ 2］．然而，信号缺乏特异性、数据嘈杂、虚假报告以及药品召回或流行感冒或流感药物等不寻常事件会导致工具使用不相关的数据，从而导致分析过程中的不准确[ 2］．

微博网站Twitter在预测票房收入、地震报道、表情包追踪、大规模火灾突发事件、服务宕机、实时流量更新、国家情绪、货币交易等方面已经显示出了自己的价值。 17]，甚至选举结果[ 18］．Twitter上的实时更新在许多领域都很有用——无论是增加知识，预测消费者趋势，还是确定用户在讨论什么。例如，密歇根大学的研究人员能够使用推特作为一种工具，通过收集推特，并根据患病率、生活方式影响、语言和自我报告偏头痛的时间线对其进行分类，发现该研究避免了记忆偏差和实验诱导的错误，并突出了偏头痛口语化，因为它们与偏头痛患者使用的现代特征和描述有关[ 19］．

已经进行了多项研究来寻找推文和ILI数据之间的相关性，但搜索范围往往非常广泛。一项研究分析了8个月期间的5亿多条推文，发现跟踪少量与流感相关的关键词和关键词组合可以预测未来发病率，相关性为95% [ 20.］．Signorini等人还发现，Twitter可以被描述性地使用，作为确定用户对流感的兴趣和关注的一种方式，并可以捕捉实时的疾病活动[ 21］．在甲型H1N1流感大流行期间，英国在24周内收集了数十万条推文，以搜索与症状相关的陈述[ 22］．事实证明，这种方法既便宜又及时，因为它利用了仅在几个小时内创建的数据流，而传统监测需要1至2周才能发布报告;然而，如果目标是使用Twitter作为流感预测工具，就有必要将媒体炒作和讨论与实际流感病例的报道分开。 22］．Chew和Eysenbach在对2009年H1N1流感爆发期间的推文进行内容分析后得出了类似的结论，他们发现超过90%的推文链接到主流和地方新闻网站，但链接到更基于观点或经验的网站(博客、社交网络、网页)的比例也随着收集时间的推移而增加[ 23］．

这项研究建立在圣地亚哥州立大学地理系先前进行的探索性研究的基础上，该研究表明，社交媒体信息和搜索的内容与2012-2013年美国流感季节的实际流感监测报告相关[ 24］．本研究的目的有三个。第一个目标是通过使用机器学习分类器和基于关键字的搜索技术来过滤推文，使其更加“有效”，从而研究提高Twitter社交媒体内容与传统哨点ILI监测报告之间相关性的能力。其次，我们试图将社交媒体内容中提及流感的内容与急诊科的ILI记录进行比较，第三，进行一项小型试点研究，将与流感相关的推文与加州圣地亚哥实验室确认的流感病例进行比较。与之前使用Twitter和流感监测的研究不同，我们的研究的独特之处在于，我们将特定城市的ILI率与来自该城市的包含“流感”一词的推文进行了比较，从而关注特定城市的相关性。通过将一个城市的推文与该城市特定的ILI率进行比较，我们能够在比以往研究小得多的范围内查看流感的传播趋势。

使用Tsou等人创建的地理定位社交媒体搜索工具[ 18]，信息挖掘可与Twitter搜索应用程序编程接口(API)一起进行。Twitter拥有超过2亿活跃用户，是一个以数百万条推文形式公开可用数据的巨大资源。通过首先指定一个关键字，研究小组的框架结合Twitter API生成一个Microsoft Excel电子表格，其中包含来自特定地理位置(由用户的全球定位系统坐标决定，如果启用，则由列出的家乡决定)的推文，并通过推文文本或用户名与关键字关联。电子表格还包括其他数据，包括创建推文的时间、发推文的位置、如果是对话的一部分，则推文指向谁、关注者的数量、关注发推文的用户的人数，以及该用户的推文总数。这项研究感兴趣的是推文的文本和发布推文的地理位置。

根据我们之前的研究，没有转发的推文和没有包含关键词“流感”的推文，与“流感”等其他词语相比，与哨发流感监测的相关性要高得多[ 24]，包含关键词“流感”的推文从2013年8月25日开始，到2014年3月1日结束，每7天收集和汇总一次。推文收集自11个不同城市(波士顿、芝加哥、克利夫兰、哥伦布、丹佛、底特律、沃斯堡、纳什维尔-戴维森、纽约、圣地亚哥和西雅图)中心17英里半径内的用户。推文的收集半径为17英里，因为这是两个相邻城市之间的最小距离，因此确保了推文在原始城市没有重叠。选择这些城市是因为它们有来自市或县卫生部门的哨点流感样疾病(ILI)监测数据。流感样疾病的定义是发烧等于或大于100华氏度，咳嗽和/或喉咙痛，除流感病毒外没有其他已知原因。ILI是指一周内出现ILI症状的患者与所有就诊患者的比例[ 25］．由于疾病预防控制中心不报告州一级以下的ILI数据，ILI报告是在县或市一级卫生部门的网站上找到的，圣地亚哥是通过圣地亚哥县卫生与公众服务部的联系人找到的。在五个城市(波士顿、芝加哥、克利夫兰、哥伦布和圣地亚哥)的子集中，收集了哨点ILI和急诊科ILI。

在收集期结束时，有159,802条推文包含“流感”一词，并用于过滤和分析。根据不同城市的ILI数据，重点是2013年第40周至2014年第9周(2013年9月29日开始的一周至2014年3月1日结束的一周)的推文，由CDC的发病率死亡率周报(MMWR)确定。计算每周产生推文数与相应市县部门报告的每周哨点ILI或急诊部门ILI之间的相关性和相关值的显著性。

针对每个城市包含“流感”的推文，在R (R统计计算基金会，维也纳，奥地利，版本3.0.0)中计算了特定周推文量与流感样疾病发病率之间的Pearson相关系数。推文也被细分为不转发、转发、没有URL的推文和有URL的推文。这些分类并不相互排斥，例如，非转发的推文可以包含有URL的推文，也可以包含没有URL的推文。这样做是为了确定基于推文类型的相关性是否更高。皮尔逊相关系数是一种简单的方法，可以将推文组与ILI进行比较，并且可以很容易地识别出未来对信息监视最有用的推文。研究人员还计算了每个城市每周的推特率，即每10万人发推文的数量。为了确定每个收集推文的城市的人口，确定了中心位于市中心17英里半径内的人口普查区，并统计了它们的人口数量。每周比较每个城市的“流感”推特率，并通过柱状图可视化，柱状图还显示了每个城市每周报告的ILI率。按人口划分的目标是观察流感活动在不同城市是否会有不同的趋势。

另外，用Python (Python Software Foundation, Delaware, USA, version 2.7.6)及其“scikit-learn”软件编写了一个机器学习分类器。我们使用支持向量机(SVM)分类器从数据集中过滤掉噪声。为了训练分类器，我们使用了2012-2013赛季随机采样的1500条包含关键词“流感”的推文作为输入。这1500条训练推文中的每一条都被人工检查，并根据它们表明实际流感病例的可能性标记为有效或无效。使用他们的词频-逆文档频率(TF-IDF)分数将这个手工标记的训练集转换为向量表示，这是文本文档中每个术语的统计显著性的衡量标准。然后将这些TF-IDF向量输入支持向量机进行训练。用户名包含“流感”一词的用户发布的推文会被删除，因为这些推文的收集与推文内容无关，并且会在样本量中引入噪声。被确定代表可能患有流感的用户的推文被标记为有效，而其他没有得到最低分数的推文则被归类为无效，因此在进行相关性分析之前将其删除。中列出了被算法标记为有效或无效的推文类型的示例 表1。

为了评估分类器，我们手动标记了一个包含1000条推文的测试集，并运行分类器以获得两个性能指标:召回率，测试集中手工标记为有效的推文的部分，也被分类器正确地分类为有效;精度，分类的“有效”推文的部分，也被手动标记为有效。分类器的召回率为0.9369，精密度为0.6859。这意味着分类器能够正确地将大多数手动标记的有效推文识别为有效，但它很难识别无效推文，并且会将一些标记为有效。

波士顿、芝加哥、克利夫兰、哥伦布、丹佛、底特律、沃斯堡、纳什维尔-戴维森、纽约和圣地亚哥的哨兵医生向市和县卫生部门报告的每周ILI率。 表2显示了哨岗哨提供的每个城市的ILI与源自每个城市的包含关键字“流感”的每周推文数量之间的相关系数，这些推文在对每个类别的推文进行过滤之前和过滤之后。

每个类别的推文(未转发、转发、无URL的推文、有URL的推文)与城市哨点ILI的相关性可以在 表2。表中的相关性有显著性 P<。05一个redenoted with an e上标。丹佛、沃斯堡、纳什维尔-戴维森和圣地亚哥有显著相关性( P<.001)，包括所有推文。克利夫兰和底特律在未分割推文(第1列)和除转发推文(第3列)外的所有类别上都有显著相关性。纽约是唯一一个观察到与所有推文都有显著相关性的城市，其他所有类别的相关性都不显著。除了波士顿和丹佛，非转发(第2列)的相关性高于转发。除了哥伦布、底特律、纽约和圣地亚哥，没有URL的推文(第5列)也比有URL的推文(第6列)具有更高的相关性。第4列显示费雪 z转换 P非转发和转发之间的相关性比较值，而第7列包含Fisher的相关性 z转换 P没有URL的tweet和有URL的tweet之间的相关性的比较值。费雪的 z计算转换以证明推文类别之间是否存在差异。

表3显示了所有推文的相关性，推文的数量， P相关性值，以及被Python机器学习分类器标记为有效的推文的相同信息。使用有效推文，5个城市的相关性比所有推文的相关性更大更显著(列1) 表3有雪的 z转换 P未分割推文和有效推文之间的相关性比较值。除克利夫兰外，相关系数之间的差异显著( P<措施)。

图1显示了每个城市有效推文的每周推文率每10万的可视化表示，以及哨兵提供的ILI。x轴是周数，从第36周开始，一直到第9周，y轴有两个:一个是每10万推文率，另一个是当周的ILI，通常以百分比形式报告。的相关性 表2如果相关的显著性在，则列出并加粗 P<。05, alongside the number of valid tweets for each city. Tweet rates are shown in pink and ILI rates in blue. Yellow bars indicate missing ILI data and were calculated by averaging the ILI rate from the week before and after the week of missing data. To ensure better visualization, maximum ILI rates for each city were rescaled.

包含“流感”一词的有效推文趋势，或由可能患有流感的用户发布的推文趋势，以及哨兵提供的ILI在每个城市的柱状图中显示。粉红色表示推文率，蓝色表示ILI率，黄色表示ILI率缺失的一周。每个城市的推文率和ILI率都被重新调整，以显示在同一规模上的趋势，以考虑人口的差异。有效推文与哨兵提供的ILI率以及有效推文总数之间的相关系数为每个城市列出。显著相关( P<.05)加粗。

急诊科的ILI费率可用于六个城市:波士顿、芝加哥、克利夫兰、哥伦布、圣地亚哥和西雅图。卫生部门报告了每个城市的医院急诊ILI率，除了波士顿，波士顿的数据是通过波士顿公共卫生委员会获得的。 表4包含具有相同推文类别的推文的相关性 表2:所有推文、未转发和转发的推文、没有URL的推文和有URL的推文。总体而言，在与各城市急诊部门ILI率进行比较时，未转发(第2列)的相关性高于转发(第3列)，无URL的推文(第5列)的相关性高于有URL的推文(第6列)。费雪的 z第4列的转换比较了非转发与转发和Fisher的相关性 z第7列中比较无URL推文与有URL推文相关性的转换对于所有可获得急诊部门ILI率的城市都是显著的( P< . 05)。

分类器标记为有效的推文，与所有城市的所有推文相比，与急诊科ILI率的相关性更高，如图所示 表5， tweets和ILI数据的相关性从。23 ( P= 0.41)到0.61 ( P=.02)，在其他五个城市也观察到类似的相关性增加。费雪的 z转换 P第7列中比较未过滤推文和有效推文与急诊科ILI率相关性的值均显著( P<措施)。

图2显示可用的急诊部门ILI数据的可视化表示，以重新调整每个城市的有效推文率。x轴是周数，从第36周开始，一直到第9周，y轴有两个:一个是每10万推文率，另一个是当周的ILI，通常以百分比形式报告。粉色列表示每100,000条推文的推文率，蓝色列表示ILI率，黄色列表示无法获得急诊部门ILI率的前一周和后一周的平均ILI率。

作为一项小型试点研究，圣地亚哥卫生与公众服务部能够提供2013-2014流感季节第40周至第9周实验室确认的流感病例数量。相关性是使用圣地亚哥每周所有推文和每个推文类别的推文数量来计算的。 表6显示了 r所有细分推文的相关性，以及 P每个都有价值。均显著( P<.001)，且相关值最高的分类器( r=.93)，其次是不转发、没有URL的推文和所有推文。转发的相关值最低 r= 40美分。

这项研究是圣地亚哥州立大学的研究人员在2012-2013流感季节进行的探索性研究的延续，他们使用Twitter作为一种可能的方法来确定11个城市的流感发病率趋势。本文不包括每个城市的具体ILI率，因为我们想建立推文和ILI率之间的相关性，无论它们有多高或多低，而不是流感在城市本身的传播进程。2013-2014年流感季节的严重程度低于2012-2013年流感季节:ILI发病率较低，感染流感病毒株的人数较少。在收集推文的11个城市中，推文率和ILI率在第50周(截至2013年12月14日)和第2周(截至2014年1月11日)之间达到峰值。推文、哨点和急诊科的ILI率都遵循大致同时增加或减少的大致趋势。波士顿是唯一一个推特率在ILI率达到峰值的城市，无论是哨兵提供的还是急诊部门的ILI。然而，在波士顿，推文率和ILI率之间的相关性仅在查看有效推文和急诊科ILI ( P=.02)，其他相关系数较低且不显著。

按推文类别进行的单独分析提出了改进ILI率近似的方法。对于大多数城市，不转发的推文比转发的推文具有更高和更显著的相关性，没有URL的推文也比有URL的推文具有更高和更显著的相关性。非转发是完全原创的推文，是从用户的位置发布的，而转发是用户转发的其他人的推文。即使一条推文是从收集之外的区域发布的，由于转发推文的用户所在的位置，仍然可以获得转发。因此，转发可能并不能反映用户自身的健康和疾病。带有URL的推文很可能用于分享来自新闻来源或博客的信息，更可能代表用户的观点或情绪，而不是他们的实际健康状况。

在所有城市中，推文与急诊科ILI率的相关性都高于推文与哨兵提供的ILI率的相关性，圣地亚哥除外。这不仅适用于所有推文，而且适用于所有类别的推文。急诊科的ILI通常被强制报告给卫生部门，而哨点提供的ILI是自愿的，并基于一个地区的哨点医生。每周报告的医生人数可能会有很大差异，导致每周的比率不一致。就诊定点医生的患者可能更有可能接种过流感疫苗，因此报告的ILI率较低。在整个季节，与前哨提供的ILI活动相比，与急诊科ILI活动的相关性非常高，尽管在研究期结束时，相关性的差距已经缩小。

使用机器学习分类器，当使用哨岗提供的或急诊部门的ILI活动数据以及圣地亚哥实验室确认的流感病例数量时，许多城市的相关性最高。我们期望使用有效推文和ILI活动看到最高的相关性，无论是哨点和急诊部门的ILI率，因为通过识别有效推文，或更有可能表明用户患有流感类疾病的推文，可以消除大部分由非转发推文或没有URL的推文引起的噪音。在未来的信息监控活动中，我们建议使用经过机器学习分类器过滤的非转发推文和没有URL的推文，以提高与前哨ILI和急诊科ILI发现的最高水平相关性的有效性。

观察到高相关值( r>.80)和如此高的显著性( P<.001)到实验室确认的流感病例是本研究的另一个有希望的方面。流感样发病率以症状为基础，因此在实际得到实验室证据证实之前，可提供疾病数量的概念。然而，在报告发布之前出现的延迟可能而且确实会给监测工作带来很大问题。我们的研究结果显示推特和实验室确诊病例之间存在高度相关性，这可能会为公共卫生专业人员增加另一个当前信息来源。然而，该领域对大样本量的影响的关注越来越多 P值。有一种可能性是，在推特上发布流感信息的用户更年轻，其中大部分是青少年，他们被带到医生那里进行流感病毒检测，因为他们更容易接触到医生，他们的父母也带着他们去看医生，这是流感病毒感染率特别高的原因 P我们在实验室确诊病例和流感之间的研究中观察到的值。

使用社交媒体调查流感发病率的一个优势是，它可以加快公共卫生部门和卫生保健提供者的反应时间。本案例研究只研究了急诊部门和哨点医生报告的推文与ILI的相关性。通过观察ILI和推文是如何在第48周到第52周之间同时增加的，可以采取一种应对疫情的措施，无论是通过通知邻近社区流感病例的增加，还是提醒人们避开流感的方法。

本研究最大的局限性是ILI疾病报告监测系统。每周ILI报告的开始日期因城市而不同，尽管有些报告全年都有，其他报告在MMWR第40周开始，但丹佛直到MMWR第49周才发布ILI率。各城市的报告也因共享数据类型的不同而有所不同——有些城市同时拥有前哨提供的和急诊科的ILI数据，有些城市只有前哨提供的数据，西雅图只有急诊科的ILI数据。哨点提供者报告ILI的可选性质意味着人口相似的城市可能从不同数量的哨点提供者收集数据。例如，哥伦布通常只有两个或更少的哨兵提供者报告每周ILI率，因此对于一个超过80万居民的城市来说，ILI率是不可靠的。波士顿和芝加哥的推文和来自任何来源的ILI率之间的相关性也很低，无论是哨兵提供者还是急诊部门。很难确定为什么会出现这种情况，因为来自波士顿和芝加哥的报告没有包含被调查的哨点提供者或急诊部门的数量。正如Chew和Eysenbach所观察到的，由于波士顿和芝加哥的人口规模都非常大，收集的推文中可能有太多的噪音，即使不是由新闻来源发布的推文也是基于观点，而不是基于疾病[ 23］．虽然在比较与ILI率有效的推文时，这两个城市的相关性有所提高，但如何将Twitter作为波士顿和芝加哥的具体工具仍然存在问题。有一种方法可以帮助我们的研究，以及在这些城市的监测，可能是审查什么是合格的ILI，并寻找更多愿意报告病例的哨点提供者，以及学生健康中心，因为这两个城市都有大量的学生群体，他们可能会使用他们的大学资源，而不是初级保健医生或急诊科。ILI报告的准确性以前曾受到质疑，但这只会增加对另一种可以使用的方法的需求，比如推文。

虽然用户名、位置、关注人数、被关注人数和用户简介等信息可以与推文一起收集，但年龄、性别和种族等人口统计信息无法通过推文收集，因此很难确定谁在发布流感推文，以及应该针对谁开展公共卫生工作。2013年共有31%的推特用户报告他们的年龄在18-29岁之间。 26，这是一个容易受到流感严重影响的年龄组;不过，对于许多流感病毒，我们通常更关心的是儿童和老年人。推文与2013-2014年流感季节ILI监测高度相关的事实可能是由于H1N1病毒株正在传播，15-24岁年龄组的人被认为是易受感染的病毒株。很难知道，如果年轻人和老年人使用Twitter，相关性会更强还是更弱。在这项研究中也只使用了一个关键字(“流感”)，而不是在我们的第一个案例研究中使用了大量的关键字。在之前的研究中，发现包含“流感”一词的推文与ILI率的相关性比包含关键词“流感”或其他相关术语的推文更高[ 24］．然而，即使只有一个关键字，使用机器学习分类器也能在每周推文数量和ILI数据之间产生如此高的相关性，因此可能只需要改进分类器，而不是包括更多会给数据引入更多噪声的关键字。对分类器的其他改进还包括微调tweet中的分离度。目前，如果一条推文提到“我姐姐”、“儿子”或“同学”得了流感，就会被认定为有效。然而，如果人们在推特上发布的是一位名人或其他流行人物患流感的消息，这个数字可能就会很扭曲。为了防止这个问题，需要更多的训练作为修改算法的一种方式。

社交媒体是数百万人使用的一个日益增长的平台，通过信息流行病学和信息监测研究，社交媒体作为公共卫生资源具有巨大潜力。这项研究证明了使用Twitter作为流感的补充监测工具的可重复性，因为更好的过滤和分类方法产生的相关性高于前一个流感季节的推文。被我们的机器分类器识别为有效的非转发推文和推文都与许多城市报告的ILI率高度相关，并指定未来应该收集哪些推文。

这一领域的进一步调查应包括将范围扩大到这11个城市以外，但还需要获得更多的ILI数据，以便发现可能的关联。我们的研究受到限制，因为只有11个城市的ILI数据可用，但如果更多的城市能够发布每周的ILI率，无论是哨点还是急诊室，或者两者兼有，我们的方法就可以得到更多的改进，也可以获得更多关于推文作为季节性流感趋势指标的可靠性的知识。现有的传统流感监测工作是长期和完善的，但如果通过改进的方法继续增加与社交媒体上用户生成的数据的相关性，对流感病例的实时估计不仅对遏制疫情和实时预测ILI发病率的公共卫生工作有价值，而且对易患病的一般人群也有价值。使用推特作为一种补充的大规模监测工具，以确定当地疾病的传播，以便更早地发现疾病的爆发，并为制定和实施旨在制止疾病传播的干预措施提供更多的时间，这种做法应当更加可信。