Twitter、Facebook、新闻组和谷歌查询中的单词使用模式已被用于调查一系列广泛的健康问题。Twitter可能是这类研究中最受欢迎的在线数据源，部分原因是它的相对可访问性。它被用来监测健康问题，包括流感[ 1， 2]、霍乱[ 3.]， h1n1 [ 4- 6]、产后抑郁症[ 7]，脑震荡[ 8]、癫痫[ 9]，偏头痛[ 10]、癌症筛检[ 11]、抗生素的使用[ 12]、医生差错[ 13]、牙痛[ 14]，以及对疫苗接种的态度[ 15］．

尽管存在潜在的方法挑战，但此类研究已经证明了挖掘社交媒体在公共卫生应用中的实用性，包括:(1)Twitter用户形成了一个有偏见的人群样本[ 16- 18(2)他们在推文中的用词可能是高度模糊的。例如，只关注医疗领域，“中风”有许多非医疗用途(“天才之举”或“仰泳” ”）;大多数人提到的“心脏病发作”都是比喻，而不是字面上的(我刚刚心脏病发作，在我洗澡的时候停电了);尽管医生们将“MI”与心肌梗死联系在一起，但在推特上，它更多地指的是密歇根州。

本文量化了使用Twitter等资源作为衡量疾病流行率的代理时产生的错误，并提供了一个部分纠正的框架。我们调查了美国推特上提到疾病的频率与美国人口中相同疾病的患病率之间的关系。理解这种关系可能对各种应用都很有用，包括医疗保健信息传递和疾病监测。我们使用Twitter作为衡量讨论的场所，很大程度上是因为它作为跟踪疾病流行率的廉价代理已经受到了广泛关注。 19， 20.］．

我们的主要贡献是证明，通过纠正推特上模棱两可的医学语言，以及纠正推特用户和美国普通人口之间的人口统计学差异，可以更好地将推特疾病提及统计数据与实际疾病流行统计数据相一致。我们观察到，一般人群疾病流行统计数据(来自现有调查数据)与每种疾病在Twitter上被提及的次数(根据我们自己的统计)之间存在轻微的相关性。我们发现，我们可以显著增加这种相关性(1)通过将疾病流行人群专门限制为Twitter用户(即通过与专门针对该群体的现有流行数据进行关联)，以及(2)通过调整我们的疾病提及计数来纠正词义歧义。

我们首先确定了一系列疾病;然后，针对每种疾病，我们构建了一个涉及该疾病的术语列表(即特定疾病的词典)。我们还收集了大量的推文，并将它们编译成一个推文语料库。接下来，我们从包含任何疾病术语的语料库中检索了一个随机的推文样本。然后，我们在随机样本上使用人工注释，确定了疾病术语的医疗用途(即有效阳性)与非医疗用途(即由于歧义导致的假阳性)的相对频率(百分比)。这使我们能够计算语料库中提到每种疾病的推文数量的正确计数(我们称之为疾病的“有效推文计数”，而未纠正的计数被称为“原始推文计数”)。

我们将修正后的疾病提及频率与西蒙斯国家消费者研究的美国疾病流行统计数据相关联。 21］．由此产生的相关性可以用来衡量语料库中提到的疾病数量与美国人口(一般人口或twitter用户)中疾病病例数量之间的关系。比较有修正和没有修正的相关性可以显示修正的大小。

我们确定了488种疾病中的每一种在推特中提到其相关疾病的频率。首先，对出现该术语的语料库中每个疾病术语的推文数量进行基本计数(在应用任何语言歧义纠正之前)。这是一个疾病术语的原始推文数。请注意，如果一条推文包含多个疾病术语，我们允许它被计算两次(无论这两个术语是指相同还是不同的疾病)。在整个研究过程中，我们考虑了推特中出现的疾病术语的随机实例，而不考虑与它们同时出现的其他术语。

然后我们进行人工评估。对于每个疾病术语，我们从我们的推文语料库中随机选择30条包含该术语的推文进行手动分析。选择这个数字是为了平衡研究需求和时间限制。在推文语料库中，一些疾病术语出现在30条或更少的推文中。发生这种情况时，将检索所有可用的tweet。

两名讲英语的研究助理独立阅读每条推文，并做出简单的评估，回答说:“对于每条推文，根据您的判断，标记推文检索的疾病术语是否指的是该术语的医学含义?”每条推文都需要一个是或否的判断，如图所示 表1．两位评分者各自收集了一套完整的“是/否”判断，对另一位评分者保密。

在这些推文级别的评估完成后，我们将疾病术语级别的分数汇总在一起(独立于每个评分者的判断集合)。对于每个评分者和每个疾病术语(n=488)，我们计算了样本中被评估为涉及医学含义的推文的百分比。科恩对评分者间可靠性的kappa为。77。

然后对两个评分者的疾病术语百分比进行平均，得出每个疾病术语的修正因子。我们将这个系数乘以疾病术语的原始推文数( rcount)，以得出估计的疾病期限 有效推文数（ vcount)．

一旦完成了对疾病词汇中的每个疾病术语的估计，就会对疾病术语估计进行汇总，生成我们的最终度量，即每个疾病词汇的经过验证的推文计数( 图1)．疾病词汇表的经过验证的推文计数是我们的语料库中对相关疾病有效引用的推文的估计数量，也就是说，纠正疾病词汇表原始推文计数中存在的歧义错误。

以人工鉴定为例 糖尿病疾病词汇表( 图2)说明了从原始推文数9202到经过验证的推文数8896的演变过程。

在我们手动审查的2824条包含疾病术语的推文中，两名人类评分者的平均判断表明，2276.5条(80.61%)实际上指的是疾病，不同疾病的有效性差异很大。例如, 中风术语很少涉及医疗紧急情况(只有22%的时间，或55/252)，而 糖尿病术语几乎总是指医疗状况(98%的时间，或102/104)。请注意我们报告的百分比 表2(14.89%， 3827/ 25704，中风;(96.67%， 25104 / 25704，糖尿病)根据Twitter语料库中组成疾病词汇库的不同术语的术语频率，对手动导出的百分比进行加权。

将24种疾病的原始推文计数和验证推文计数进行比较 表2，以及修正系数(根据被评估的推文被判定有效的百分比进行调整)。 表2还包括疾病流行率数据(包括美国普通人群和美国推特用户)，这些数据直接来自益百利的西蒙斯国家消费者研究。我们注意到所有五种疾病测量的高度异质性。这可能反映了疾病本身的异质性:其中包括急性病毒感染(如， 流感)、一般疾病(例如: 背痛， 鼻过敏/花粉热)、慢性疾病(例如: 关节炎， 骨质疏松症)、测试措施(例如: 高胆固醇， Hypertension /高血压)、医疗紧急情况(例如 心脏病， 中风)，以及心理障碍(例如， 抑郁症， 添加/多动症)．有些疾病是暂时性的(例如， 尿路感染)，其他则是长期的(例如， 糖尿病)．有些是导致死亡的原因(例如， 癌症， 充血性心力衰竭)，而另一些则相对肤浅(例如， 痤疮)．鉴于这种多样性，在各种疾病列表中看到推文计数、校正因子和患病率的值范围很广也就不足为奇了。

由于歧义修正，我们发现相关性改善似乎不足为奇。然而，人口统计校正带来的改善并不那么直接，特别是因为我们没有努力将我们的推文分析限制在第一人称自我报告提及疾病的情况下。人们很容易认为，疾病流行率和疾病提及率之间一定存在因果关系。事实上，我们将由于人口统计修正而增加的相关性解释为支持这一假设:这意味着我们测量的信号(即推特上提到的疾病)与该信号的可信来源(即使用推特的疾病患者)表现出正对应关系。然而，我们发现，对于某些个体疾病，疾病流行率和疾病提及率严重不同步。就目前而言，是什么原因导致人们在推特上(或不推特)谈论某种疾病仍然是一个悬而未决的问题，尤其是因为许多提到这种疾病的人并没有遭受这种疾病的折磨。在任何情况下，利用社交媒体来估计疾病患病率的方法都不需要解释因果关系。他们只要求社交媒体可靠地捕捉疾病流行的变化。我们已经证明，通过调整疾病患者和Twitter用户之间的人口统计学差异，可以改进这种测量方法。

我们发现，由于推特用户的人口统计模式和自然语言的模糊性，naïvely计算推特中疾病术语的提及率产生的结果是有偏见的(就与已知疾病流行统计数据的相关性而言)。这些偏差至少可以部分纠正，导致推文中疾病术语的数量与我们研究的24种疾病的已知流行统计数据之间的相关性增加了三倍。

考虑到已知的推特人口统计数据，使用标准的分层抽样方法，推特人口是美国有偏见的样本，这一观察结果相对容易纠正。我们使用Experian的调查数据确定了这一点，但也可以使用其他关于Twitter人口统计数据的研究。我们证明，人口统计学校正大约使疾病提及率和患病率之间的相关性增加了一倍。

语言本身的歧义需要更多的工作来纠正。我们观察到语言歧义在不同疾病中有显著差异。提及的疾病术语实际上指的是疾病的比例从高度具体的术语，如关节炎(99.92%，或5044/5048)到不太具体的术语，如中风(14.89%，或3827/25,704)。这种语言歧义主要有两种形式。

第一个是“词汇歧义”。一些疾病，如关节炎、糖尿病和高胆固醇，在实践中所使用的术语几乎总是指其相关的疾病概念。在我们的分析中，推特用户很少使用关节炎词汇来指代“关节炎”以外的疾病。然而，有一些疾病术语经常被用来指不是疾病(或不是预期的疾病)的概念。经常出现的例子包括“癌症”(星象星座)、“抑郁”、“中风”(非医疗用途，也包括中暑)和“流感”(如胃流感，而不是“流感”)。缩写尤其含糊不清。例如，“copd”(即慢性阻塞性肺病)是“copped”(如动词“took”)的一种流行变体拼写;泌尿道感染( 尿路感染)、“人乳头瘤病毒”( 人类乳头状瘤病毒)和“青春痘”( 痤疮)显示在互联网地址(特别是在短链接使用URL重定向);及“CHF”( 充血性心力衰竭)是瑞士法郎的缩写。或者相反，“Gerd”是一个男性的名字，与胃食管反流病(胃食管反流病的一部分)的缩写相吻合 反酸性疾病词典)。词汇歧义也产生于疾病术语的隐喻和俚语用法。“心脏病发作”和“心力衰竭”用来表示惊讶，“注意力不集中”用来表示分心。

第二种类型的模糊性可以被认为是“疾病模糊性”。在这项研究中包括的24种疾病中，有些疾病的描述不如其他疾病清晰。这个问题的一个方面是强度。如果一名推特用户报告自己因为最喜欢的球队输球而抑郁，这是医学抑郁症吗?如果她用“LOL”来结束一条看似严肃的推文呢?疾病模糊性的第二个方面是特异性或准确性。一些推特用户可能会用偏头痛这个词来形容其他类型的头痛，或者说花粉热，但实际上他们对猫过敏。疾病模糊性的第三个方面是复杂性。一个主要的例子是这项研究中心血管疾病的范围(即， 充血性心力衰竭， 心脏病， 心脏病， 高胆固醇， 高血压,可能 中风)，它们的相互关系和确切边界很难或不可能画出来。

这两种类型的模糊性都会影响疾病的验证系数。第一种类型，词汇歧义(例如，同形词或隐喻词的使用)，可能会影响方法的“后端”，需要对观察到的术语计数进行修正(即使用本文中描述的方法)。第二种类型，疾病边界模糊，在“前端”出现问题，使裁剪疾病词汇库变得困难。这种模糊性提出了一个问题:充血性心力衰竭和心脏病之间的潜在等级关系，或者高胆固醇与心脏病发作或中风之间的潜在因果关系，是否可以或应该以某种方式编码在疾病词汇表中。

在这项研究中，我们将每个疾病词汇作为一个独立的实体来处理，这个决定的影响必然会写入我们得到的结果中。我们可以预期，具有更“独立”性质的疾病(即那些相对独立的疾病，如 骨质疏松症，而不是一部分复杂的喜欢 心脏病)自然会更好地由它们各自的疾病词汇表来表示，而不是那些可能与其他疾病存在复杂关系的疾病。从直觉上看，一种疾病在Twitter上的表示与其在疾病词汇表中的表示之间的不匹配，实质上是导致该疾病的验证系数低于100%的原因。

就像不同疾病的有效性被证明存在很大差异一样，Twitter讨论相对于疾病流行的水平也各不相同。一些疾病的讨论程度超过了其在人口中的患病率，而其他疾病则很少受到相对重视。有效推文数与美国疾病患病率之间的相关性为0.208 ( 表3， P<措施)。为了更详细地描述这种关系，我们计算了每种疾病的有效推文数作为患病率的函数。为此目的使用以下公式:针对每种疾病 d，预测流行率=(有效推文数 d/所有有效推文计数之和)×所有疾病流行率之和。这可以理解为验证推文计数(不准确)预测每种疾病的患病率。

我们将这一预测患病率与实际患病率进行比较 图3．预测病例和实际病例的所有疾病流行率总和(351,939,580例)是相同的，但分布有很大不同。我们看到了 癌症是一个主要的异常值，“占”预计流行率(176,605,210)的50%以上，而占实际流行率(5,031,120)的不到2%。很明显, 癌症受到的关注远远超过了仅仅流行所保证的。预计患病率是实际患病率的35倍以上。相反, 高胆固醇是代表性不足的极端。预计患病率(604,898)仅为实际患病率(37,861,070)的1.60%。这些数据表明，除了患病率之外，还有其他未知因素会影响一种疾病在Twitter上获得的讨论量。

一种假设是，Twitter的人口统计数据使用户高度关注的疾病的讨论水平向上倾斜，而对不太关注的疾病的讨论水平向下倾斜。考虑到Twitter用户一般都是年轻人，这可以解释为什么 关节炎似乎在推特上太低调了，为什么 痤疮而且 添加/多动症over-tweeted。然而，人口统计学本身并不能解释预测的异常流行 癌症．他们也不太可能解释twitter的过度使用 流感而且 糖尿病．我们假设人口统计数据确实会影响这些结果(注意 痤疮这是一种年轻时的疾病，也是一种投射不足的疾病 Hypertension /高血压一种老年疾病，在 图3)，但其他多种因素也起着作用。可能的候选因素包括疾病意识和宣传运动的强度和历史(见 癌症， 糖尿病, 人乳头状瘤病毒）;疾病病耻感或身体部位病耻感(见 生殖器疱疹而且 尿路感染)．对这些和其他可能的因素的调查是未来研究的一个领域。

目前还不清楚疾病讨论(在Twitter上或一般情况下)与疾病流行之间的本质关系是什么。推特上关于疾病的讨论可能是由比疾病流行率更多的因素驱动的。人们在推特上谈论疾病有很多原因，为了本文的目的，我们不试图解开这些原因。不过，我们确实证明了推特上的疾病提及率与疾病流行率相关，而且在应用了人口统计和词语歧义校正后，这种相关性得到了改善。这一教训可以也应该被纳入其他研究或工具中，这些研究或工具将试图挖掘Twitter(或类似场所)上的语言，以获取更广泛人群的信息。

尽管我们尽了最大的努力，但我们的Twitter语料库和Experian数据集的人口统计数据并不完全匹配。最重要的是，Experian数据集包括英语和西班牙语美国居民的疾病流行率估计，而我们的推文语料仅限于英语推文。本研究用英语进行;未来的工作应该将类似的分析扩展到其他语言。

在这项研究中，我们没有考虑到所有可能影响疾病流行率和关于疾病的推文相互作用的变量。其中一些被遗漏的变量是以疾病为中心的。例如，一些疾病实际上可能比其他疾病更“适合在twitter上发布”，这是由于许多疾病因素，包括强度、持续时间、耻辱性、社会显著性等等，甚至可能是由于形式上的考虑(这种疾病是容易拼写还是容易拼写?)一种不太容易被推特的疾病可能会有更少的相关推文，而不会对推文计数产生任何基于流行病学的影响。

我们只考虑在推文中特别命名(拼写正确)疾病的疾病。一方面，依靠正确的名词形式的疾病名称，这些名称来自公认的健康词汇，如CHV，有助于推动这项研究走向半自动、客观性和可重复性。然而，另一方面，这一决定留下了未知的，但可能是大量的与疾病相关的推文未被挖掘，因此在我们的分析中没有被解释。我们漏掉了俚语(如“糖尿病”)或拼写错误(如“ashtma”，“hi cholesterol”)。在严格的形式层面上，我们目前的方法是以召回率为代价来调整精度的。此外，人们可以在Twitter上通过提及症状、后遗症、地点(如医院)、药物或治疗等来讨论健康问题。我们对疾病名称的关注无法捕捉与健康相关的推文这一更广泛的领域。提高记忆力留待将来研究。

其他被忽略的变量是以Twitter为中心的。Twitter没有透露他们的api中使用了哪些抽样程序，这是有据可查的。 27， 28］．因此，目前尚不清楚这些推特用户(他们的推文被本研究捕获)在美国推特用户中的代表性有多大。这是不可避免的，也是所有使用Twitter api进行研究的共同缺点。

在这项研究中，我们也没有对推特用户进行歧视。Twitter“用户”可能不是一个独立的人。许多健康相关甚至疾病相关的组织在推特上提到疾病。与此类组织相关的因素(其数量、社交媒体策略等)可能与疾病命名推文的数量有关。其他研究人员已经解决了区分由卫生组织撰写的推文的问题[ 29]，但这项研究并没有做出这样的区分。

在正常的生活或业务过程中，个人和组织会生成大量可供挖掘的文本。其中大部分都以这样或那样的形式在网上分享或发表，这些数据对研究人员很有吸引力，包括那些对流行病学和公共卫生感兴趣的人。

一些“信息流行病学”研究(例如，“引言”部分引用的长列表中的许多研究)将Twitter上的单词使用与疾病或医疗状况的流行程度联系起来。除了推特，网络搜索活动也被用于监测莱姆病。 30.]及登革热[ 31]，以及与饮食习惯相关的危险行为[ 32]和自杀[ 33］．博客文章曾被用来预测流感爆发[ 34］．脸书一直被用来预测“国民幸福总值”，也就是整个美国的幸福指数。 35］．

这些研究主要将某些媒介(如Twitter或谷歌搜索)在一段时间内(如一天或一周)和某些地区(如美国县或州)的词汇使用与疾病流行水平联系起来。这种相关性方法依赖于对他们所研究的人群的同质性的某些假设，这些假设往往没有说明，因此可能未经检验和纠正。目前尚不清楚人口统计学偏差或词语歧义偏差是否具有代表性。我们假设研究人员含蓄地假设，这些因素将被他们使用的统计回归方法自动处理。如果人口统计学和模糊性偏见在时间和空间上是不变的，这将是正确的。然而，如果人群对目标媒介(如Twitter)的使用不同，预测的准确性也会有所不同，而且这种差异可能是显著的。

流感趋势可能是相关预测方法的“典型代表”。它是一种被广泛引用的在线工具，使用广泛的谷歌搜索词与历史流感水平之间的统计相关性来预测美国流感水平的区域变化[ 36］．谷歌流感趋势最初是非常准确的。然而，它也被用作一个案例研究，说明当“大数据”预测所基于的统计模式在描述上不准确时(要么从一开始就不准确，要么由于时间的漂移)，它们是如何出错的[ 37， 38]，他们声称，预测一度被夸大了近两倍[ 39］．

少数研究强调了对社交媒体分析有效性的担忧[ 40］．也有一些关于选择“高质量”疾病相关推文的工作，大多数是以低灵敏度为代价实现高特异性的。例如，[ 41]使用正则表达式和机器学习方法过滤掉所有第一人称自我报告的推文。我们争取更高的覆盖率，包括对疾病的所有“真实”提及，然后我们寻找先前建立的数据(即疾病流行率)来验证我们的发现。在之前的研究中[ 42]，研究人员确定了已知的患者，然后研究他们的Twitter数据，为患有流感的Twitter用户描述一种识别指纹(利用他们的推文和推特个人资料元数据)。然后，他们使用该模型来“诊断”个别Twitter用户患有流感，作者暗示这种方法可以用于人群水平的疾病监测。

在短期内，我们认为社交媒体在公共卫生方面的主要用途可能是了解人们对健康、疾病和治疗的态度。有效的公共政策依赖于对人们所知道和关心的事情的主观调查。他们为什么寻求或避免治疗?它们如何揭示疾病状况?他们对哪些危险行为不屑一顾?对人们可以测量的现象(如疾病流行率)的预测可能效用有限，特别是如果测量是及时和准确的。尽管传统的地面真相测量方法受到了质疑[ 43]，疾病控制和预防中心的流感估计似乎比谷歌流感趋势的估计要好[ 44］．然而，在线疾病检测和预测是一个快速发展的研究领域，随着这一领域的工作继续进行，我们做出这些类型估计的集体能力可能会增加。

使用社交媒体研究公共卫生的几种类型的研究将受益于本文概述的这种类型的人口变化和语言歧义的修正。社交媒体数据集是有偏见的方便样本，词汇歧义是普遍存在的。然而，社交媒体提供了一种相对廉价的方式来监测无数领域，包括公共卫生和对健康和医疗保健的态度。

在这项研究中，我们从一个大型的“低质量”非随机数据集(即Twitter)开始，并将其与一个小型的“高质量”随机数据集(通过后分层实现)(即Experian的西蒙斯国家消费者研究)进行比较。我们过滤了Twitter数据集，使其人口统计数据与Experian数据集相匹配。然后，我们进行了naïve和经过歧义校正的Twitter疾病提及计数。最后，我们将这些计数与Experian调查中发现的患病率数据进行了比较。我们发现，更正后的Twitter计数与“高质量”Experian数据的相关性要比naïve Twitter计数强得多。

我们认为，这表明了使用非随机便利样本(例如，社交媒体数据或谷歌查询)的其他研究的必要性和能力，例如，使用我们的方法或其他相关或新颖的方法，明确考虑人口统计学和词语歧义因素。