垃圾进，垃圾出:健康研究，信息流行病学和数字疾病检测中社交媒体数据使用的数据收集，质量评估和报告标准

介绍

社交媒体已经改变了公共和人际沟通。互联网和社交媒体已迅速成为健康信息的主要来源[1-3.]，提供广泛和有针对性的信息，并促进信息的查找和共享。随着人们越来越多地转向社交媒体获取新闻和信息[4，5]，这些平台可作为信息流行病学、公共卫生监测(信息监测、数字疾病检测)观测数据的新来源[6-11]，追踪健康态度和行为意向[6，7，9，12-16]，并测量与健康结果相关的社区层面的心理特征[17，18]。

虽然Facebook仍然是最常用的社交媒体平台，但不同的隐私设置和复杂的应用程序编程接口(API)流使得收集和解释Facebook数据以进行观察研究极具挑战性。相比之下，Twitter本质上是一个面向公众的平台，它拥有数百万活跃用户，这些用户在微博消息(tweets)的内容中提供了丰富的定性数据，也在元数据中嵌入了重要的定量数据。元数据字段描述给定消息的传播范围和模式，以及发布消息的用户的一些有限特征。类似地，YouTube拥有数百万活跃用户，他们观看、发布、评价和评论其丰富的视频内容和广告。在任何一个社交媒体平台上进行简单的搜索，都能提供大量诱人的信息。然而，尽管这些平台在研究和分析方面具有丰富的潜力，但收集、清理和报告社交媒体数据的方法差异很大，这使得使用这些数据的研究很难进行评估和比较。

信息流行病学中的社交媒体数据收集通常由用于从平台检索数据的关键词和搜索过滤器定义[6]。因此，搜索过滤器是我们观察人们交流内容和方式的镜头。如果我们的镜头适当聚焦，我们就可以识别感兴趣的内容，避免收集大量无关信息。相反，如果我们的搜索范围太窄，我们可能会错过重要的数据，我们的结论可能会有偏见。如果范围太广，我们就有可能收集到大量不相关的、可能具有误导性的材料。

搜索过滤器是与指定搜索策略的搜索规则集成的一组关键字。虽然在为给定的研究问题确定关键字和搜索规则方面有一种直观的简单性，但这种表面上的简单性具有欺骗性。首先，关键字的选择并不简单。语言和流行文化因年龄、社会经济地位、种族/民族、地理位置等而异。社交媒体上使用的语言通常是口语化的、有创意的、多变的。此外，用户在不同平台上的交流方式也不同，部分原因是每个平台特有的规范和技术约束，部分原因是每个平台的社交功能[19]。例如，Twitter用户被限制在140个字符以内，通常使用缩写和俚语发布短消息。Facebook的帖子可能更长，因此更有可能包含多个不同的单词来表达一个结构。YouTube上发布的视频都有标题，通常由发布者用关键词标记。Instagram帖子通常有多个标签，可以提供一些内容的指示。如果研究人员不熟练或至少不熟悉特定平台的语言规范，他们的搜索过滤器可能过于宽泛、过于狭窄，或者根本就跑题了。

关键字只是过滤器的一部分;如果没有实际的规则，一个直观的搜索词可能会检索到很多不相关的信息。例如，在烟草研究中，“吸烟”一词对于任何相关内容的搜索都是至关重要的。但如果没有进一步的规则来完善这个词，关键词将检索到大量关于“抽大麻”、“抽排骨”和“抽辣妹”的内容[9，12]。对使用宽泛的“吸烟”术语检索的数据进行情感分析，将产生与使用搜索过滤器检索的数据不同的结果，该过滤器排除了与“吸烟”非常接近的其他关键术语。因此，开发可靠的搜索过滤器需要严格的流程来剔除不相关的内容，并确保高质量的数据收集[20.]。

虽然许多研究报告了用于检索社交数据的关键字列表[7-10，12-16，21-24]，很少有人描述搜索过滤器的发展[7，9，15，22，23]，而更少的人尝试通过提供收集到的数据中有多少是相关的来评估搜索过滤器[9，15，16，22，23]。一项研究通过删除某些关键词提供了丢失可能相关推文的概率[22但没有完全评估他们的搜索过滤器。

由于社交数据的质量和后续分析的解释取决于搜索过滤器的质量，社交媒体研究人员必须提供数据质量和范围的证据:表面效度是不够的。计算机科学家、通信研究人员和图书馆员等，使用精确度和召回率作为搜索过滤器质量的衡量标准[20.，25，26]。然而，大多数使用社交媒体数据的研究并没有试图客观地评估数据的质量。人们经常混淆精确度和召回率的含义，因为它们被用来评估机器学习分类器或疾病筛查测试的性能，这与我们评估的目标不同:检索数据的质量。为了避免混淆，我们将用于访问检索数据质量的精度和召回率定义为检索精度和检索召回．除非需要明确区分，否则我们在整篇论文中交替使用术语精确率/查全率和检索精确率/查全率。

在评估有效性的研究中，搜索过滤器与典型的人类编码的黄金标准进行比较。到目前为止，还没有研究考虑到人类程序员会犯错误这一事实。尽管人类程序员训练有素，但与社交媒体内容编码相关的一些错误是不可避免的。不完善的金本位可能导致效度评估出现偏差[27]。虽然完美的编码标准可能不切实际，但重要的是，研究人员在如何报告编码质量以及基准的优势和局限性方面保持透明和一致。

在本文中，我们描述了一个收集和评估社交媒体数据的框架。目标是向一个报告标准迈进，研究人员和审稿人可以用它来比较不同研究中检索和分析的数据的质量。为了说明问题，我们使用从Twitter收集的数据来说明可以适用于其他面向公众开放的基于文本的社交媒体平台的概念。此外，我们以电子烟(电子烟)内容为例，说明一个正在迅速变化的突出公共卫生主题，不断出现新的品牌和新的俚语[9，12这挑战了研究人员对社交媒体用户用来交流和营销这些产品的语言的掌握。

下面，我们首先提出一个社交媒体数据收集的概念框架。在这个框架内，我们描述了搜索过滤器的发展，说明了检索精度和召回率的计算，并说明了常见的挑战和潜在的解决方案。接下来，我们将框架应用于使用电子烟内容数据的真实示例:从Twitter消防水带检索到大约400万条tweet。最后，我们讨论了将这种严格的方法应用于数据收集和质量评估的挑战，并提出了报告数据准备的清单。

方法

社会数据收集和质量评估的概念框架

我们提出了一个由三个主要步骤组成的框架来开发和验证搜索过滤器(参见表1）.建议的框架是为可以访问部分或全部数据流的用户而设计的，这些用户可以应用于主要依靠人类判断和编码的以人为本的流程，以及由机器学习技术支持的自动化流程，而人工判断较少[28]。

开发搜索过滤器

建立一个关键字列表

开发搜索过滤器的第一步是关键字选择。根据研究课题，在专家知识的基础上，通过对课题相关语言的系统搜索，生成关键词。头脑风暴和将关键词分类到子组是很有帮助的。在我们的电子烟示例中，我们将电子烟相关的关键字分为三个子组:设备、品牌和行为。

关键字的选择也取决于收集数据的社交媒体平台。由于消息中允许的字符数量有限，Twitter数据在关键字选择方面提出了独特的挑战。Twitter用户经常通过使用标签、缩写、俗语和俚语来缩短他们发布的信息。例如，“square”这个词是香烟的俚语。一个事先不知道这个词的研究人员可能会创建一个不包括这个词的搜索过滤器，很可能会错过许多与吸烟有关的内容。因此，对研究人员来说，在他们的研究课题中跟上当前的缩写、俗语和俚语是至关重要的。资源，例如都市字典[29]和一个多元化的研究团队对于生成和理解这些关键词至关重要。

尽管做出了这些努力，许多重要的条款仍可能被遗漏。因此，有必要策略性地使用广泛的搜索词，而不是高度特定的术语/表达。例如，像“坐在我旁边的一个女孩抽方块”这样的推文，即使一个人不知道“方块”这个词，也会使用广义的“烟”来捕获。虽然使用像“烟雾”这样的广泛搜索词会产生许多不相关的推文，但它降低了遗漏相关内容的可能性。当研究人员无法访问社交媒体平台的历史档案，而是通过流媒体收集数据时，这一点尤其有用。

关键字列表应该根据相关性和频率进行进一步筛选和迭代更新。返回的tweet相对较少(例如，一个月<10条)或返回的相关tweet比例较小(例如，精度<30%)的关键词可能会被丢弃。即应考虑信号(相关数据)与噪声(不相关数据)之比[22]，适当的阈值可能取决于研究问题。当新的相关术语和短语出现时，应该将新的关键词添加到列表中(例如，新的电子烟品牌，频繁出现的术语)。重复步骤1-4建立一个搜索关键字列表在表1提高关键字的质量，并提供一个很好的理解如何社交媒体用户谈论一个特定的话题。如果收集数据是为了监测或预测，则应定期更新关键词，并考虑相关的媒体报道(如果有)。

整合关键字与搜索规则

搜索过滤器是关键字和搜索规则的组合。将关键字与搜索规则集成，大大提高了搜索过滤器检索相关消息的能力。搜索规则可用于清除通过宽泛术语检索到的不相关消息。例如，在烟草研究中，可以通过指定推文中不出现“烧烤”或“大麻”等术语来排除不相关的推文，而如果推文中同时包含“烟雾”和“广场”这两个术语，则可以保留相关的推文。这些搜索规则可以使用布尔运算符(AND、OR、NOT)和数据预处理技术(如n-grams或接近运算符)构建。

应用搜索过滤器

图1在Twitterverse中显示数据存档、搜索过滤器和相关tweet的结构。存档包含由广泛搜索条件返回的数据(带虚线的蓝色圆圈表示存档，红色矩形表示与特定主题相关的所有tweet)。搜索过滤器返回“a + b”条tweet。由于未知术语、拼写错误等原因，存档可能会遗漏一小部分与主题相关的tweet“e”。

‎ 查看此图

评估搜索过滤器

质量措施:定义

任何搜索过滤器都应该根据其区分相关和不相关消息的能力进行验证。通常使用两个标准:检索召回和检索精度(25]。精度度量检索到的数据中有多少不是垃圾。召回度量的是检索到多少相关数据。

表2构造用于根据人类编码对搜索过滤器进行评估。精确度是一个特定的帖子是相关的条件概率，如果它被检索，由a/(a + b)计算。召回率是一个特定的帖子被检索的条件概率，如果它是相关的，由a/(a + c)计算。精确度也被称为正预测值，召回率通常被称为搜索过滤器的灵敏度[30.]。这是一种权衡:高召回率可能以低精度(或低特异性)为代价，反之亦然。F-score用于报告结合精确度和召回率的单一测量[31]，计算方法:

F=(1 + β²)(精密)(召回)/(β²精度+召回率)(1)

通常使用β=1，这样的测量被称为F1分数。可以证明，利用贝叶斯定理[32]，召回量可按以下公式计算:

查全率=(precision)P(retr)/[(precision)P(retr) + P(relevant|unretr)(1 - P(retr))] (2)

P(retr)表示检索到的推文比例，P(relevant|unretr)表示未检索到的相关推文比例。

除了准确性和召回率，特异性和阴性预测值(NPV)也可以使用。特异性衡量的是有多少不相关的推文被丢弃，用d/(b + d)来定义，并且与精度密切相关。NPV是发现不相关的未检索推文的比例，由d/(c + d)定义。注意P(relevant|unretr)= 1-NPV。假设数据代表总体的随机样本，并且人工编码不存在误差，则相关tweet的比例可由(a + c)/n得到。

人类编码的抽样计划

检索精度和召回率的计算取决于对相关和不相关内容的评估。通常，训练有素的编码人员检查检索数据的样本，以手动评估相关性以及未检索数据的样本。这就提出了两个重要的问题:如何采样和采样多少消息。应该确定实际的样本大小，因为手动编码数百万条消息是劳动密集型和耗时的，并且对精度和召回率的估计应该是精确的。

我们建议分层采样，检索状态为分层，并对检索到的信息进行过采样。这是因为通常检索到的消息的大小相对于未检索到的消息(n₁/ n₂<0.1)，并且对检索到的消息进行过采样可以确保所需的统计精度水平。由于估计的原因，检索查全率比检索查准率更难准确估计c通常类似于在大量未检索的消息中找到一根针。因此，召回估计的统计精度受到样本量的影响。图2显示检索召回估计的平均置信区间长度如何随着未检索消息的样本量(=k)的增加而减小，而检索消息的样本量是固定的。统计精度的增益随着未检索消息数量的增加而减小，并且在一定的样本量以上增益最小。通过进行模拟或使用功率分析工具，可以确定满足所需统计精度和可行性水平的样本量。多媒体附录1描述如何图2生成并讨论了更多关于样本量的问题。

‎ 查看此图

检索精度估计与检索查全率

当(1)人类编码作为金标准表现良好，(2)表2就完成了。我们将详细讨论不满足其中一个或两个条件的情况以及如何解决这些情况。

假设人类编码没有错误

理想条件下

当两个条件同时满足时，直接使用精密度和召回率的定义。如果使用分层不成比例抽样，则应应用适当的权重来计算召回率。置信区间可以根据通常的渐近方法估计[33]。如果使用式(2)计算召回率，则区间估计应考虑精度和P(相关系数)的方差。

无法归档未检索的邮件

匹配搜索过滤器的消息可直接从数据提供者处检索，以便只存档检索到的消息[11，15，21]。搜索过滤精度可以估计，但如何在不知道召回率的情况下估计召回率c和d吗?在本例中，未检索的总n₂大概可以知道。Joseph等人使用贝叶斯模型来估计只有n₁和n₂被给予[34]。当数据中包含的信息不足，无法应用通常的方法时，贝叶斯模型通常提供一个可行的解决方案。自一个(因此b)除了n之外，还可以观察到₁和n₂，我们稍微修改一下他们的方法。

让π相关信息的流行程度，年代回忆一下，然后C是搜索过滤器的专一性。推文的次数(一个，b，c，d)表2具有多项分布，其各自的概率形成似然函数。的Beta先验分布π,年代,和C看起来很合理，因为它的正密度定义域在(0,1)内。让β(α_π,β_π)、β(α_年代,β_年代)和β (α_C,β_C)表示的先验分布π,年代,和C式中，β (α， β)为参数为α和β的β密度函数。完整条件后验分布可以导出所有未知量，包括c，并使用吉布斯采样器从后验分布中采样实现值。Gibbs采样器依次从每个完全条件后验分布中提取，条件是所有其他采样量[32]。可以看出，相关消息的流行率和搜索过滤器的召回率具有如下后验分布:π~ β (a + c + α_π， n - a - c+β_π)， S ~ β (a + α_年代， c + β_年代）.

的数量c是在前一个采样步骤中得到的。基于后验分布的随机抽取，可以得到未知量的贝叶斯可信区间。所有未知量的吉布斯采样步骤见多媒体附录2．

假设人类编码容易出错

人类编码是银标准

使用不完美的人类编码评估搜索过滤器会给数据质量留下有偏见的印象。搜索过滤器的查全率和查准率取决于金标准的查全率和专一性[27]。Staquet等人考虑了金标准具有100%特异性和未知召回的情况。训练有素的编码员可能相对不太可能将给定的不相关tweet评估为相关。例如，编码员可能不会确定“来拿一个。吸烟来自我们的热抽鸡肉卷”与吸烟有关。因此，可以安全地假设，对于给定的主题，人类编码的特异性(接近)100%。当满足这个假设时，搜索过滤器的召回是无偏的，精度的偏差修正方程为precision=a/[S]₂(a + b)]，其中S₂表示人类编码的召回率。因此，当人类编码不具有完美的召回率(假负误差)时，假设理想条件的方法低估了搜索过滤精度。

人类编码不是标准的分类器

尽管在许多情况下，人类编码可以作为金/银标准，但对于某些主题，它可能是一个不充分的标准分类器，因为人类语言可能是模棱两可的(例如，“Leo DiCap正在吸烟”)。Twitter上使用的语言通常是口语化和创造性的，如果不查看相关的对话，可能很难(或不可能)在140个字符内解释意思(例如，“我不知道那是不是巧克力荷兰语”;这是对一条关于荷兰巧克力味小雪茄的推文的回复)。而且，程序员很容易累。因此，编码员可能错误地将不相关的帖子确定为相关的，反之亦然(假阳性和假阴性错误)。Joseph等人将贝叶斯模型扩展到两个过滤器的结果都不是金标准的情况[34]。我们再次修改了他们的方法来估计搜索过滤精度和召回率。

类似于表2，搜索过滤器和人工编码结果交叉制表。每个单元格可以分为真正相关的内容和不相关的内容(参见表3）.让y₁将相关信息统计出来一个通过搜索过滤器检索到的消息与人工编码相关;不相关信息的计数是- y₁．其余的细胞也可以类似地分裂。

让π是相关信息的流行程度，S₁和C₁是搜索过滤器的召回率和特异性，S₂和C₂具有人类编码的回忆性和特异性。这8个细胞表3可以表示为多项式事件的发生，其概率是五个参数的函数。同样，beta分布可以用来建立每个参数的先验分布。表示年代₁,年代₂C₁，和C₂分布β (α_S1,β_S1)、β(α_S2,β_S2)、β(α_C1,β_C1)和β (α_C2,β_C2),分别。可以看出，相关信息的流行率与搜索过滤器召回率和特异性具有如下后验分布:

π~ β(∑y_我+α_π， n -∑y_我+β_π)我= 1, 2, 3, 4

年代₁~ β (y)₁+ y₂+α_S1y_3.+ y₄+β_S1）

C₁~ (c + d - y_3.- y₄+α_C1a + b - y₁- y₂+β_C1）

搜索滤波器的精度和净现值可由下式求得:

精度₁=年代₁π/ (S₁π+ (1 - c₁) (1 -π）]

净现值₁= C₁(1 -π) / (C₁(1 -π) + (1 - s₁）π］

这些是基于后验分布的随机抽取π,年代₁，和C₁．多媒体附录3描述了从所有未知量的后验分布(包括人类编码的精度和召回率)中获得随机抽取的吉布斯抽样步骤。

结果

开发搜索过滤器

我们通过Gnip, Inc.的一个名为Firehose的API获得Twitter数据，该API被授权提供对Twitter数据的完整流和历史存档的访问。访问Firehose不是免费的，这与公开可用的数据流(如Streaming API)不同。Twitter Firehose在2012年10月返回了3,954,575条与吸烟相关的广泛关键词相匹配的独特推文，形成了一个档案。档案为建设提供了基础表2．

我们开发了一个搜索过滤器来检索与电子烟相关的内容，围绕三类与电子烟相关的推文构建:电子烟的替代术语和设备部件、品牌名称和相关行为。我们使用Twitter搜索引擎[35不登录我们的Twitter账户，以避免搜索偏见。我们筛选并丢弃了返回不相关tweet的关键字，这些tweet的返回率高于70%，或者在一个月内返回的tweet <10条。当与我们的关键词同时出现的未知但看似相关的术语和短语出现时，我们会在城市词典和其他社交媒体平台上检查它们，将它们添加到列表中，并在Twitter搜索中筛选它们。我们重复步骤1-4表1直到找不到更重要的关键词。

由此产生的关键词列表包括电子烟术语的单数和复数形式，行为术语的不同动词形式，以及频繁的拼写错误。我们过滤掉了包含关键词“雾化器”和“香水”的推文，因为它们很可能是描述香水瓶的。电子烟推广账号@blucigs发布或提及的推文被收集起来。关键字和规则的最终列表见多媒体附录4．

评估电子烟搜索过滤器

人类编码的抽样计划

我们进行分层抽样，检索状态为地层。进行了小型模拟，以确定每个地层的样本量。数据生成假设N为400万，检索精度为95%，检索召回率为84%。仿真细节描述见多媒体附录1(Case 1).根据模拟，我们确定从检索到的tweet中随机抽样4000以上，从未检索到的tweet中随机抽样6000以上就足够了。

假设人类编码没有错误

理想条件下

电子烟搜索过滤器从存档中检索了82205条推文，得到P(retr)=0.0208。我们从检索集中随机抽取4373个样本，并将其中的4176个编码为相关，检索精度为95.5% (95% CI 94.9-96.1)。表4表示通过人工编码和搜索过滤器交叉制表的推文数量;检索tweet的数量根据不成比例的采样分数进行了调整。在6305个随机抽样的未检索tweets中，有20个被发现是相关的，P(relevant|unretr)=0.0032。根据公式(2)，检索召回率为86.37% (95% CI为81.4 ~ 91.9)，F1评分为90.7%。

无法归档未检索的邮件

为了演示该方法，我们假设存档只包含由电子烟搜索过滤器检索的tweet。在赋初始值(多媒体附录2)，从均匀分布中采样精度值，其限等于精度的95%置信区间(94.9-96.1)。我们用n₁=82,205和n₂= 3872370。Gibbs进样器重复10万次循环，前1万次循环作为老化而丢弃。先验分布和后验推理结果见表5．流行率表示存档中与电子烟相关的推文的比例。根据我们的经验设置了先验分布:由于患病率低，特异性通常很高，我们相信搜索过滤器捕获了大多数电子烟推文。尽管相当高的不确定性反映在回忆的先验密度上——低至34%。在每个周期结束时，应用公式(1)上的召回率和精度的采样值计算F1得分值。检索查全率的后验均值为75%:在50%到98%之间，有95%的概率。由于没有关于假负面推文数量的信息，导致时间间隔变长。

假设人类编码容易出错

人类编码是银标准

我们假设编码员能够以100%的特异性准确地评估不相关的内容，尽管他们可能错误地确定相关内容是不相关的(<100%召回率)。当人类编码器出现假阴性错误时，该方法在理想条件下低估了搜索滤波器的检索精度。偏差修正方程的精度为95.7%，表明在两种条件下偏差最小的情况下确定的精度。

人类编码不是标准的分类器

最后，我们假设编码员可以错误地将不相关的内容确定为相关的，反之亦然(<100%召回率和<100%特异性)。的每个细胞表4可以分为真正相关和不相关的推文。还是让y₁为搜索过滤器检索到的相关推文和人工编码相关推文中相关推文的个数;不相关推文的计数是128 - y₁．吉布斯采样器(见多媒体附录3)重复了10万次，前1万次被视为老化而丢弃。先验分布和后验推理结果见表6．我们相信人类编码比搜索过滤器略好，这反映在先验分布中。电子烟推文流行率的后验均值在存档中为2%。搜索过滤器的后验查全率为93%，人工编码的后验查全率为96%。拥有更多的信息导致更小的不确定性(即更短的HPD间隔)。

讨论

主要研究结果

传统的调查数据可能需要数年的时间来收集，而社交媒体数据可以在更短的时间内深入了解健康行为和公众对健康相关话题的看法。它们使研究人员能够进行以前只能通过大规模焦点小组进行的定性研究。然而，大量的数据并不能保证结果的有效性和可靠性。事实上，偏差可能会随着数量的增加而增加。例如，基于不良数据的监测系统可能大大高估或低估疾病流行[37，38]。如果没有适当的搜索过滤器，无论使用何种分析技术，从社交媒体数据中推断出的结果的质量都将很差。适当的过滤和质量评估对于使用社交媒体数据进行研究至关重要。

构建搜索过滤器很少是一步到位的过程，而是需要大量的努力[22]。它是一个迭代的过程，提炼搜索关键词和规则，捕获相关的社会数据，这些数据满足预先指定的精度和信噪比阈值。我们通过监测每个关键词的频率和精度来开发电子烟搜索过滤器。搜索过滤器不断改进，直到没有发现更重要的新术语。关键词与搜索规则相结合，提高检索精度。Wang等人提出了一种通过添加相关tweets中出现频率最高的关键词来自动更新关键词列表的方法[28]。我们正在努力通过合并他们的方法来使我们的迭代过程半自动化。

我们通过计算四种不同情况下的检索精度和召回率来量化搜索过滤质量。所有病例的检索精度估计在95%以上。在理想条件下，检索召回率估计为86%，在未检索到的信息无法存档时，检索召回率估计为75%，在假设编码员没有假阴性错误的情况下，检索召回率估计为86%，在假设人类编码员犯假阴性和假阳性错误的情况下，检索召回率估计为93%。研究人员应该根据他们对主题和搜索过滤器的专业知识和经验来确定哪个条件是合适的。无论选择哪种方法，在任何数据和分析的呈现中都应清楚地报告其基本原理和方法。

电子烟搜索过滤器(见多媒体附录4)于2012年开发。从那时起，电子烟的受欢迎程度显著增加[39，40]，许多新品牌和各种类型的电子烟设备进入了市场，与电子烟相关的语言和俚语也发生了变化。如果我们使用相同的搜索过滤器来研究2015年人们在社交媒体上对电子烟的评论，检索精度和召回率会很差。这强调了报告所使用的搜索过滤器的重要性，以及它们在数据收集时的检索精度和召回率。当跟踪行为、态度和信念的趋势时，为给定主题维护一个更新的关键字/搜索过滤器列表是至关重要的。

使用机器分类器进行过滤

机器学习分类器通常用于内容分析，但也可用于从搜索过滤器检索的数据中删除不相关的消息[9，22]。一个完善的分类器可以减少人力劳动。分类器的准确性应通过计算分类器的精度和召回率在保留样本上进行验证。我们参考机器学习文献[31，41，42]。

检索精度可以用分类器精度来近似，但检索召回率的估计可能与分类器召回率的估计不同。分类器召回度量模型在搜索过滤器检索的数据中正确识别相关内容的能力，而检索召回估计搜索过滤器捕获的相关内容相对于可能内容的范围(我们示例中的所有Twitter消息)的完整程度。因此，检索召回率的估计本质上是理论性的，因为对未检索的消息进行采样是一项艰巨且资源密集的工作。在实践中，它的评估包括检查来自尽可能多的源/存储库的未检索数据。我们的团队在多个档案中收集和管理Twitter数据，以涵盖与烟草制品和相关行为相关的广泛主题;因此，我们可以从这些其他档案中取样，看看它们是否捕获了任何可能与电子烟相关的内容。其他人可能会存档Twitter的Streaming API或设计另一种采样策略。重要的一点是尽可能地近似相关内容可能出现的范围。

未来的研究

除了数据收集和质量评估之外，报告数据来源也很重要，这会影响推断的有效性。Twitter上的公共数据可以通过Firehose、Search API或Streaming API访问。后两者有速率限制，这可能会妨碍根据主题量检索完整数据。一个小的全流随机样本可能包含关于流行话题的丰富信息，例如，一个电影明星。有些话题在Twitterverse中可能非常稀缺，因此速率限制可能不是问题，但由于速率限制，例如政策变化导致的tweet量突然激增可能无法捕获。需要进一步的研究来调查数据源如何影响推理并提供指导方针。无论数据来源如何，为了评估和比较研究结果，对于使用社交媒体数据的研究人员来说，清楚地报告他们的数据是如何收集的，对未检索数据做出了什么假设，并提供对检索数据质量的估计是至关重要的。虽然策略可能因研究主题和/或数据可用性而异，但透明和彻底的报告对于研究的可信度以及为社交媒体研究建立严格的标准至关重要。

限制

我们的方法有一定的局限性。我们构建了一个存档来存储可能与吸烟有关的推文。这样的档案不是Twitterverse的随机样本，因此会产生选择偏差;它可能会遗漏一小部分相关的推文(“e”)图1）.这种选择偏差通过公式(2)中的P(retr)和P(relevant|unretr)影响召回估计。首先，如果使用Twitterverse而不是存档，由于分母大得多，P(retr)将远远小于0.0208。这意味着检索召回应该更低。另一方面，档案中很有可能包含电子烟信息。也就是说，它比Twitterverse的随机样本更有可能包含假阴性内容。因此，如果使用Twitterverse，则P(relevant|unretr)应该更低，并且可能有许多前导零。这意味着检索召回率应该更高。这两个分量对回忆估计的影响方向相反。虽然档案有选择偏差，但它有助于发现假阴性内容并改进搜索过滤器。此外，在存档中检索到的消息与未检索到的消息的比率比在Twitterverse中相对较大。 Validating the search filter quality when this ratio is about 1/800 or smaller requires coders to evaluate an impractically huge number of tweets for reliable recall estimation (see Case 2 in多媒体附录1）.

呼吁进行严格的研究

依赖社交媒体数据的研究越来越多[43]。然而，很少有人彻底描述了搜索过滤器的构建过程或充分评估了数据质量。为了评估数据的收集和质量，涉及社交媒体数据的研究应该清楚地描述数据源，包括如何访问和收集数据，如何构建搜索过滤器，以及呈现检索精度和召回率。召回率低的数据不能很好地代表目标主题，精度低的数据会给出误导性的信息。在向报告标准迈进的过程中，我们提出了一个清单(参见文本框1)报告社交媒体数据准备工作。研究结果应具有可重复性和可比性，并具有清晰描述的数据和方法。

结论

在本文中，我们提出了一个社交媒体数据收集和验证的框架，并讨论了如何在不同条件下量化数据质量。我们提出的方法并不局限于Twitter，也可以适用于其他公共社交网站(相对于在线论坛或封闭的在线网络)。帖子的长度限制、不同的数据字段(标题、描述、标签、评论等)、主要用户特征、数据流或爬行工具可能会被考虑进行修改。我们的方法主要适用于基于文本的社交数据，但也适用于基于图像的社交媒体。例如，Instagram用户发布带有标签的照片;我们可以根据标签检索潜在的相关内容[44]并使用图像分类器删除不相关的内容。我们希望我们提出的框架和方法有助于使用社交媒体数据进行更严格和透明的健康研究。