利用众包技术测试多语种公共卫生宣传材料

简介

向广泛人群有效传播卫生信息是预防疾病的一项关键公共卫生战略。不幸的是，在美国，绝大多数高质量的健康信息材料——如网站、传单和病人手册——都只有英文版本。由于语言障碍，沟通工作往往无法接触到不同的人群。为不同语言人群设计有效的健康促进材料，需要仔细制定关键信息，以及目标社区的评估和反馈。大多数需要招募参与者来开发和测试多语言健康信息的方法既昂贵又耗时[1］．我们在此报告使用众包，以廉价和有效的方式从讲英语和西班牙语的人群中收集关于健康促进材料的快速反馈。探讨了使用这种技术进行卫生通信研究的具体优势和挑战。

背景与动机

健康宣传材料——无论是印刷的还是在线的——都是传播公共卫生信息的重要工具。先前的研究表明，这些材料的设计极大地影响了读者对这些信息的理解和保留[2，3.］．然而，在实践中，很少关注信息的选择、措辞、格式和不同形式(文本与图像)的使用。不同教材的效果亦取决于目标读者的母语及文化背景[4，5］．这一因素不应被低估:根据美国社区调查[6]，在美国5岁以上的人口中，20%的人在家说英语以外的语言，其中43.8%的人英语水平有限，即主要语言不是英语，读、说、写或理解英语的能力有限。

健康促进材料的编制往往草率，原因有二:一是时间，二是成本。典型的健康促进研究是通过调查、访谈和焦点小组进行的[7，8］．这类研究成本高、耗时长，往往存在选择偏差，而且泛化能力有限[9)，因为他们通常依赖于目标人群的方便样本。

在过去的10年里，互联网调查的使用越来越受欢迎，因为它易于获取和成本低。尽管网络调查引起了人们对概括性的担忧，但已发表的研究表明，依赖于自我选择人群的网络调查比依赖于便利样本的传统调查方法能覆盖更多样化的人群。一项对大样本互联网参与者(n = 361,703)的调查显示，与传统研究相比，参与者在性别、种族、年龄、地理多样性和经济地位方面更具多样性[10］．众包平台提供了一个潜在的渠道，可以方便地获取和招募参与者进行互联网调查，特别是在试图接触更多样化的人群时，如非英语人群。在本文中，我们交流了使用众包技术测试公共健康促进材料的经验。

众包

众包是一个术语，用来描述由网络上的人响应公开呼叫所执行的在线任务的外包[11］．尽管众包最初被用于分配计算机编码任务，但它的应用已经扩展到产品开发、广告和市场研究[12］．众包作为一种接触参与者的方法，正开始彻底改变依赖人类专家执行复杂任务的领域。从参与专家那里收集数据传统上是困难、缓慢和昂贵的。例如语音转录[13]、翻译[14]，以及图像标签[15］．在现有的在线众包平台中，最著名和最被研究的是亚马逊的Mechanical Turk (www.Mturk.com)。Mechanical Turk是一个众包网站，用于代理所谓的人类智能任务(HITs)，即对人类来说很容易执行但对计算机来说很难执行的任务。Mechanical Turk将HITs请求者与工人连接起来，并允许简单的任务创建、招聘、补偿和数据收集。该网站为来自100多个国家的参与者提供全天候访问。

社会科学研究中的众包

由于众包为潜在的大量参与者提供了简单、低成本的途径，因此它开始被视为心理和行为科学研究招募的一种方法。Mechanical Turk和类似的平台可以用来进行调查、民意调查或在线实验。众包与传统互联网调查的不同之处在于，后者涉及有限的经济补偿和固定的参与者;因此，就参加人数和速度而言，征聘潜力大大增加。这种方法的潜在问题是没有与参与者面对面的互动——由此产生的自然问题是，以这种方式获得的实验结果是否有效。参与者可能会试图“游戏”系统，而不是充分参与任务，特别是如果他们的主要动机是金钱补偿。鉴于这些问题(见Schmidt [16)，最近的几项研究分析了基于机械土耳其的数据收集对政治学、心理学、经济学和语言学等人类参与者研究的有效性[17-21］．这些研究一致发现，通过Mechanical Turk收集的数据与使用标准实验范式收集的结果非常相似，展示了高水平的参与者参与度，同时获得更容易、更快和更便宜。

土耳其机械HITs相对较低的补偿水平影响了数据收集时间，但不影响数据质量。与便利样本和其他互联网调查相比，Mechanical Turk提供的数据似乎和其他传统方法一样可靠[17］．造成这一结果的一个原因可能是，至少对于美国境内的工人来说，使用土耳其机器人的主要动机是用一种有用的方式度过空闲时间，玩得开心，并赚取额外的收入。22，23］．对于其他国家的工人来说，情况就不同了(例如印度，该国拥有第二大土耳其机器人工人)，尽管很少有人把土耳其机器人作为主要收入来源，但在这些国家，补偿是一种更强的动力。17］．贝林斯基等人[18]和布尔梅斯特等[19]还发现，“机械土耳其”的参与者比便利样本更具多样性和人口代表性。

公共卫生领域的众包

在保健方面，各种形式的众包已用于救灾[24]和报告疾病爆发[25］．这些形式的众包依赖于无偿志愿者提供语言翻译或地理定位等服务。据我们所知，实施在线微任务代理的Mechanical Turk或类似平台尚未作为公共卫生传播研究或实践中的工具进行研究，特别是用于测试和验证面向用户的卫生信息材料。

我们的假设是，众包可以替代亲自测试公共健康宣传材料的方法，特别是在接触非英语人群方面。我们开始确定机械土耳其作为一种快速、低成本的方法来测试为不同人群设计的健康促进信息格式的潜力，包括英语水平有限的人群。特别是，我们试图确定与使用Mechanical Turk相关的招聘便捷性、成本和参与者人口统计数据，以便从讲英语和西班牙语的个人那里收集关于格式偏好的快速和相关反馈，用于公共卫生传播研究。

在本教程中，我们选择专注于我们研究儿童牙科健康信息的经验。尽管牙病可以高度预防，但它仍然是儿童和青少年最常见的疾病[26］．在14至17岁的青少年中，蛀牙的发病率是哮喘的四倍。在过去的50年里，美国全国范围内都报道了牙齿健康的重大改善，但基于收入、年龄、种族或民族的显著差异仍然存在。26］．许多社会成员不了解现有的牙齿健康信息，或不采取行动;因此，我们认为牙科健康信息是研究目标通信的一个重要领域。

方法

土耳其机械装置

Amazon Mechanical Turk在基于众包的研究中简化了几个步骤，特别是发布任务、招募参与者、收集数据和补偿工人。数据准备和响应质量评估需要由研究者离线完成。

设立众包任务的第一步是创建并资助一个Mechanical Turk账户。开设账户不需要任何费用，但补偿工人的资金和支付网站收取的象征性费用需要提前存入账户。

下一步涉及设置要由工作人员执行的任务。研究设计者需要定义整体任务，将其分解为微任务(可以由单个工作人员快速完成的小任务)，制定对工作人员的指示，并准备与每个任务相关的数据(例如要注释的文本或图像，或调查问题)。这是使用内部工具离线完成的。然后，使用Mechanical Turk基础设施确定向工人展示的HIT网页的设计，以及任务和工人属性，并将数据上传到Mechanical Turk。然后，根据上传的数据和设计模板自动创建所需的HITs数量和类型，并将它们提供给满足指定属性的工作人员。例如，研究人员可能想要注释100个不同的段落。在本例中，模板是用来显示段落和捕获工作者注释的表单。然后加载数据——100个不同的段落——以创建100个单独的HITs。

任务设计和属性规范可以使用以下三种选择之一来执行:基于web的请求程序接口、命令行工具或应用程序编程接口。在每种情况下，都有几个预定义的选项可用于页面设计(例如，包括复选框、下拉菜单、单选按钮和自由文本答案)。任务属性包括每项任务的报酬、任务在Mechanical Turk上可用的天数、分配给每个工人完成任务的最长时间、每个任务的分配数量(有多少不同的工人处理给定的任务)以及自动批准期限(在此期限后，工人提交的结果将自动获得批准)。工作人员属性包括他或她的支持率(基于之前在Mechanical Turk上完成的HITs)、地理位置、成人内容资格，以及请求者设置的任何其他资格(例如同一请求者在以前任务中的表现)。工作者属性集允许请求者培养可信任的工作者池，这些工作者习惯地交付高质量的结果。

一旦创建模板数据收集表单并加载数据，研究人员就可以发布HITs并开始从工作人员那里接收答案。回复可以下载，评估质量，并通过在线或上传相应的数据文件批准或拒绝。一旦HIT被批准，工人就会得到承诺的补偿;请求者还可以选择为特别满意的结果分配奖金。

回应的有效性

在进行众包研究时面临的主要困难之一是确保所获得的反馈的有效性[27］．由于参与是匿名的，并与金钱激励挂钩，众包可以吸引那些没有完全参与所要求的任务或可能没有资格准确完成任务的参与者。研究人员可以通过几种方法来解决这个有效性问题。第一个是我们已经提到过的:设置资格，包括在工人接受HIT之前需要通过的资格测试。其次，当任务与数据子集的客观基本真理答案相关联时(例如在一组图像中找到一个特定的图像)，当响应不符合基本真理时，可以自动拒绝响应，并且worker可以被阻塞。然而，当工作人员的任务是提供纯粹的主观评估时，这是不可能的。第三，众包数据收集可以涉及多个连续的阶段——在每个阶段，一组不同的工人更正前一组工人的输出。第四，可以根据离线响应计算不同的可靠性度量，例如异常值统计或执行相同任务的多个工人之间的一致性。最后，完整性检查(例如，理解性问题)可以包含在HIT本身中。

健康促进材料开发中的众包

我们开发了一项在线调查，以测试关于儿童牙科健康问题的各种信息的格式和模式偏好(见多媒体附件1）.

调查包括三个部分。在第一部分中，我们询问了一系列关于参与者人口统计学背景的问题，包括原籍国、母语、年龄范围、性别、最高教育水平、参与者是否有固定的牙医，以及他们最后一次看牙医是什么时候。在第二部分中，下文将更详细地描述，从儿科牙科教育文件中摘录的一段文字以四种不同的格式以及文本理解问题呈现。在第三部分中，参与者被要求从四种格式中选择他们更喜欢的一种，然后是一个开放式的问题，要求他们陈述他们喜欢的原因。可选地，参与者可以对任务本身提供反馈。

总的来说，我们为12个不同的文件创建了12个不同的调查表单，每个表单都涉及不同的牙齿健康主题。在开始调查之前，已经提供了参与同意书，包括完成调查的时间和收集的信息。在调查过程中，我们没有收集任何个人身份信息;工人是匿名的，只与一个字母数字的识别标签相关联。华盛顿大学人类研究部门批准了这项研究。

对于第2部分和第3部分，我们从美国国家牙科协会网站上的消费者教育材料中选择了段落，包括国家牙科和颅面研究所，美国牙科协会，美国儿科牙科学会和美国家庭医生学会。我们选择的段落代表了有关儿童牙齿健康的各种主题，如刷牙、儿科牙科检查或氟化物使用。所选段落的内容被格式化为四个版本。格式A只包括行文段。格式B是一个纯文本的项目符号列表。格式C显示了运行文本段落和与内容相关的图像(逼真的图像或图形)。格式D显示项目符号列表和图像。所有四种格式都显示在同一页面上。但是，四种格式的呈现顺序是由随机选择决定的。为了确保参与者彻底阅读和审查了四种版本，从而确保他们的回答的有效性，他们被要求在每种格式展示后回答一个不同的文本理解问题。 If they answered questions incorrectly, their responses were discarded. We created and tested two versions of the survey, one in English and one in Spanish.

对于每个调查表格，我们在Mechanical Turk上创建了一个单独的HIT。对于每个HIT，我们收集了20个回答(即，最多20个不同的工作人员回答一个HIT，但同一个人不能多次完成同一个HIT)。因此，对于这两项调查，我们分别获得了240个答复。

参与者仅限于在美国居住的18岁或以上的个人。在西班牙语调查中，参与者被要求以西班牙语为母语，并被要求说明他们的原籍国。没有采用单独的语言资格考试;然而，所有西班牙语调查材料，包括HIT描述和理解问题，都是西班牙语，我们没有看到任何非母语人士参加西班牙语调查的证据。此外，所有理解题都答对了。为了确保可靠的参与者，我们还要求他们在之前参与的HITs中至少有95%的通过率。我们为完成单个HIT分配了15分钟，尽管我们估计它可以在更短的时间内完成;每次HIT的补偿为0.25美元。

结果

收集的数据使我们能够深入了解参与者的人口统计数据，进行机械土耳其调查的时间和成本，以及用户对不同消息格式的偏好。

参与者人口

我们收到了236名英语调查参与者和163名西班牙调查参与者的回复。虽然参与者仅限于在美国的个人，但以西班牙语为母语的参与者来自18个不同的国家。这是一个比美国拉丁裔人口总体分布更广泛的国家，后者往往主要来自墨西哥、中美洲和加勒比地区[28］．最常被提及的五个国家包括三个南美国家(表1）.

表2概述主要的人口特征和回答我们的HITs所需的时间。我们调查对象的总体人口构成与以往研究中观察到的组成相似[22，29也就是说，机械土耳其工人主要是受过良好教育的年轻人。值得注意的是，总体而言，说西班牙语的受访者似乎比说英语的受访者受教育程度更高。

时间和成本

英语调查的回复是在6天内收集的;西班牙的调查花费了大约两倍的时间。包括机械土耳其人佣金在内的全部费用为374美元。

初步偏好和反馈

本研究的主要目标是探索使用众包获取信息呈现选项反馈的可行性。因此，为了完整起见，我们主要提及有关受访者偏好的实际结果。西班牙语和英语的调查结果都表明，参与者大多更喜欢包含项目符号文本和与文本相关的图像的格式。其余的首选项平均分布在其他三种格式中(表3）.

除了要求参与者回答调查外，我们还给了他们对调查发表评论的机会，这非常有用。一些与会者就健康促进方案和健康促进文件的价值提供了相关反馈。总体而言，参与者似乎很喜欢这项任务，并提到他们觉得这是有教育意义的，或者他们认为这是一项有用的研究。例如，一位与会者评论说:

我的孩子们的成年牙齿因为睡前给他们奶瓶而损坏了，奶瓶会流到他们的嘴里。真希望我在孩子们小的时候就知道这些。

其他参与者提到，他们不喜欢牙科疾病的逼真图像，但他们重视这一信息(从西班牙语翻译过来):

这幅图太形象了，但足以传达信息。

虽然这张照片很恶心，但它是真实的，而且重要的是，妈妈们可以意识到儿童饮料中含糖的后果。

另一些人则评论了西班牙语措辞的具体问题，他们更喜欢一些西班牙方言(如墨西哥语)的表达。

讨论

众包是一种在需要人参与的情况下收集数据的新方法。我们的研究结果表明，这项技术可以用于从大量参与者那里快速和廉价地收集关于健康信息材料设计的有用反馈，这与之前在相关领域的研究结果一致[17-21］．这对公共卫生目的尤其重要，因为由于时间和资源限制，可能无法对材料进行测试，从而难以接触到足够大的预期目标受众子集。例如，美国的公共卫生机构受联邦政府规定的约束，必须向非英语人群提供某些健康信息[30.]，这使得接触这些人成为改编健康宣传材料的重要一步。通过众包，我们能够迅速招募到大量来自许多国家、以西班牙语为母语、居住在美国的人。除了收集有关首选格式的数据外，我们还收到了关于调查本身的反馈，以及来自西班牙语使用者关于替代词汇和文化适宜图像的有用建议。

这项研究的一个意想不到的副作用是，向那些声称他们以前不知道一些牙齿健康建议的参与者传达了促进牙齿健康的信息。多位嘉宾对参与教育性资讯科技计划表示赞赏。可以想象，众包不仅可以用于测试和开发健康信息，还可以用于向目标人群分发信息。在理想的情况下，这两个目的可以结合在一个众包应用程序中。

我们调查的初步结果表明，美国说英语和西班牙语的参与者都更喜欢带有项目符号和图像的格式。对图像的偏好与之前使用更传统方法的研究结果一致[4，31，32］．尽管有这种整体趋势，但偏好并不一致:17.7%的西班牙语使用者和28.4%的英语使用者更喜欢没有图像的格式。这种变化表明，在未来，关于单个消息格式首选项的反馈可以用于消息裁剪。此外，一些讲西班牙语的参与者对调查的措辞提供了反馈，这表明可以利用众包来获取用户反馈，以便在未来版本的调查中编辑术语或措辞。

众包的局限性

与之前的研究一致，本研究中收集的人口信息表明，我们所接触的人群比一般人群更年轻，受教育程度更高。在针对与年轻父母或一般年轻人有关的信息(如性传播疾病、吸毒和酗酒以及预防伤害)时，主要接触年轻参与者可能会有所帮助。有趣的是，说西班牙语的人总体上受教育水平高于说英语的人。显然，机械土耳其人招募方法的一个限制是难以接触到文化水平低、计算机技能低、教育水平低的人群或老年人，尽管这些人往往是最需要健康信息和支持的人群。然而，说西班牙语和说英语的参与者中，6%-7%的人受教育程度低于高中。如果样本足够大，就有可能以低于传统调查方法的成本获得关于一些代表性较弱的人口群体的有效资料。互联网调查的替代方法可能包括通过手机短信进行众包，这可能是一种从其他难以接触到的群体获得反馈的有效方法。

考虑到“机械土耳其人”的金钱补偿，有些人可能会在没有认真考虑的情况下迅速回答问题，试图利用这个系统。为了防止这种情况，我们要求参与者在接受HIT之前准确地回答有关内容的问题。虽然不能保证参与者给出的答案是真实的，但所有参与者都准确地回答了内容问题，他们的评论表明参与者仔细考虑了他们的答案。

本研究的局限性

这项研究的主要局限性在于，由于这是一项试点研究，我们没有征求统计上显著数量的参与者，以得出关于格式偏好的回答的结论。我们在这项研究中的目标是调查通过众包获得特定人群的容易程度或困难程度。需要进一步的研究来确定英语人群和西班牙语人群在短信偏好上是否存在显著差异。我们的研究结果表明，通过使用Mechanical Turk，我们将能够在相对较短的时间内以较低的成本招募到大量的参与者。此外，我们没有将结果与使用方便样本的更传统的调查方法进行比较。然而，在之前的几项研究中，机械土耳其人已经与传统的实验范式进行了比较(见上文)，并已被验证为收集调查反馈的一种方式;此外，我们认为众包是一种接触参与者的不同方式，不应该与传统的调查方法进行比较。我们的研究结果表明，使用众包的调查人群的人口统计数据可能是不同的从那些通过更传统的方法获得的方便样本。因此，众包提供了通过传统方法难以接触到的人群。因此，人口统计问题需要包括在调查中，并在分析结果时加以考虑。

结论

我们采用众包方式，在2至4天内以低成本招募了大量讲英语和西班牙语的参与者，对健康促进材料进行调查。结果表明，众包可以成为公共卫生传播研究中一个有价值的研究工具。