在线和离线招聘方法的成本和效率:一项基于网络的队列研究

介绍

随着争夺人们注意力的项目数量的增加和响应率的下降，为流行病学研究招募参与者变得越来越困难[1]。在队列研究中，参与者招募和数据收集工作量大，成本高[2]。如今，互联网的广泛使用为招募参与者参与队列研究和收集数据提供了另一种策略。Internet在数据收集方面提供了技术优势，可以减少管理程序并提高数据质量。例如，结合跳过模式，避免显示不相关的问题，建立内部一致性检查，以及避免手动数据输入过程中发生的错误[3.]。此外，互联网是一种有效的工具，可以接触到那些因为有敏感的健康问题(包括尿失禁、性健康障碍或精神健康问题)而难以注册的人群[4-6]。

计划生育者也是难以接触到的人群，因为他们通常不会宣布自己的怀孕意图[7-10]。在招募参加者方面，已证明有效的招募方法包括与研究有关的媒体宣传[6，11]、网络广告[6，7，10，12-15]、印刷广告[6]，以及基于网络的社会团体[6，10]。

一些研究报告了单一在线招聘方法的成本[14，16-19]，其他人则报告了使用几种在线方法的成本[20.，21]，或同时使用离线和在线方法[6，10，12，22，23]。然而，关于招聘方法在效率(招聘参与者的数量)和每个参与者的成本方面的比较，我们知之甚少[20.]。在这里，我们比较了每个被招募的参与者的效率和成本，在线和离线招募方法用于招募妇女在丹麦怀孕计划者队列研究中，依靠互联网进行登记和数据收集。

方法

设置

Snart-Gravid。dk (Soon-Pregnant) and the SnartForaeldre.dk (SoonParents) studies are related prospective cohort studies on lifestyle and fertility [8，9，24，25]。在这两项研究中，参与者都是通过互联网注册的，所有数据都是通过基于网络的问卷收集的。Snart-Gravid.dkwas launched in June 2007. It was succeeded in August 2011 by SnartForaeldre.dk, which incorporates a dietary questionnaire and includes male partners (图1)。smart foraeldre招聘Dk正在进行中[26]。

本文的研究时间为2007年6月至2013年12月，这两项研究(以下简称一项研究)的重点都是女性招募。

‎ 查看此图

研究人群

斯奈特-格拉维德的招募区。dk和smart foraledre。dk covers all of Denmark (total population of 5.7 million on January 1, 2016, and 58,205 births in 2015) [27]。符合条件的女性参与者拥有丹麦民事登记号码，年龄在18-45岁(snatt - gravid .dk为18-40岁)，与男性伴侣有稳定的关系，并试图怀孕。要注册，参与者必须(1)访问包含资格标准和知情同意信息的研究网站，(2)完成基于网络的筛选问卷以确定资格。作为这一过程的一部分，参与者提供他们的民事登记号码，这是一个唯一的个人10位数号码，分配给所有丹麦居民出生或移民时。没有奖励提供给参与者，他们被跟踪，直到他们成功怀孕，开始生育治疗，或观察结束(12周期)。在这两项研究中，入组均以完成一份全面的基线问卷为基础，平均耗时22分钟[28]。

一个子研究，SnartForaldre。dk/Milieu, was introduced to pilot test the feasibility of collecting blood and urine samples to investigate associations between endocrine disruptors and fertility. Participation in the substudy required enrollment in SnartForaeldre.dk and residence in the Aalborg area (population of 205,407 in December 2013) [29]。

招聘方法

在研究期间，我们采用了多种线上和线下的招募方式来提高对研究的认识并鼓励报名。所有的广告都由相同的图形设计师设计，并使用与各自研究网站相同或相似的图像、颜色和文本短语来增强识别。使用频率最高的短信是“计划怀孕?”帮助我们了解生活方式是否会影响你的怀孕能力。”

线下招聘方式

为了吸引人们对我们的研究的关注，我们采用了三种线下招募方式:新闻稿、海报和传单。

共印发各类专题新闻稿6份;其中3份新闻稿是在签约的外部记者的协助下编写和散发的，1份由研究人员单独处理，2份是在奥胡斯大学内部记者的帮助下发布的。我们从媒体监控公司获得了有关新闻发布所带来的印刷和网络文章以及广播或电视特稿数量的信息。

前两次新闻发布获得外部记者和媒体监督公司服务的成本分别为2281.29欧元和1761.91欧元，第四次新闻发布获得1772.54欧元。其他新闻稿的发布不涉及直接费用，因为使用了内部机构资源。

设计了一张a4尺寸(210x297毫米)的小型海报，上面印有研究的信息(图2)。每本配有50张便利贴，提供学习信息。海报上有一个QR码，用智能手机扫描后可以直接链接到研究网站。研究人员和同事们在图书馆、医院食堂、健身中心、杂货店和其他公共场所的公告板上张贴了133张海报。海报的设计、qr码、便利贴和印刷费总共花费了377.76欧元。

smart foraeldre的广告传单。dk, and the substudy, SnartForaeldre.dk/Milieu were distributed to pharmacies, a few stores, and 54 general practitioners’ (GP) offices in the city of Aalborg (图3)。设计传单和打印3500份的成本为604.31欧元。

‎ 查看此图

‎ 查看此图

网上招聘方式

主要由在线广告组成的在线活动被放置在6个不同的网站上:dk, Minmave。dk, Facebook, Sundhedsguiden.dk, Baby.dk, and Aarhus University (AU). When participants clicked on an advertisement, they were automatically redirected to the study website.

Netdoktor.dkis a popular general health website. Two online advertisements of different sizes were posted 2 weeks after the launch of Snart-Gravid.dk (图4)。Netdoktor.dk一个greed to show the advertisement until it had generated 2500 participants at a fixed price of €3.93 each. For the SnartForaeldre.dk study (图5), Netdoktor。dk committed itself to recruit 10,000 women at a fixed price of €2.99 per enrolled participant. Netdoktor.dk controlled the timing of advertisements to be able to prioritize campaigns by full-price advertisers.

Facebook是一个很受欢迎的社交媒体网站。在Facebook上总共发布了8个广告，每个广告持续8-10天。这些广告针对的是潜在的参与者，即女性，18-40岁，说丹麦语，已婚或有关系。其中7个广告针对的是居住在丹麦任何地方的女性，还有一个广告只针对奥尔堡市的女性。

Facebook上的广告是在互联网上管理的，价格是基于竞标系统的。根据针对同一目标群体的广告客户的数量，系统会给出一个价格范围，在这个价格范围内，你的广告可能会被显示出来。可以按每1000次展示付费，即广告在网站上显示的次数，或按每次点击付费，并选择每日支出限制。我们按点击付费，并选择了每天13.33欧元的限制，每次8-10天。SnartForaeldre。dk study staff also created a page on Facebook to promote the study. Postings were made by staff and thus incurred no direct costs.

Sundhedsguiden.dkis a general health website. We made an agreement including 100,000 impressions of banner advertisements at an overall fixed price of €1077 over a period of 8 months.

Minmave.dkis a website for pregnant women, that is, women who want to become pregnant and women with infants. We negotiated an agreement covering 5 one-month campaigns, each consisting of 500,000 impressions of banner advertisements, 50,000 pop up/overlay banner impressions within the category “Fertility,” and short texts in 3 electronic newsletters distributed to subscribers. An overall fixed price of €2019 was paid for each of the 5 campaigns.

Baby.dkis a website aimed at parents of infants, pregnant women, and women wanting to become pregnant. We made an agreement including continuous display of a top banner advertisement and a continuous “ownership” picture on a fertility page for 3 months, as well as placement of 2 stories about our study on the website at an overall fixed price of €673.

奥胡斯大学传播系发布了两个关于smart foraeldre的简短帖子。dk, including links to the study website, on the AU intranet, which reaches approximately 38,000 students and on the AU Facebook page. The postings were free of charge.

‎ 查看此图

‎ 查看此图

评估每一种方法所招募的参加者人数

我们定义了7种互斥的招聘方式:在线广告、新闻稿、海报、传单、SnartForaeldre主页、其他主页和“其他”。我们使用两种数据来源，电子跟踪和自我报告的数据，以确定每个参与者的招募方法。通过统一资源定位器(URL)对每个在线活动使用不同的URL代码，电子跟踪参与者对广告的点击，从而获得因在线广告而注册的参与者数量。URL跟踪排除了参与者自我报告的任何响应。Facebook提供了关于在其网站上投放的每个广告的展示次数和点击次数的详细统计数据。此外，我们还计算了点击率，即某人点击广告的次数除以广告显示的次数，以及转化率，即点击广告后注册的人数(从而通过其唯一的URL注册)除以点击广告的总人数。

其余的参与者根据他们对基线问卷中以下问题的回答进行分类:“你是如何听说目前的研究的?”回答选项有:“SnartForaeldre网站”、“Facebook”、“Netdoktor”、“其他网站、博客或聊天室”、“海报”、“全科医生的传单”、“广播”、“电视或电视文本”、“报纸”、“周刊”、“以前参与过的研究”、“口头传播”，以及一个开放式的“其他”。可以标记多个响应选项。任何可以明确地与在线广告联系起来的开放式回复都被归类为此类。

由于新闻发布而报名参加的妇女人数是通过确定那些在新闻发布后两周内至少标记以下回答之一的妇女来确定的:“其他主页”、“广播”、“电视或电视文本”、“报纸”、“周刊”或“其他杂志”，而不标记任何其他答案。在敏感性分析中，我们将时间周期延长至4周。

在子分析中，我们估计了每种在线招聘方法每30天招募的平均参与者人数。

最后，我们排除了没有回答“你是如何得知这项研究的?”或者在新闻发布窗口外标注多个答案的人。这些排除的原因是无法将答复者分配到一个特定的招聘类别。

成本

对于每种招募方法，每个注册参与者的成本是通过将总直接费用(不包括研究人员的工资费用)除以从该方法招募的参与者人数来计算的。对于招募方法“SnartForaeldre主页”、“其他主页”和“其他”，由于这些方法是免费的，因此没有计算每位注册参与者的成本。所有成本均以欧元计算，采用2012年3月的汇率。

结果

整体招聘

在研究期间，共招募了8258名参与者参加我们基于网络的队列研究(图6)。我们从分析中排除了534名(6.5%)参与者，因为他们要么没有回答关于他们是如何听说这项研究的问题(n=19)，要么提供了不止一个答案(515名受访者，其中452人提供了两个答案，59人提供了三个答案，4人提供了四个答案)。因此，最终的研究人群包括7724名参与者。其中，通过网络广告招聘3985人(51.6%)，通过线下方式招聘803人(10.4%)，通过“SnartForaeldre主页”和“其他主页”两种线上方式招聘2382人(30.8%)(见图6)。其他方法产生了554名参与者(7.2%)，其中271人(48.9%)通过口口相传了解了这项研究，而222人(40.1%)通过广播、电视、报纸或杂志在新闻稿的时间窗口之外听说了这项研究。在从在线广告中招募的3985名参与者中，3866人被电子跟踪，119人根据自我报告的数据进行分类。

‎ 查看此图

线下招聘方式

对于线下方式，6次新闻发布会共获得747名参与者。这些新闻稿产生了8至81篇文章/特稿，招募了21至506名参与者，每位参与者的费用为0至24.28欧元。三份新闻稿在没有外界协助的情况下发布，也没有定价(表1)。敏感性分析将“新闻发布招聘”定义的时间窗口从2周改为4周，但并未改变最后4次新闻发布的人均成本。然而，对于“snatt - gravvid的发布”这一新闻稿。dk” the average cost per participant decreased from €4.51 to €3.35 and for the second press release “Funding received to continue study,” the average cost declined from €18.35 to €11.82. Distribution of 133 posters resulted in 47 participants at a cost of €8.04 each, whereas the distribution of 3500 flyers for display led to 9 participants, each costing €67.50 (表1)。通过研究人员发起的线下招募方法招募的每位参与者的平均成本为9.06欧元。

网上招聘方式

在线方法包括在线活动，包括在各种网站上的横幅广告。Netdoktor总共4年7个月的频繁广告。dk generated 2912 participants, each at a fixed price of €3.93 in Snart-Gravid.dk and €2.99 in SnartForaeldre.dk. Factoring in 59 participants who stated that they heard about the study from Netdoktor.dk, but who were not tracked electronically, the costs were €2.74 per participant in SnartForaeldre.dk (表2)。通过Netdoktor招募的参与者的平均人数。在snt - gravvid中，每30天的dk为73。k和27在snartforaelder。

在Minmave上进行了五个为期一个月的活动。dk resulted in 689 participants at an average cost of €14.93 each. Factoring in 7 participants who stated that they heard about the study from Minmave.dk, but who were not tracked by a URL code, the average cost was €14.78 each. However, the number of recruited participants decreased from 212 participants in the first campaign to 89 in the last campaign. Consequently, the corresponding cost per recruited participant increased from €9.70 to €23.11 in the course of the campaigns (表2)。平均从minave招募了138名参与者。每30天Dk。

《星期日指南》上的一则广告。dk yielded 11 participants at €115.12 each over 8 months, whereas a 3-month campaign on Baby.dk generated 19 participants at €45.40 each. When we included participants who reported that they knew about the study from these websites but were not tracked, the cost per participant was €105.53 for Sundhedsguiden.dk and €41.08 for Baby.dk (表2)。

在Facebook上投放了7个全国性的广告时段，时长8-10天，共吸引了230名参与者，平均每人花费3.44欧元。表2)。考虑到50名参与者表示他们从Facebook上听说了这项研究，但没有电子跟踪，每位参与者的平均成本为2.83欧元。研究发现，Facebook上的一则广告只针对生活在奥尔堡的女性，即一小部分目标人群，结果只有1名参与者，成本为21.94欧元(表3)。就全国范围内的Facebook广告而言，前四个广告招募的参与者人数在22到84人之间，而后三个广告招募的参与者人数为11人或更少。每位参与者的平均花费从1.32欧元到22.18欧元不等。最低印象数为16776，最高印象数为409129。点击率在0.13%到1.85%之间。转化率从第一个Facebook广告的12.07%稳步下降到最后一个广告的1.61%。平均每30天从Facebook招募的参与者人数为121人。

通过研究人员发起的任何在线招募方法招募的参与者的平均成本为6.22欧元，而通过电子方式追踪的参与者的平均成本为9.06欧元。

讨论

主要研究结果

在我们的前瞻性队列研究中招募了7724名怀孕计划者，其中大多数(6367名参与者，82.4%)是通过在线招募方法招募的。线下招聘方式和其他方式分别占参与者的10.4%(803/7724)和7.2%(554/7724)。总体而言，研究人员发起的在线方法的每位参与者的平均成本为6.22欧元，而离线方法的平均成本为9.06欧元。尽管在线方法是最有效的招聘工具，但每位参与者的成本从2.74欧元到105.53欧元不等。每位参与者的线下方法费用从0欧元(机构协助发布的新闻稿，免费)到67.50欧元不等。随着时间的推移，我们能够监测Facebook和Minmave的效率(招募的参与者总数)。研究发现，随着时间的推移，效率会下降，而每个参与者的成本会增加。

限制

我们无法获得关于Netdoktor.dk上的印象数量和时间的信息。因此，我们无法追踪主要招聘方法(Netdoktor.dk上的广告)在一段时间内的效率波动。我们只能推测这些广告的效率是否会随着时间的推移而下降，就像我们在Facebook上的广告和Minmave.dk上的活动一样。

每30天从在线活动中招募的平均参与者人数从1人(sundhedsguide .dk)到138人(Minmave.dk)不等。Minmave.dk一个nd脸谱网yielded the highest average number of participants per 30 days. However, the number of impressions for Netdoktor.dk was unknown and it varied both across and within the other recruitment methods, limiting the comparability of the numbers.

新闻稿的估计效率可能不精确也是一个问题。这种方法产生的招募参与者人数是根据给定的时间段来确定的，这个时间段可能太短了。正如我们的敏感性分析所表明的那样，通过这种方法招募的女性可能比我们计算的要多，因此，我们可能高估了每位参与者的平均成本。

另一个限制是，报告他们从“其他主页”了解到这项研究的参与者(2281名参与者，29.5%)可能已经看到了在线广告，但没有点击它。相反，他们可能后来直接通过研究网站注册了。因此，每个在线广告招募的参与者数量可能被低估了。

我们排除了515名女性，她们在“你是如何得知这项研究的?”也可能被视为研究的局限性，因为它可能导致高估每位参与者的成本。但是，如果将这些妇女分配给两种或两种以上的征聘方法，她们就会被计算两次，费用就会被低估。

与前期工作比较

网上的方法

我们和Netdoktor的特殊协议。dk involved paying a fixed price of less than €4 per recruited participant and resulted in 2971 participants during the study period. Such an agreement seems unusual. However, Ramo et al [20.]报告了一个基于网络的抽样服务的类似安排，该服务向注册为志愿者的人发送电子邮件邀请，以完成基于网络的调查。他们为每份完成的调查支付了19.24美元(14.71欧元)的固定价格，并在6个月内完成了67项调查。所以他们的价格比我们和Netdoktor.dk谈好的价格要高很多。

与其他研究相比，在我们的研究中，通过在线方法招募的参与者的总体平均成本为6.22欧元，较低。Graham等[21]报告说，他们研究了在四个不同的西班牙语网站上投放广告招募拉丁美洲人参加基于网络的戒烟计划的有效性，每个注册者的平均成本为209.34美元(160.06欧元)(范围从73.76美元(56.40欧元)到4166.67美元(3185.84欧元))。Ramo等[20.]通过使用各种社交网络和生活方式网站的互联网广告活动，向每位参与者支付42.77美元(32.70欧元)。

在我们的北美姊妹研究中，PRESTO, Wise等[10]报告称，通过Facebook以外网站上的在线广告招募的参与者的人均成本为43.00美元至96.15美元(32.88欧元至73.52欧元)。这与用于宣传我们研究的效率较低的网站的成本相符，这些网站的成本高达每位参与者115欧元。

在我们的研究中，Facebook上的广告效率变化很大，并且随着时间的推移而下降。在整个研究期间，由于印象次数明显减少，广告在相同的成本下显示的次数减少了。有趣的是，与前六个广告(0.05-0.23%)相比，后两个广告的点击率(1.47%和1.85%)要高得多。然而，随着整个研究期间转化率的下降，这并没有转化为更多的参与者。不过，从Facebook广告中招募参与者的平均成本相对较低，为3.44欧元。

雷默和普罗查斯卡[13在13个月的时间里，研究人员比较了20个不同的Facebook广告，招募18至25岁的年轻人参与一项关于烟草和其他物质使用情况的调查。不同广告的效率差异很大。此外，印象次数和点击次数都随着时间的推移而增加，但并非同步增加。Ramo等人每次完成调查的平均成本为4.28美元(3.27欧元)，与我们的成本相似。

在我们的研究中，通过Facebook招募女性的平均成本为3.44欧元，而在营养学研究中，成本从6.73欧元到19.48欧元不等[14，30.]，一般健康[19]、戒烟[31]和生育偏好[7]。我们的姊妹研究PRESTO，以及Richiardi等人的另一项研究，其主题和目标群体与我们的研究相似，从Facebook广告中招募的女性分别支付27.77美元(21欧元)和25欧元[10，17]。

与我们的研究结果相反，Thornton等人[12]报告称，Facebook广告为一项关于烟草、大麻和酒精使用与心理健康的调查招募的每位参与者的费用为1.86美元(1.42欧元)，而Nelson等人[15]向每位完成基于网络的人乳头瘤病毒(HPV)疫苗摄取调查的参与者支付1.36美元(1.04欧元)。

请记住，每次点击的价格会根据Facebook竞价系统和选择同一目标群体的广告商数量而变化，使用Facebook进行的各种研究的成本取决于目标国家或地区，可能无法直接比较。针对特定目标人群量身定制Facebook广告的标准也因国家而异。Wise等[10报道称，他们在美国使用“新婚夫妇”作为PRESTO研究的目标标准，而在我们的研究期间，丹麦的Facebook上还没有这一标准。因此，Facebook广告的效率可能受到广告如何精确地针对潜在参与者的影响。

影响可比性的另一个因素是对入学激励的使用。在登记前宣布奖励措施可能会使更多的人想要报名参加有关的研究[12，22]。在其他使用Facebook广告的研究中，所有研究都使用了激励措施[7，10，12-15，19，30.]，除了一个[17]。除了Wise等人的PRESTO研究[10]，该研究为完成规定数量的后续调查问卷提供了奖励，为登记提供了奖励，因此可能会影响人们参与的倾向。一些研究报告称，他们使用了价值15美元(11.46欧元)的奖励措施[30.]及20美元(15.28欧元)[15]。有人可能会说，这些费用应包括在每个参加者的总征聘费用中。然而，这将使直接比较成本变得更加困难。

一些使用在线注册方法的研究报告了重复条目的问题，特别是提供激励的研究[15，20.，30.]。我们没有提供奖励，我们的研究参与者必须提供他们唯一的10位民事登记号码才能注册，从而排除了多次报名的可能性。不可能多次进入研究的事实是我们研究的主要优势，这意味着每种方法招募的参与者报告数量反映了响应广告的不同符合条件的个人的实际数量。

在线招聘可能无法产生代表背景人群的样本，这可能是一个问题。然而，在旨在估计特定时间特定人群中某种疾病或危险因素的流行程度的横断面研究中，这种关注是相关的。我们没有将参与者纳入横断面研究，而是纳入队列研究，我们跟踪参与者直到他们怀孕，开始生育治疗或观察结束(12个周期)。在队列比较的基础上，我们估计了各种暴露与怀孕时间之间的关系。我们的人群和所有试图怀孕的丹麦妇女之间可能存在一些差异，但这些差异不太可能影响我们队列中进行的内部比较。此外，在最近的一项验证研究中，我们发现选择偏差并不是研究中关联的主要关注点[25]。

我们研究的重点是生育能力，这可以解释为什么我们的招募方法比其他研究更有效。我们有一个有趣的话题——对即将成为母亲的期望。Harris等人推测，他们关于避孕和怀孕计划的研究主题促使女性报名。尽管他们的研究提供了激励，但他们发现Facebook上的广告没有提到激励，而是专注于创造新的科学知识以造福其他女性，效率很高。6]。

类似于其他招募难以接触到的人群的研究[13，15，我们发现在线招聘方法确实是一种可行的方法，可以接触到我们的目标人群。

与Facebook的情况一样，Minmave上在线活动的效率。Dk随时间减少。因此，每位参与者的平均成本从9.70欧元增加到23.11欧元。一个可能的解释是Minmave.dk上的目标人群已经饱和。另一种解释可能是越来越多的人倾向于使用小型设备，如平板电脑和智能手机来上网。18]。但是由于我们问卷的长度和问题的全面性，在手机上完成会很麻烦。

离线方法

在我们的研究中使用的离线方法在登记的参与者总数方面比在线方法效率低。在法国一项基于网络的营养研究中，Kesse-Guyot等人[11]包括线下招募参与者的方法，发现分别只有0.61%和1.69%的参与者从海报和传单中了解了这项研究。我们的研究结果是相似的，分别只有0.61%(47)和0.12%(9)的参与者报告从海报和传单上听说了这项研究。Kesse-Guyot等人还报告了他们的大众媒体运动的不同效果，这些运动是通过新闻稿和新闻发布会发起的。他们在第一次活动或新闻发布后经历了入学人数的高峰。在我们的研究中也是如此。

当Wise等人[10]使用传单作为招募方法，他们获得了46名参与者(总共2421人)，每人花费12美元(9.18欧元)，而明信片吸引了15名参与者，每人花费87美元(66.52欧元)。因此，他们在线下方式上的经验与我们相似，效率不高，人均成本相对较高。

一般来说，采用离线和在线方法招募参与者进行基于web的数据收集的研究发现，离线方法的效率较低[6，10，22，23]。这种差异可能源于离线方法所需的额外参与者努力。例如，在健身房看到海报后，你必须上网找到学习主页来注册。相比之下，当在互联网上提供广告时，只需点击几下鼠标即可注册[21，23]。还应该记住，离线方法对研究团队来说更加劳动密集[7]。在我们的研究报告的成本中没有考虑到这一因素。此外，与线下方式相比，我们的年轻目标人群似乎更熟悉在线方式，他们越来越多地进行日常交流[31]。

结论

我们招募了大量女性参与我们基于网络的生育前瞻性队列研究。我们发现线上招募方法在效率(招募的参与者总数)方面优于线下招募方法。每位注册参与者的线上和线下成本都显示出很大的内部差异。然而，考虑到与离线方法相关的较高工作量和较低的效率，在线方法似乎最具吸引力。研究主题和激励措施的使用可能会影响招聘方法的效率，而在线方法的效率可能会随着时间的推移而下降，这一事实表明，使用多种在线方法可能是最佳的。