激励和提醒策略提高基于互联网的医生调查的回复率:一项随机实验

简介

调查仍然是一种广泛使用的，具有成本效益的方法来评估医生的态度，信念和实践。然而，进行医生调查是具有挑战性的。回复率是评价调查质量的常用基准，在医生调查中通常比非医生调查低10% [1，2]并且在许多医生亚组中似乎正在减少[3.，4］．虽然高回复率可能不是整体调查质量的最佳预测因素[5，6]，低应答率引起了人们对研究精度、无应答偏倚和研究结果的总体推断价值的担忧。

最近对医生调查反应行为的文献综述发现，初次接触方法、给药方式和非应答性随访方法是反应率的重要决定因素[4，7-10］．电子调查方法，特别是以互联网为基础的调查，因有可能减少收集数据所花费的时间，一旦收集到的数据立即可用，提高数据质量，以及节省整体成本，正变得越来越受欢迎[11-16］．然而，电子方式的回复率往往低于纸质邮寄调查[4，7，11，15-24］．

尽管关于如何提高基于互联网的调查中的医生反应率仍存在不确定性，但激励措施是一种可能的支持。激励增加了受访者对价值、信任、互惠和赞赏的感知[4，25］．研究表明，激励措施可以提高回复率，而且货币激励措施比非货币激励措施更有效[3.，7，8，26，27]，但大多数调查激励措施对医生调查反应影响的研究都是在邮寄的纸质表格的背景下进行的[11］．在对医生进行电子调查的情况下，激励机制如何发挥作用的证据仍然缺乏。

医生调查的反应也可以通过多次随访联系来改善，尽管尝试联系的最佳次数仍不清楚[27］．在以互联网为基础的调查中，如果被邀请者在最初的邀请后未能完成以互联网为基础的调查，则通过电子邮件向他们发送后续提醒，几乎不需要任何费用[11］．然而，重复的邮件提醒可能会适得其反，使潜在受访者对未来的请求更加抵触。因此，电子邮件提醒可能不如其他方式(如邮件或电话)的提醒更可取。在一项研究中，即使向未回复的医生发送了4封电子邮件提醒，但在调查人员向未回复的医生发送了一封带有打印URL的纸质信件，医生们可以用它来访问基于互联网的调查后，总体回复率也大大提高了。12］．无论数据收集模式如何，关于哪种提醒方法在提高医生的反应率方面最有效和最有效，几乎没有共识。这项调查是对在这一领域进行进一步测试的具体呼吁的回应。28，29］．

尽管医生调查的重要性和对参与的持续关注，很少有随机试验研究了解决无反应的潜在策略[7，25］．此外，即使医生调查得到最佳执行(并享有高水平的参与)，调查人员也很少描述他们遇到的挑战[3.，28］．因此，在医生调查研究中，我们对最佳实践的理解仍然存在重大差距。我们试图解决这些知识差距。

我们假设，一个低成本的非金钱激励和纸质邮件提醒将提高基于互联网的医生调查的回复率。我们还假设，一封个性化的正式信件只会比一张个性化的明信片带来略微大的好处。我们在全国具有代表性的基于互联网的医生调查的背景下，使用因子设计随机实验来检验这些假设。据我们所知，还没有人应用这样的设计来研究进行医生调查的过程。

方法

调查程序

2015年9月至12月，我们在美国注册医生中随机抽样进行了一项自我管理的互联网调查。调查就医生个人认为重要的2个话题，即认证的维持和继续医学教育，征询了医生的意见。维持认证目前是一个有争议和争论的问题[30.，31]，以及继续医学教育[32，33直接影响到几乎所有医生的职业生涯。调查详情及结果将另行公布。

调查使用Qualtrics (Qualtrics LLC, Provo, UT, USA)进行。所有获邀人士均收到电邮(文本框1)邀请他们完成调查，通过每个受邀者唯一的嵌入式URL链接访问。与Braithwaite及其同事使用的协议一致[15我们在第11天、第20天、第31天、第36天、第48天和第58天发送了6封提醒邮件，达到52%的回复率。一部分参与者还收到了1篇论文提醒，如下所示。

干预措施

这项因子设计研究测试了2项干预措施(图1)．首先，我们系统地修改了邀请医生参与的电子邮件，其中一个版本提供了一本书梅奥诊所幸福手册:弹性生活的四步计划(名义成本约10美元)，而另一版本则没有提及任何有形奖励(文本框1)．虽然提醒邮件的措辞略有不同，但是否提供图书是不变的。我们随机分配了75%的受邀者，让他们通过电子邮件收到图书邀约。调查结束后，所有受访者都拿到了这本书;这种情况下的干预是预先通知关于这本书。

第二，在第一封电子邮件发送7天后，我们通过纸质邮件以两种格式向受邀者的子集发送提醒。我们计算了这封邮件的时间，使其与第一封邮件提醒的时间大致相同。一组被邀请的人收到一封个性化的信(多媒体附件1，盒子1)，用机构信纸打印并密封在信封里，要求他们使用通过电子邮件收到的链接完成调查，或者如果他们没有收到或删除了电子邮件，请联系研究调查员。第二组通过个性化的明信片收到了类似的信息。多媒体附件1方框2)，该方框的两面都有机构标志，并由一名调查人员签名。第三组没有收到纸质提醒。我们随机将初始样本的40%分配给信件组，40%分配给明信片组，20%分配给无纸提醒组。只发送了1份纸质提醒。

‎ 查看此图

人类被试

我们从LexisNexis提供商数据管理和服务数据库(LexisNexis Risk Solutions, Alpharetta, GA)中随机抽取了4648个姓名和电子邮件地址作为样本。这项研究得到了梅奥诊所机构审查委员会的批准。对调查结果进行跟踪，但在分析前对调查结果进行鉴别。在调查开始前，研究助理使用随机数生成器(Microsoft Excel)同时对两种干预进行随机化。

结果和数据收集

本研究的主要结果是使用美国公众舆论研究协会公式RR2(回应率2)计算的调查回应[34]，即至少回答一个调查问题的人数除以发送的调查人数减去无法送达的调查人数。次要结果包括完成整个调查的受访者数量，实际认领一本书的受访者数量，以及回复时间(定义为从最初的调查邮寄到回复日期之间的天数)。我们从LexisNexis数据库中获得了关于医生性别、年龄、学位、专业和执业地点的人口统计信息。为了分析目的，我们将医生专业分为全科医生(家庭医学、普通内科或普通儿科)和非全科医生。

数据分析

我们使用卡方检验和报告优势比(95%置信区间为二分类变量)比较了干预措施之间和医生亚组之间的反应率。我们使用逻辑回归来探索干预措施和医生人口亚组之间的潜在相互作用。我们绘制了响应时间图，以直观地探索它与提醒邮件的关系。我们使用SAS 9.4版本(SAS Institute, Inc, Cary, NC, USA)进行统计分析，使用双侧检验和P≤.05为有统计学意义的阈值。为了达到80%的功率来检测5%的绝对改善，我们估计需要邀请4000名医生(提供81%的功率，假设基线响应率为10%，87%的功率，假设基线响应率为25%)。所有参与者在他们最初被分配到的组中进行分析(“意图治疗”)。

结果

调查反应

我们获得了4648名有执照的医生的电子邮件地址，随机分配到干预组(图1)，并向他们发送了一封电子邮件邀请。我们收到682封邮件无法送达的通知，剩下3966封潜在回复邮件(表1)．在这3966名医生中，451名(11.4%)在研究期间至少回答了一个调查问题，336名(8.5%)完成了整个调查。26名医生点击了调查链接，但没有回答任何问题，84名医生选择退出调查。在研究期间，我们没有收到剩余3405封电子邮件的回复。

在无法发送的电子邮件中，我们收到了673封电子邮件地址无效的通知，9封我们收到了自动消息，表明医生只接受经过批准的发件人的电子邮件。一条有代表性的邮件是这样写的:“为了控制垃圾邮件，我现在只允许来自我事先批准的发件人的邮件传入。如果您想加入我的批准寄件人名单，请填写简短的请求表格(见下面的链接)。”我们没有填写这些表格。

图书激励优惠的影响

2973名在邮件邀请中获得书籍的医生中，345名(11.6%)至少回答了一个调查问题，而993名没有获得书籍的医生中有106名(10.7%)回答了至少一个调查问题(优势比1.10,95% CI 0.87-1.38，P=点);看到图2．将这一优势比换算成相对于那些没有提供书籍的人的基线比率的绝对比率，提供书籍的人的95% CI在9.5%到14.2%之间。

在完成全部调查的336名应答者中，224人(66.7%)要求读书。那些得到书籍的人最终比那些没有得到书籍的人(47/ 79,59.5%)要稍微多一点(177/ 257,68.9%);优势比1.51,95% CI 0.89-2.54，P=点)。

‎ 查看此图

纸张提醒的影响

66名医生在收到邮寄的纸质提醒之前做出了回应。在剩余的3900名医生中，邮寄纸质提醒对回复率没有显著影响，168/1572(10.7%)的信件收件人，148/1561(9.5%)的明信片收件人，69/767(9.0%)的纯电子邮件收件人至少回答了一个调查问题(P= .35点)。当将其分为有论文提醒(316/3133,10.1%)与无论文提醒时，结果同样没有统计学意义(优势比1.13,95% CI 0.86-1.49，P= 36)。将这一优势比转换为相对于没有收到纸质提醒的人的基线比率的绝对比率，收到纸质提醒的人的95% CI在7.9%至12.8%之间。收到信件或明信片的回复率的比较同样没有统计学意义(优势比1.14,95% CI 0.91-1.44，P=点)。

当只有那些完成了整个调查的人被视为受访者时，书籍激励和纸张提醒的结果是相似的(数据未显示)。

反应率与人口统计学特征的关系

我们探讨了反应率与几个人口特征之间的关系。不同年龄的反应率差异显著(P<.001)，年轻医生(年龄< 45岁的反应率为8.8%)和年长医生(年龄≥65岁的反应率为9.0%)的反应频率低于其他医生(年龄45-54岁的反应率为12.8%，年龄55-64岁的反应率为14.9%)。我们发现，在分类中，不同专业之间的反应率没有显著差异表1（P= 0。06);然而，全科医生(家庭医学、内科和儿科)的反应频率(9.4%)低于非全科医生(12.3%;P= .007)。拥有医学博士学位的医生对治疗有反应的可能性(442/3791,11.7%)是拥有骨科博士学位的医生的两倍(9/ 174,5.2%，P= .008)。我们没有发现性别有显著差异(P=.30)或地理区域(P= .90)。

在同时考虑所有5个人口统计学变量的多变量分析中，即年龄、专业(通才vs非通才)、学位、性别和地区，应答的统计显著预测因素为年龄(P<.001)，专业(P=.003)，性别(161/1329，女性12.1%，290/2637，男性11.0%;P= .02点)。

干预措施和人口特征之间的相互作用

我们也探讨了研究干预措施和人口特征之间的相互作用。独立调整年龄、专业(多面手或非多面手)、性别和地理区域，并没有改变书籍激励或提醒没有影响的发现。我们发现任何干预措施与这些人口特征之间没有显著的相互作用(P_交互≥.09点)。

邮件提醒的影响

图3显示了累计响应的时间轴，并说明了重复提醒电子邮件的持续有利影响。

‎ 查看此图

讨论

调查结果摘要

优化网络调查的回复率是调查研究人员非常重视的问题。在这个随机实验中，我们发现在基于互联网的调查中，提供适度的激励对回复率没有影响。我们还发现，纸质提醒对回复率没有影响，无论是正式的信件还是明信片。全科医生(家庭医学、内科和儿科)的反应频率低于非全科医生，中年医生的反应频率高于年轻或年长的医生，但我们发现研究干预与专业或年龄之间没有显著的交互作用。我们观察到，在发送6封提醒邮件后，有相当数量的额外回复。

限制

本研究最大的局限性是总体反应率较低。最近的元分析[4]估计卫生专业人员的平均调查回复率为53%;然而，一项针对互联网医生调查的综述发现，回复率<20%的情况并不少见[11］．虽然低回复率不影响研究结果的内部有效性，但它可能会影响这些结果在其他调查背景下的泛化性。我们注意到，尽管回复率较低，但置信区间排除了大多数研究人员认为有意义的回复率差异。

整体低回复率的一个可能解释是，电子邮件地址无效或未受到监控，但我们没有收到通知。如果是真的，这不会影响我们的结论，除非无效邮件的分布存在系统性偏差(这似乎不太可能)。另一种可能是，医生们认为这种激励的价值相对较低——也许他们只是对这本书不感兴趣。研究表明，在某些情况下，没有吸引力的激励可能比根本没有激励更糟糕。例如，一项研究发现，与没有激励措施相比，向互联网调查的受访者提供免费的继续医学教育学分实际上会导致更低的回复率[35］．另一种可能是，承诺书会在晚些时候交付，可能不如立即呈现的、有形的激励更有动力。在后勤方面难以立即提供有意义的激励，反映了基于互联网的调查普遍存在的局限性[36，37]以及在内科医生中[11］．第三种可能是被邀请者对调查主题不感兴趣。与其他专业人员一样，如果局部重要性不明确或被认为较低，医生不会完成调查[25］．尽管认证和继续医学教育在当前的医生讨论场所中非常突出，但被邀请的医生可能在这些话题中感到个人突出程度较低。

我们研究的优势包括随机设计和足够的能力来检测即使是很小的干预效果，如果存在的话。

与之前工作的整合

先前对医生调查方法的调查，主要是在论文调查的背景下进行的，表明激励措施增加了参与。我们的研究结果表明，在基于互联网的调查中，激励的作用可能较小，也许是因为未来奖励的承诺比有形的礼物更少激发动机。这一建议得到了先前研究的支持[38-40]表明非或有预付货币激励(例如，包括5美元的初始书面调查邀请)比或有完成后提供更高的回复率，例如我们在调查中使用的。

研究还表明，在最初的电子邮件邀请后发送纸质提醒，或提供通过互联网或纸质形式完成调查的机会，可以提高医生调查的回复率[19，41］．我们希望一个单一的纸质提醒可能会有类似的效果，但不幸的是，情况并非如此。

电子测量领域不断发展。近年来，进行此类调查的工具变得更加普遍、更强大、更方便使用。虽然这些改进使卫生服务研究人员更容易进行基于互联网的调查研究，但也使其他人更容易做同样的事情。因此，医生(以及其他许多人)经常对调查邀请(“调查到死”)和其他未经请求的电子邮件(“垃圾邮件”)感到不知所措，可能会不加区别地忽略、删除或选择退出所有调查请求。此外，电子威胁(如计算机病毒、网络钓鱼和身份盗窃)的日益流行和意识的提高，导致人们保护自己免受来自未知发件人的电子邮件的侵害。在我们邀请参与调查的医生中，有一小部分人屏蔽了所有来自未知发件人的电子邮件，这个解决方案在未来几年可能会变得更受欢迎。基于互联网的调查的不断发展将继续挑战那些使用这种管理模式的人。

研究方法的结论和启示

我们的研究对调查研究的最佳实践有几点启示。首先，图书激励并没有提高回复率。因为这与之前在纸质调查中关于激励措施的工作相矛盾，这一发现是否仅仅与特定的激励措施或调查主题有关，还是表明在基于互联网的医生调查中，或有非货币激励措施普遍缺乏益处，仍有待观察。

其次，纸质的提醒也没有帮助，无论是明信片还是正式的信件。假设这一发现在未来的工作中得到重复，它表明使用电子调查的研究人员将需要找到其他方法来鼓励响应。使用纸质和互联网的混合调查可能会取得最好的结果。

第三，重复的电子邮件提醒继续工作，至少通过6个提醒，间隔大约10天。这种提醒的长期影响(例如，对医生对其他调查的反应的潜在负面影响)在本研究中无法评估。

基于互联网的调查研究方法不断发展。考虑到电子威胁的现状，以及来自营销、客户满意度、政治民意调查机构以及医疗保健服务研究人员的过多调查，曾经强大而容易获得的工具可能不再是这样了。可能需要额外的努力来遵循其他已知的方法来改善调查响应，例如突出主题的突出性，让被邀请者认识的人主持调查，扩大调查完成的选择，包括其他模式(如传真、电话、交互式语音应答电话或面对面)，以及通过使用尽可能简短的形式来减少调查完成的负担。