与传统的调查方式相比,互联网调查方式往往是不利的,特别是在回复率方面。对Internet调查的响应可能受到所采用的分发选项和响应/收集功能以及自动(不在办公室的)回复、自动转发、服务器拒绝和组织或个人垃圾邮件过滤器的影响。然而,互联网调查也提供了无与伦比的机会来跟踪研究对象和检查许多影响回复率决定的因素。可用于互联网调查的跟踪数据提供了其他调查方式无法比拟的关于响应的重要组成部分的详细信息和即时反馈。本文介绍了对加拿大安大略省5000多名癌症护理提供者和管理人员的大型互联网调查的响应审计。
基于互联网电子调查结果报告清单,本文的主要目的是(a)评估一系列因素对决定互联网调查回复率的影响,以及(b)建议改进已公布的互联网调查方法描述的步骤。
我们审核了调查响应数据,分析了影响最终响应的分子和分母的因素。我们还进行了敏感性分析,以解释与某些因素对响应率的影响相关的固有不确定性。
这项调查最初发给了5636名卫生保健提供者和管理人员。分子的测定受重复/无连接响应和响应完整性的影响。分子从最多2031个粗略的(未经调整的)回答到1849个独特观点,1769个参与者和1616个完整的回答。分母的确定受到以下因素的影响:将邀请电子邮件转发给未知个人、服务器拒绝、自动回复、垃圾邮件过滤器和“选择退出”选项。基于这些因素,分母的最小值为5106,最大值为5922。考虑到分子和分母的不同假设,敏感性分析的结果是反应率有12.5%的变化(从最低27.3%到最高39.8%),最佳估计值为32.8%。
根据分子和分母的选择,得到的响应率可能相差很大。cherry声明是在确定可以影响回复率的互联网调查的关键特征方面取得的重要进展。本次回应审计表明,在为卫生保健提供者和管理人员报告互联网调查时,需要进一步澄清其中一些因素,特别是在使用商业上可获得的互联网调查包对特定样本(而不是方便的样本)进行调查时。
在过去的十年里,互联网调查的普及有了明显的增长。然而,与传统调查方式相比,互联网调查方式往往存在劣势,尤其是在回复率方面[
作为衡量癌症服务的协调和整合的研究的一部分,我们制定了癌症服务整合调查[
在考虑对成本、回复率和调查设计的相对影响后[
影响回复率确定的主要互联网调查选项可分为两大类:(a)分发/列表管理选项和(b)响应/收集选项。
网络调查可以通过多种不同的方式进行分发,最典型的方式是通过电子邮件向指定的样本发出邀请,或者通过网络弹出式邀请向方便的样本发出邀请。
第二个选项通过使用列表管理特性解决了大部分这些限制。对于SurveyMonkey.com,这包括将一个电子邮件地址列表导入到一个安全的在线数据库中,然后使用列表管理功能自动分发一个可定制的电子邮件,其中包含一个特定于个人的调查网页链接,给列表中的所有研究对象。此列表管理选项提供关于列表中每个人的响应状态(例如,已响应、未响应、拒绝参与等)的不断更新的信息。此选项允许自动生成提醒消息,并将其定向到示例的特定子集(例如,仅指向非响应者)。但是,列表管理特性有几个限制。我们发现响应状态通常是准确的,但并不总是准确的(例如,在某些情况下,响应状态表明特定的个体没有响应,而实际上他们已经响应了)。此外,关于不完整回答的信息对于发送提醒信息并不是特别有用,因为在完成调查的一小部分(例如,一个问题)的受访者和完成调查的大部分(例如,除了最后一个问题之外的所有问题)的受访者之间没有区别。尽管有这些限制,我们还是选择了列表管理功能,从研究的角度来看,它更适合于将互联网调查分发给指定的样本。
除了分发/列表管理选项外,还有几个响应/收集选项可以启用或限制应答者对Internet调查的访问。这些选项可以(a)影响单个受访者可以输入的回复数量(例如,当受访者点击调查网页链接时,他们可以被带到空白调查,或者,如果他们已经开始回应,可以被带到他们回应的最后一个问题),(b)影响调查可以完成的座次数量(例如,要求调查必须一次完成而不是多次完成),(c)影响在调查中来回移动以编辑/更改回复的能力,以及(d)影响多个受访者从同一台计算机进行回复的能力。例如,在我们的调查启动时(2007年2月),SurveyMonkey.com在使用列表管理选项时有四个主要的响应/收集选项,在供应商的网站上描述如下:
这些响应/收集选项至关重要,因为它们会影响最终数据集中重复和/或不完整响应的普遍程度。由于我们的样本的很大一部分,特别是临床护士和放射治疗师,经常在工作中共享计算机和互联网接入,响应/收集选项需要适应每台计算机的多个受访者。我们结合列表管理功能对SurveyMonkey.com的四个选项进行了广泛的预测试,以确定对受访者访问部分完整回复、回复机密性和数据捕获的影响。这个测试揭示了几个问题。值得特别关注的是,选项(1)、(2)和(3)没有始终如一地保护响应的机密性。这些选项允许回答者返回到完成的最后一个问题,也允许其他人,如果他们收到了原始的电子邮件邀请,在某些情况下看到原始回答者的回复。选项(1))和(2)不允许重复响应;然而,我们的测试显示,原始但不完整的回复可能会被后续的回复覆盖,无论是同一个人还是另一个转发电子邮件邀请的人。最终,选项(4)被选中,因为它是在共享计算机上下文中始终保护响应机密性并且不允许初始响应被覆盖的唯一选项。
选项(4)的主要问题是它允许每个唯一的电子邮件地址有多个回复。虽然带有调查网页链接的邀请电子邮件可以转发到其他电子邮件地址,但根据选项(4),所有通过该特定于个人的网页链接访问调查的个人的回复都将链接到原始的特定于个人的电子邮件地址。这就产生了不确定性,即重复的反应是来自预期的研究对象还是来自其他非预期的个体。此外,选项(4)不允许受访者访问之前的不完整回答(而是每次选择Web链接时都访问空白调查),因此我们指示研究对象尽可能一次性完成整个调查(大约10-15分钟)。
使用列表管理功能和响应/收集选项(4),允许每个应答者从共享计算机进行多个应答,我们将5636个电子邮件地址导入到SurveyMonkey.com列表管理数据库中,并为安大略省的每个区域癌症项目创建自定义电子邮件邀请。最初的自动邀请电子邮件已于2007年2月26日发送给列表管理数据库中的所有个人,并于2007年2月26日向列表管理数据库中的所有个人发送了3封自动提醒电子邮件,回复状态为“无响应”。为了减少将邀请邮件转发给身份不明的个人的影响,调查的第一个问题是询问受访者如何访问调查。那些表示没有收到来自csi.survey@cancercare.on.ca的邀请电子邮件的人被要求联系该研究的研究协调员,如果个人符合抽样标准,他将发出原始邀请电子邮件。
在每一封邀请或提醒邮件发出后,错误信息都会被收集起来,并在可能的情况下进行处理。这包括记录服务器拒绝和自动回复的数量,以及研究对象的响应状态。调查已于2007年3月16日“结束”(即不再接受进一步回复)。在调查结束后,我们审核了响应数据,分析了影响最终响应的分子和分母的因素。我们还进行了敏感性分析,以解释与某些因素对响应率的影响相关的固有不确定性。这项调查的伦理批准由多伦多大学的研究伦理委员会提供。
响应率的确定需要分子和分母。影响两者测定的众多因素如下所述。
反应率的分子不同,可以代表观看、参与或完成调查的研究对象的数量。影响分子测定的主要因素有两个:重复/无附着反应和反应完整性。
使用列表管理特性和使用分发/收集选项,可能会出现很高的重复响应。如果预期的研究对象通过个人特定的Web链接访问调查不止一次(例如,每次单击Web链接都会产生单独的响应),则可能会出现重复的响应。如果预期的研究对象将邀请或提醒电子邮件转发给另一个人,然后该人通过相同的个人特定Web链接访问调查,也可能出现重复的响应。在任何一种情况下,与原始研究对象的电子邮件地址相关联的新响应都将被自动捕获并添加到数据集中。虽然重复的回复可能通常反映出善意的意图(例如,没有时间一次性完成调查或将电子邮件邀请从工作电子邮件地址发送到个人电子邮件地址),但研究人员需要意识到试图通过“填塞投票箱”来影响结果的企图。
在数据库中捕获的2031个回复中,有1699个与单个电子邮件地址相关,代表原始样本中的预期研究对象。共有321个回复,其中两个或两个以上与同一研究对象的电子邮件地址有关。另外11个被捕获的回复没有与任何研究对象的电子邮件地址相关联,根据所使用的列表管理和回复/收集选项,这应该是不可能的。
对于分子,需要建立如何处理重复和无附加响应的标准。未附上的回复,虽然对列表管理功能的准确性提出了一些挥之不去的问题,但在样本中所占比例非常小。因此,排除了与研究对象无关的11个反应。排除重复响应的标准是一个更具挑战性的问题,其中包括固有的不确定性,需要判断。对于321个重复的回答,171个最终被排除在排除标准的基础上
重复/未附加响应排除标准
排除标准 | 排除的回答(N) |
(i)如果回复与研究对象无关(即没有电子邮件地址),则该回复将被排除在外。 | 11 |
(ii)当与同一研究对象相关的2个或更多回复中只有1个(即唯一的电子邮件地址)在调查的第一个问题中表明邀请电子邮件直接来自csi.survey@cancercare.on.ca时,其他回复被排除在外。 | 33 |
(iii)当与同一研究对象相关的2个或2个以上的回复(即唯一的电子邮件地址)是“相同的”时,最初的回复被包括在内,所有后续的回复被排除在外。 | 12 |
(iv)当与同一研究主题相关的2个或2个以上的回复(即唯一的电子邮件地址)在某个问题之前是“相同的”,在此之后,1个回复继续,其他回复不完整,则不完整的回复被排除在外。 | 112 |
(v)当与同一研究对象相关的2个或2个以上的回复(即唯一的电子邮件地址)明显不同时(例如,回复表明不同的性别、职位、工作地点等),最不可能的回复(例如,基于与研究样本的可用人口统计/职位信息的比较)被排除在外。 | 4 |
(vi)当上述条件均不适用时,随机选择与同一研究对象相关的多个回复(即唯一的电子邮件地址),以排除每个研究对象的所有回复,只保留一个回复。 | 10 |
|
|
响应完整性反映可能影响分子确定的不同响应模式和报告选项[
回答完整性的一个更为保守的衡量标准是将“参与”与对特定问题的实际回答联系起来。在本次调查中,调查的第10个问题要求受访者确定与他们的临床/专业工作最相关的区域癌症计划。由于这个问题是将受访者引向特定地区调查部分的条件逻辑的基础,因此在受访者继续进行调查的后续部分之前,需要对这个问题作出回答。在这项调查中,对重复的回答进行了调整,1769名独特的受访者通过回答第10个问题参与了调查。
由于并非所有“参与者”都完成了调查中剩下的54个李克特量表项目,另一种衡量回答完整性的方法反映了“完成”调查中最后一个问题的受访者数量。在本次调查中,对重复的回答进行了调整,1616名受访者完成了最终的调查问题(尽管应该注意的是,只有722名受访者完成了所有调查问题)。
因此,本次调查收集的响应数据提供了四个可以报告的合理分子(
估计分子
回复率的分母不同,可以表示收到或打算收到参与调查邀请的个人数量。有许多影响分母的因素需要考虑,包括将邀请电子邮件转发给未知个人、服务器拒绝、自动回复、垃圾邮件过滤器和“选择加入/退出”选项。下面依次阐述这些因素。
转发邀请邮件会影响实际收到邀请的人数。虽然列表管理和响应/收集选项在转发对分子的影响方面提供了更大的确定性,但要评估对分母的影响则要困难得多。
在这项调查中,有许多迹象表明正在发生转发。例如,在回答调查的第一个问题时,47个人表示他们没有直接收到来自csi.survey@cancercare.on.ca的邀请电子邮件,而是从另一个人(例如,同事/朋友)那里收到的消息。与同一研究对象相关的许多重复回复也表明,邀请/提醒电子邮件被转发到其他电子邮件地址。虽然电子邮件转发导致了分母的增加,但没有明确的机制来确定有多少邀请电子邮件实际上被转发给了意外的收件人。不幸的是,对于如何调整分母(如果有的话)以承认转发的影响,几乎没有指导。有两个主要选项,包括(a)不调整分母,而是调整分子(即,删除由于电子邮件转发而引起的重复回复),以最大限度地提高响应来自预期研究对象的可能性,或(b)根据转发给其他个人的电子邮件邀请的估计数量调整分母。因此,作为敏感性分析的一部分,我们考虑了将1%(56/5636)、5%(286 /5636)或10%(564/5636)的原始电子邮件邀请转发给其他个人对分母的影响。
服务器拒绝通常表示一封电子邮件没有到达预定的收件人,通常会导致一封回复电子邮件给原始发件人,其中提供了拒绝原因的信息。在最初的电子邮件邀请和随后的3封提醒邮件之后,对服务器拒绝进行监控。一些服务器拒绝是由于不正确或休眠的电子邮件地址,而其他拒绝是由于临时(例如,通信故障,消息延迟,邮箱禁用等)和永久(例如,没有这样的收件人,语法/格式错误等)传递失败。对于邀请和3封提醒邮件,346名研究对象(即唯一的电子邮件地址)至少有1次服务器拒绝。
更新了不正确的电子邮件地址,并尽可能重新发送邀请电子邮件。我们确认,这些研究对象中有171人不再担任他们的职位。然而,关于如何处理其他临时或永久服务器拒绝的指导很少。单独检查每个服务器拒绝,我们注意到54个研究对象,所有发送邀请和提醒电子邮件的尝试都被服务器拒绝。对于另外19名研究对象,4次尝试中有3次被服务器拒绝,而对于25名研究对象,4次尝试中有2次被拒绝,对于77名研究对象,4次尝试中有1次被拒绝(
如果发给研究对象的所有邀请/提醒邮件都被服务器拒绝,该研究对象是否应该从样本中删除,从而减少分母?更复杂的是,我们的回复审计显示,54名研究对象中有2人的4封邀请/提醒电子邮件都被服务器拒绝,他们的回复已经被捕获。最终,我们排除了那些没有收到任何邀请或提醒电子邮件的研究对象(即,所有的电子邮件邀请/提醒都被服务器拒绝),并对那些仍然捕获到响应的研究对象进行了调整。
服务器拒绝和自动回复模式
服务器拒绝模式 |
反应(N) | 自动回复模式 |
反应(N) |
发送的邀请邮件总数* | 5640 | 发送的邀请邮件总数* | 5640 |
没有服务器拒绝(0/4) | 5294 | 无自动回复(0/4) | 5344 |
服务器拒绝1/4的启动/提醒邮件 | 77 | 自动回复1/4的启动/提醒邮件 | 198 |
服务器拒绝2/4的启动/提醒邮件 | 25 | 自动回复2/4的启动/提醒邮件 | 63 |
服务器拒绝3/4的启动/提醒邮件 | 19 | 自动回复3/4的启动/提醒邮件 | 12 |
服务器拒绝4/4的启动/提醒邮件 | 54 | 自动回复4/4的启动/提醒邮件 | 2 |
服务器拒绝-确认不再在组织 | 171 | 自动回复-延长休假 | 21 |
*包括在初步调查启动后发出的4份额外邀请
大多数电子邮件软件程序(如Microsoft Outlook)中提供的自动回复选项允许个人设置一条消息,在指定的时间内自动回复所有收到的电子邮件。服务器拒绝和自动回复之间的一个关键区别是,服务器拒绝通常表明电子邮件没有到达预期的目标,而自动回复通常表明电子邮件已收到,但预期的收件人可能没有机会阅读和/或回复消息。
自动回复最常见的例子是“不在办公室”回复。原始发件人是否收到“不在办公室”的回复会受到一系列设置的影响,其中一些设置只对在指定时间内从唯一地址收到的第一封电子邮件提供自动回复,而另一些设置则限制将自动回复发送给谁(例如,只对来自个人组织内部或指定的“安全”域的电子邮件进行自动回复)。因此,调查发送者很可能不会收到所有不在办公室的回复。幸运的是,对于收到的那些不在办公室的回复,它们通常表明了个人不在的时间。
在这项调查中,296名研究对象收到了一封或多封自动回复的邀请/提醒邮件(
垃圾邮件过滤器在确定分母方面存在另一种程度的不确定性。处理垃圾邮件主要有两种方法。第一个涉及到防止潜在不需要的电子邮件到达电子邮件服务器,第二个涉及到自动将潜在不需要的电子邮件标记为垃圾邮件,并允许个人相应地审查和过滤它们。
前一种方法通常由医院和大学等大型组织使用,涉及商业上可获得的服务。然而,尽管这些过滤器在检测垃圾邮件方面做得相当好,但它们也可能会过滤掉非垃圾邮件,因此这些邮件永远不会到达预期的个人。一些商业上可用的垃圾邮件过滤服务保证误报率为万分之一或更高(例如,MessageLabs声称误报率为333333分之一[
后一种垃圾邮件过滤方法的影响不太明显。大多数电子邮件提供商和软件程序为个人用户提供某种类型的垃圾邮件过滤控制。这包括许多过滤级别,从阻止来自安全列表中未指定的电子邮件地址的所有电子邮件到允许几乎所有(除了最明显的垃圾邮件之外)的电子邮件进入收件箱。还有可自定义的过滤选项,其中用户定义的关键字可以自动过滤掉。例如,如果某人将过滤器设置为排除消息中带有“调查”字样的任何电子邮件,我们的邀请电子邮件将不会收到。
与电子邮件转发相比,垃圾邮件过滤器的问题是,不是所有的研究对象都收到了邀请电子邮件。不幸的是,很难确定垃圾邮件过滤器对实际收到邀请的研究对象数量的影响程度。最终,为了进行最佳估计,我们没有调整分母来考虑垃圾邮件过滤器的影响。然而,类似于我们对电子邮件转发影响的评估,作为敏感性分析的一部分,我们确实考虑了从预期收件人中过滤出1%(56/5636)、5%(286 /5636)或10%(564/5636)的邀请电子邮件对分母的影响。
在使用列表管理功能时,Surveymonkey.com要求邀请邮件中包含“选择退出”的网页链接。部分为了防止使用列表管理功能分发垃圾邮件,“退出”选项允许那些发送邀请邮件的个人单击指定的“退出”链接,该链接将个人的电子邮件地址从列表中删除,并阻止进一步的电子邮件发送给该个人。需要注意的是,当用户决定退出时,可能在很长一段时间内无法向他们的电子邮件地址发送电子邮件(例如,根据我们使用SurveyMonkey.com列表管理功能的最新经验,至少1年)。
在这项调查中,我们有126个人主动选择不使用提供的Web链接。另有18人联系了该研究的研究协调员,表示他们不应该被包括在样本中。其中11人(例如,不再是癌症护理提供者)对他们为什么不应该被包括在调查中给出了合理的解释。从分母中,9个被删除,而2个已经开始了他们的响应。其余7人被认为是合格的接受者,因此也包括在分母中。
还有4个单独的请求要添加到我们的示例中。每个人的案例都被审查和接受,然后向每个人发送邀请电子邮件,以便直接访问调查。这反映了一个“opt in”选项,从而增加了分母。
考虑到上述因素,对互联网调查分母的任何估计都存在相当大的不确定性。大多数因素,如服务器拒绝、自动回复和垃圾邮件过滤器,往往会减少收到邀请电子邮件的人数,而其他因素,如电子邮件转发,往往会增加收到邀请电子邮件的人数。
估计分母
虽然现时已有确定邮件/电话调查回复率的既定程序[
反应率估计和敏感性分析
最大估计 | 最佳估计 | 最低估计 | ||||||||||
|
||||||||||||
原油 | 2031 | 2031 | 2031 | |||||||||
复制/未婚 | 0 | -182年 | -182年 | |||||||||
响应完整性(视图-参与) | 0 | -80年 | -80年 | |||||||||
响应完整性(参与-完成) | 0 | 0 | -153年 | |||||||||
|
|
|
|
|||||||||
|
||||||||||||
原油 | 5636 | 5636 | 5636 | |||||||||
选择在 | + 4 | + 4 | + 4 | |||||||||
转发的影响* | + 282 | 0 | 0 | |||||||||
选择退出 | 0 | 9 | 9 | |||||||||
服务器拒绝 | 0 | -223年 | -223年 | |||||||||
自动回复 | 0 | -20年 | -20年 | |||||||||
垃圾邮件过滤效应* | 0 | 0 | -282年 | |||||||||
|
|
|
|
|||||||||
|
|
|
|
|
|
|
|
|
|
|
||
2031 | 2031 | 2031 | 2031 | 1769 | 1769 | 1769 | 1616 | 1616 | 1616 | |||
|
|
|
|
|
|
|
|
|
|
|
||
5640 | 5922 | 5388 | 5106 | 5922 | 5388 | 5106 | 5922 | 5388 | 5106 | |||
|
36.0% | 34.3% | 37.7% | 39.8% | 29.9% | 32.8% | 34.6% | 27.3% | 30.0% | 31.6% |
*根据5%(282/5636)效应估计;Max =最大估计;最佳估计;最小估计
对特定样本的卫生保健提供者和管理人员进行调查,我们打算使用互联网调查来尽可能地复制传统的调查方式(例如,邮件/电话)。然而,考虑到可用的设计、分发和响应/收集选项的范围,互联网调查呈现出影响回复率决定的独特特征。这一回应审计提出了重要的问题,研究人员关于传统的规则/协议的适当性,用于确定和报告卫生保健提供者和管理人员对互联网调查的反应。
我们同意cherry的声明,建议对互联网调查的进行进行更完整和详细的描述[
应该注意到这项工作的一些局限性。首先,这个反馈审计是基于2007年2月通过一个广泛可用的互联网调查供应商(SurveyMonkey.com)进行的调查。然而,SurveyMonkey.com已经修改了其响应/收集选项,突出了该领域的演变性质。此外,虽然许多竞争供应商的Internet调查选项可能相似,但分发/列表管理和响应/收集选项的标准以及收集的响应状态数据的类型是不同的。虽然影响互联网调查回复率的潜在因素是相同的,但有必要进一步规范和分类任何互联网调查应报告的必要描述性信息。其次,应该指出的是,我们目标人群的一个子集的定义特征是需要从共享计算机响应。这影响了我们对所选响应/收集选项的选择,它允许比其他情况下更多的重复响应。第三,我们对邮件转发和垃圾邮件过滤器影响的敏感性分析是基于粗略的估计。虽然我们的目的是使用相当保守的估计来突出这些因素的潜在影响,但在这一领域还需要进行更多的工作,以准确衡量电子邮件转发和垃圾邮件过滤器对回复率的影响。第四,尽管对临床医生的调查并不罕见[
尽管有人质疑互联网调查是否会成为主流研究的一部分[
作者承认,代表安大略省许多地区癌症项目、医院、社区护理访问中心和公共卫生单位的癌症护理提供者和管理人员对该项目给予了特殊支持。该项目的资金由加拿大卫生服务研究基金会拨款RC1-1071-06提供,并由安大略省癌症护理中心提供相应资金。
没有宣布。