对卫生保健提供者和管理人员的互联网调查的响应审计:对确定响应率的影响

简介

在过去的十年里，互联网调查的普及有了明显的增长。然而，与传统调查方式相比，互联网调查方式往往存在劣势，尤其是在回复率方面[1-7］．对Internet调查的响应可能受到所采用的分发选项和响应/收集功能以及自动(不在办公室的)回复、自动转发、服务器拒绝和组织或个人垃圾邮件过滤器的影响。然而，互联网调查也提供了无与伦比的机会来跟踪研究对象和检查许多影响回复率决定的因素。可用于互联网调查的跟踪数据提供了其他调查方式无法比拟的关于重要响应部分的详细信息和即时反馈[9］．这一信息产生了关于确定回复率的传统方法是否适当的问题，这可能会影响互联网和邮件/电话调查结果的可比性。本文介绍了对加拿大安大略省5000多名癌症护理提供者和管理人员的大型互联网调查的响应审计。根据互联网电子统计调查报告结果清单而建[10]，它类似于其他用于报告研究的检查清单，如CONSORT(用于随机试验)或QUORUM(用于系统评价)，本文的主要目标是(a)评估影响互联网调查回复率的一系列因素的影响，以及(b)建议改进已发表的互联网调查方法描述的步骤。

方法

作为衡量癌症服务的协调和整合的研究的一部分，我们制定了癌症服务整合调查[11］．本次调查的目的是对安大略省参与组织和/或提供癌症服务的综合癌症中心、教学医院、社区医院和社区护理访问中心的5000多名医生、其他临床医生和一系列管理人员进行调查。

在考虑对成本、回复率和调查设计的相对影响后[1，3.，5-8，12-15]，决定透过互联网管理CSI调查。大量的供应商提供“固定的”基于网络的调查工具来管理互联网调查[16］．虽然有些功能确实有所不同，如固定和可变费率收取的服务，基本的设计选项是相似的互联网调查供应商。因此，主要基于成本考虑，我们选择SurveyMonkey.com作为我们进行互联网调查的供应商。

网上调查选择

影响回复率确定的主要互联网调查选项可分为两大类:(a)分发/列表管理选项和(b)响应/收集选项。

分发/列表管理选项

网络调查可以通过多种不同的方式进行分发，最典型的方式是通过电子邮件向指定的样本发出邀请，或者通过网络弹出式邀请向方便的样本发出邀请。8，17，18］．对于这项调查，我们计划通过电子邮件邀请将调查分发给指定的研究对象样本，其中包括一个基于web的调查链接。网络调查供应商，如SurveyMonkey.com，通常提供两种通过电子邮件分发网络调查的主要选择。第一个也是最基本的选项包括创建一个通用的调查Web链接，可以复制并插入到任何电子邮件消息中。然后，可以将带有一般调查Web链接的电子邮件消息发送给有电子邮件地址的研究对象。当被邀请的研究对象点击链接时，他们将被带到基于网络的调查中，在那里他们可以根据下面讨论的响应/收集设置完成调查。虽然这一选项确保了参与者的机密性，但从研究的角度来看，关键的限制是不会收集个人响应状态的信息(例如，您无法确定特定的研究对象是否发起了响应、完成了调查或拒绝参与)。此外，带有一般调查网页链接的电子邮件可以转发到无数个其他电子邮件地址，允许其他个人完成调查，而研究人员无法确定哪些受访者是原始样本的一部分，哪些不是(例如，可能有比预期研究对象更多的回复)。

第二个选项通过使用列表管理特性解决了大部分这些限制。对于SurveyMonkey.com，这包括将一个电子邮件地址列表导入到一个安全的在线数据库中，然后使用列表管理功能自动分发一个可定制的电子邮件，其中包含一个特定于个人的调查网页链接，给列表中的所有研究对象。此列表管理选项提供关于列表中每个人的响应状态(例如，已响应、未响应、拒绝参与等)的不断更新的信息。此选项允许自动生成提醒消息，并将其定向到示例的特定子集(例如，仅指向非响应者)。但是，列表管理特性有几个限制。我们发现响应状态通常是准确的，但并不总是准确的(例如，在某些情况下，响应状态表明特定的个体没有响应，而实际上他们已经响应了)。此外，关于不完整回答的信息对于发送提醒信息并不是特别有用，因为在完成调查的一小部分(例如，一个问题)的受访者和完成调查的大部分(例如，除了最后一个问题之外的所有问题)的受访者之间没有区别。尽管有这些限制，我们还是选择了列表管理功能，从研究的角度来看，它更适合于将互联网调查分发给指定的样本。

响应/收集选项

除了分发/列表管理选项外，还有几个响应/收集选项可以启用或限制应答者对Internet调查的访问。这些选项可以(a)影响单个受访者可以输入的回复数量(例如，当受访者点击调查网页链接时，他们可以被带到空白调查，或者，如果他们已经开始回应，可以被带到他们回应的最后一个问题)，(b)影响调查可以完成的座次数量(例如，要求调查必须一次完成而不是多次完成)，(c)影响在调查中来回移动以编辑/更改回复的能力，以及(d)影响多个受访者从同一台计算机进行回复的能力。例如，在我们的调查启动时(2007年2月)，SurveyMonkey.com在使用列表管理选项时有四个主要的响应/收集选项，在供应商的网站上描述如下:

1. 每位受访者一份回复-完成调查后，受访者将被阻止输入额外的回答。稍后返回调查的受访者将能够编辑他们现有的答案。返回不完整调查的受访者将被带到他们离开的地方。
2. 每位受访者一份回复(仅限转发)-完成调查后，受访者将被阻止输入额外的回答。此外，受访者不能备份以编辑他们现有的答案。返回不完整调查的受访者将被带到他们离开的地方。
3. 每个受访者有多个回答-在完成调查后，受访者将被允许输入额外的回答。返回不完整调查的受访者将被带到他们离开的地方。
4. 每个应答者有多个应答(共享计算机)-在完成或退出调查后，受访者将被允许输入额外的回答。一旦受访者离开调查，他们的回答就被认为已完成，不能再编辑。适用于计算机实验室和贸易展览亭。

这些响应/收集选项至关重要，因为它们会影响最终数据集中重复和/或不完整响应的普遍程度。由于我们的样本的很大一部分，特别是临床护士和放射治疗师，经常在工作中共享计算机和互联网接入，响应/收集选项需要适应每台计算机的多个受访者。我们结合列表管理功能对SurveyMonkey.com的四个选项进行了广泛的预测试，以确定对受访者访问部分完整回复、回复机密性和数据捕获的影响。这个测试揭示了几个问题。值得特别关注的是，选项(1)、(2)和(3)没有始终如一地保护响应的机密性。这些选项允许回答者返回到完成的最后一个问题，也允许其他人，如果他们收到了原始的电子邮件邀请，在某些情况下看到原始回答者的回复。选项(1))和(2)不允许重复响应;然而，我们的测试显示，原始但不完整的回复可能会被后续的回复覆盖，无论是同一个人还是另一个转发电子邮件邀请的人。最终，选项(4)被选中，因为它是在共享计算机上下文中始终保护响应机密性并且不允许初始响应被覆盖的唯一选项。

选项(4)的主要问题是它允许每个唯一的电子邮件地址有多个回复。虽然带有调查网页链接的邀请电子邮件可以转发到其他电子邮件地址，但根据选项(4)，所有通过该特定于个人的网页链接访问调查的个人的回复都将链接到原始的特定于个人的电子邮件地址。这就产生了不确定性，即重复的反应是来自预期的研究对象还是来自其他非预期的个体。此外，选项(4)不允许受访者访问之前的不完整回答(而是每次选择Web链接时都访问空白调查)，因此我们指示研究对象尽可能一次性完成整个调查(大约10-15分钟)。

调查分布和响应审计

使用列表管理功能和响应/收集选项(4)，允许每个应答者从共享计算机进行多个应答，我们将5636个电子邮件地址导入到SurveyMonkey.com列表管理数据库中，并为安大略省的每个区域癌症项目创建自定义电子邮件邀请。最初的自动邀请电子邮件已于2007年2月26日发送给列表管理数据库中的所有个人，并于2007年2月26日向列表管理数据库中的所有个人发送了3封自动提醒电子邮件，回复状态为“无响应”。为了减少将邀请邮件转发给身份不明的个人的影响，调查的第一个问题是询问受访者如何访问调查。那些表示没有收到来自csi.survey@cancercare.on.ca的邀请电子邮件的人被要求联系该研究的研究协调员，如果个人符合抽样标准，他将发出原始邀请电子邮件。

在每一封邀请或提醒邮件发出后，错误信息都会被收集起来，并在可能的情况下进行处理。这包括记录服务器拒绝和自动回复的数量，以及研究对象的响应状态。调查已于2007年3月16日“结束”(即不再接受进一步回复)。在调查结束后，我们审核了响应数据，分析了影响最终响应的分子和分母的因素。我们还进行了敏感性分析，以解释与某些因素对响应率的影响相关的固有不确定性。这项调查的伦理批准由多伦多大学的研究伦理委员会提供。

结果

响应率的确定需要分子和分母。影响两者测定的众多因素如下所述。

分子

反应率的分子不同，可以代表观看、参与或完成调查的研究对象的数量。影响分子测定的主要因素有两个:重复/无附着反应和反应完整性。

复制/独立的反应

使用列表管理特性和使用分发/收集选项，可能会出现很高的重复响应。如果预期的研究对象通过个人特定的Web链接访问调查不止一次(例如，每次单击Web链接都会产生单独的响应)，则可能会出现重复的响应。如果预期的研究对象将邀请或提醒电子邮件转发给另一个人，然后该人通过相同的个人特定Web链接访问调查，也可能出现重复的响应。在任何一种情况下，与原始研究对象的电子邮件地址相关联的新响应都将被自动捕获并添加到数据集中。虽然重复的回复可能通常反映出善意的意图(例如，没有时间一次性完成调查或将电子邮件邀请从工作电子邮件地址发送到个人电子邮件地址)，但研究人员需要意识到试图通过“填塞投票箱”来影响结果的企图。

在数据库中捕获的2031个回复中，有1699个与单个电子邮件地址相关，代表原始样本中的预期研究对象。共有321个回复，其中两个或两个以上与同一研究对象的电子邮件地址有关。另外11个被捕获的回复没有与任何研究对象的电子邮件地址相关联，根据所使用的列表管理和回复/收集选项，这应该是不可能的。

对于分子，需要建立如何处理重复和无附加响应的标准。未附上的回复，虽然对列表管理功能的准确性提出了一些挥之不去的问题，但在样本中所占比例非常小。因此，排除了与研究对象无关的11个反应。排除重复响应的标准是一个更具挑战性的问题，其中包括固有的不确定性，需要判断。对于321个重复的回答，171个最终被排除在排除标准的基础上表1．总的来说，有1849个回复与一个唯一的电子邮件地址有关。

响应完整性

响应完整性反映可能影响分子确定的不同响应模式和报告选项[10］．只需点击邀请邮件中的调查网页链接，就可以被SurveyMonkey.com定义为回复。在这项调查中，捕获的粗略回复数量为2031份，在调整重复回复后，有1849名独特的受访者“查看”了调查。然而，观看次数并不一定反映参与程度，因为不需要回答任何问题。

回答完整性的一个更为保守的衡量标准是将“参与”与对特定问题的实际回答联系起来。在本次调查中，调查的第10个问题要求受访者确定与他们的临床/专业工作最相关的区域癌症计划。由于这个问题是将受访者引向特定地区调查部分的条件逻辑的基础，因此在受访者继续进行调查的后续部分之前，需要对这个问题作出回答。在这项调查中，对重复的回答进行了调整，1769名独特的受访者通过回答第10个问题参与了调查。

由于并非所有“参与者”都完成了调查中剩下的54个李克特量表项目，另一种衡量回答完整性的方法反映了“完成”调查中最后一个问题的受访者数量。在本次调查中，对重复的回答进行了调整，1616名受访者完成了最终的调查问题(尽管应该注意的是，只有722名受访者完成了所有调查问题)。

因此，本次调查收集的响应数据提供了四个可以报告的合理分子(图1)．如果我们排除未经重复/独立回复调整的粗略回复数量，在查看(n = 1849)、参与(n = 1769)或完成(n = 1616)调查的受访者数量之间仍然存在相当大的差异。

‎ 查看此图

分母

回复率的分母不同，可以表示收到或打算收到参与调查邀请的个人数量。有许多影响分母的因素需要考虑，包括将邀请电子邮件转发给未知个人、服务器拒绝、自动回复、垃圾邮件过滤器和“选择加入/退出”选项。下面依次阐述这些因素。

向未知个人转发电子邮件邀请

转发邀请邮件会影响实际收到邀请的人数。虽然列表管理和响应/收集选项在转发对分子的影响方面提供了更大的确定性，但要评估对分母的影响则要困难得多。

在这项调查中，有许多迹象表明正在发生转发。例如，在回答调查的第一个问题时，47个人表示他们没有直接收到来自csi.survey@cancercare.on.ca的邀请电子邮件，而是从另一个人(例如，同事/朋友)那里收到的消息。与同一研究对象相关的许多重复回复也表明，邀请/提醒电子邮件被转发到其他电子邮件地址。虽然电子邮件转发导致了分母的增加，但没有明确的机制来确定有多少邀请电子邮件实际上被转发给了意外的收件人。不幸的是，对于如何调整分母(如果有的话)以承认转发的影响，几乎没有指导。有两个主要选项，包括(a)不调整分母，而是调整分子(即，删除由于电子邮件转发而引起的重复回复)，以最大限度地提高响应来自预期研究对象的可能性，或(b)根据转发给其他个人的电子邮件邀请的估计数量调整分母。因此，作为敏感性分析的一部分，我们考虑了将1%(56/5636)、5%(286 /5636)或10%(564/5636)的原始电子邮件邀请转发给其他个人对分母的影响。

服务器拒绝(Bounce-Back)

服务器拒绝通常表示一封电子邮件没有到达预定的收件人，通常会导致一封回复电子邮件给原始发件人，其中提供了拒绝原因的信息。在最初的电子邮件邀请和随后的3封提醒邮件之后，对服务器拒绝进行监控。一些服务器拒绝是由于不正确或休眠的电子邮件地址，而其他拒绝是由于临时(例如，通信故障，消息延迟，邮箱禁用等)和永久(例如，没有这样的收件人，语法/格式错误等)传递失败。对于邀请和3封提醒邮件，346名研究对象(即唯一的电子邮件地址)至少有1次服务器拒绝。

更新了不正确的电子邮件地址，并尽可能重新发送邀请电子邮件。我们确认，这些研究对象中有171人不再担任他们的职位。然而，关于如何处理其他临时或永久服务器拒绝的指导很少。单独检查每个服务器拒绝，我们注意到54个研究对象，所有发送邀请和提醒电子邮件的尝试都被服务器拒绝。对于另外19名研究对象，4次尝试中有3次被服务器拒绝，而对于25名研究对象，4次尝试中有2次被拒绝，对于77名研究对象，4次尝试中有1次被拒绝(表2)．

如果发给研究对象的所有邀请/提醒邮件都被服务器拒绝，该研究对象是否应该从样本中删除，从而减少分母?更复杂的是，我们的回复审计显示，54名研究对象中有2人的4封邀请/提醒电子邮件都被服务器拒绝，他们的回复已经被捕获。最终，我们排除了那些没有收到任何邀请或提醒电子邮件的研究对象(即，所有的电子邮件邀请/提醒都被服务器拒绝)，并对那些仍然捕获到响应的研究对象进行了调整。

自动回复(不在办公室)

大多数电子邮件软件程序(如Microsoft Outlook)中提供的自动回复选项允许个人设置一条消息，在指定的时间内自动回复所有收到的电子邮件。服务器拒绝和自动回复之间的一个关键区别是，服务器拒绝通常表明电子邮件没有到达预期的目标，而自动回复通常表明电子邮件已收到，但预期的收件人可能没有机会阅读和/或回复消息。

自动回复最常见的例子是“不在办公室”回复。原始发件人是否收到“不在办公室”的回复会受到一系列设置的影响，其中一些设置只对在指定时间内从唯一地址收到的第一封电子邮件提供自动回复，而另一些设置则限制将自动回复发送给谁(例如，只对来自个人组织内部或指定的“安全”域的电子邮件进行自动回复)。因此，调查发送者很可能不会收到所有不在办公室的回复。幸运的是，对于收到的那些不在办公室的回复，它们通常表明了个人不在的时间。

在这项调查中，296名研究对象收到了一封或多封自动回复的邀请/提醒邮件(表2)．其中23份表示研究对象在调查期间将不在办公室(即自动回复表明在调查期间延长休假或自动回复4份邀请/提醒邮件)。在使用传统调查方式时，研究人员通常无法获得这类信息。因此，在确定响应方面，关于如何使用它的指导有限。那些明确表示他们将在调查期间离开的人是否应该被排除在分母之外?再次使问题复杂化的是，我们的回复审计显示，23名研究对象中有3人的回复被捕获，他们的自动回复表明他们在调查期间将不在办公室。最终，我们排除了那些每次收到电子邮件邀请/提醒都会收到不在办公室回复或在自动回复中指出他们将在调查期间离开的研究对象，并根据仍然捕获回复的研究对象进行了调整。

垃圾邮件过滤器(垃圾邮件)

垃圾邮件过滤器在确定分母方面存在另一种程度的不确定性。处理垃圾邮件主要有两种方法。第一个涉及到防止潜在不需要的电子邮件到达电子邮件服务器，第二个涉及到自动将潜在不需要的电子邮件标记为垃圾邮件，并允许个人相应地审查和过滤它们。

前一种方法通常由医院和大学等大型组织使用，涉及商业上可获得的服务。然而，尽管这些过滤器在检测垃圾邮件方面做得相当好，但它们也可能会过滤掉非垃圾邮件，因此这些邮件永远不会到达预期的个人。一些商业上可用的垃圾邮件过滤服务保证误报率为万分之一或更高(例如，MessageLabs声称误报率为333333分之一[19])，根据我们的调查，这意味着邀请或提醒邮件不太可能被过滤为垃圾邮件。此外，SurveyMonkey.com的列表管理功能允许我们指定发送邀请和提醒电子邮件的电子邮件地址。因此，我们使用省癌症机构的域名(即' cancercare.on.ca ')来发送邀请电子邮件，作为安大略省医疗保健系统中可识别的域名，应该可以降低邀请/提醒电子邮件被过滤为垃圾邮件的可能性。虽然我们没有研究对象组织使用的特定商业垃圾邮件过滤服务的信息，但当至少收到来自某个组织的电子邮件域的回复时，我们可以推断出该特定组织的垃圾邮件过滤器没有自动过滤出发送给同一组织的电子邮件域的研究对象的电子邮件邀请。

后一种垃圾邮件过滤方法的影响不太明显。大多数电子邮件提供商和软件程序为个人用户提供某种类型的垃圾邮件过滤控制。这包括许多过滤级别，从阻止来自安全列表中未指定的电子邮件地址的所有电子邮件到允许几乎所有(除了最明显的垃圾邮件之外)的电子邮件进入收件箱。还有可自定义的过滤选项，其中用户定义的关键字可以自动过滤掉。例如，如果某人将过滤器设置为排除消息中带有“调查”字样的任何电子邮件，我们的邀请电子邮件将不会收到。

与电子邮件转发相比，垃圾邮件过滤器的问题是，不是所有的研究对象都收到了邀请电子邮件。不幸的是，很难确定垃圾邮件过滤器对实际收到邀请的研究对象数量的影响程度。最终，为了进行最佳估计，我们没有调整分母来考虑垃圾邮件过滤器的影响。然而，类似于我们对电子邮件转发影响的评估，作为敏感性分析的一部分，我们确实考虑了从预期收件人中过滤出1%(56/5636)、5%(286 /5636)或10%(564/5636)的邀请电子邮件对分母的影响。

“选择退出”和“选择加入”

在使用列表管理功能时，Surveymonkey.com要求邀请邮件中包含“选择退出”的网页链接。部分为了防止使用列表管理功能分发垃圾邮件，“退出”选项允许那些发送邀请邮件的个人单击指定的“退出”链接，该链接将个人的电子邮件地址从列表中删除，并阻止进一步的电子邮件发送给该个人。需要注意的是，当用户决定退出时，可能在很长一段时间内无法向他们的电子邮件地址发送电子邮件(例如，根据我们使用SurveyMonkey.com列表管理功能的最新经验，至少1年)。

在这项调查中，我们有126个人主动选择不使用提供的Web链接。另有18人联系了该研究的研究协调员，表示他们不应该被包括在样本中。其中11人(例如，不再是癌症护理提供者)对他们为什么不应该被包括在调查中给出了合理的解释。从分母中，9个被删除，而2个已经开始了他们的响应。其余7人被认为是合格的接受者，因此也包括在分母中。

还有4个单独的请求要添加到我们的示例中。每个人的案例都被审查和接受，然后向每个人发送邀请电子邮件，以便直接访问调查。这反映了一个“opt in”选项，从而增加了分母。

估计分母

考虑到上述因素，对互联网调查分母的任何估计都存在相当大的不确定性。大多数因素，如服务器拒绝、自动回复和垃圾邮件过滤器，往往会减少收到邀请电子邮件的人数，而其他因素，如电子邮件转发，往往会增加收到邀请电子邮件的人数。图2介绍了各种因素对估计分母的影响。

‎ 查看此图

反应率估计和敏感性分析

虽然现时已有确定邮件/电话调查回复率的既定程序[8]，这些调查方式缺乏可立即用于互联网调查的跟踪数据类型。因此，人们需要问，是否应该对互联网调查的回复率进行不同的计算。根据我们的反馈审核，表3给出分子和分母的最大值、最小值和最佳估计值。根据这些估计，进行了敏感性分析，以检查各种假设对总体响应率的影响。根据我们的最佳估计，回复率为32.8%。然而，在分子和分母或多或少保守的假设下，敏感性分析表明反应率可能变化超过12%(27.3%至39.8%)。这是基于5%的电子邮件转发和垃圾邮件过滤效果的估计。当考虑低(1%)或高(10%)估计对电子邮件转发和垃圾邮件过滤效果的影响时，敏感性分析表明，在较低(1%)估计效果下，响应率可能变化超过9%(28.4%至38.1%)，或在较高(10%)估计效果下，响应率变化超过16%(26.0%至42.1%)。

讨论

对特定样本的卫生保健提供者和管理人员进行调查，我们打算使用互联网调查来尽可能地复制传统的调查方式(例如，邮件/电话)。然而，考虑到可用的设计、分发和响应/收集选项的范围，互联网调查呈现出影响回复率决定的独特特征。这一回应审计提出了重要的问题，研究人员关于传统的规则/协议的适当性，用于确定和报告卫生保健提供者和管理人员对互联网调查的反应。

我们同意cherry的声明，建议对互联网调查的进行进行更完整和详细的描述[10］．虽然樱桃清单的大部分都与所有互联网调查相关，但较少强调使用商业上可用的罐装软件程序，如SurveyMonkey.com，针对特定(而不是方便)样本。我们的回复审计表明，同样强烈需要详细信息，包括如何管理使用商业软件程序针对特定样本的互联网调查，如何计算回复率，以及如何防止同一个人的多次回复。这些互联网调查供应商提供的分发/列表管理和响应/收集选项应明确标识，并应说明所选的特定选项的合理性。如果互联网调查供应商提供更详细的信息，说明各种选项对受访者访问、隐私和机密性以及数据捕获的影响，这将是很有帮助的，但如果没有这些信息，研究人员应该提供可用的分发/列表管理和响应/收集选项的任何预先测试的详细信息。互联网调查报告还应包括用于确定回复率的假设的讨论，包括电子邮件转发、服务器拒绝、自动回复和垃圾邮件过滤器的影响。

应该注意到这项工作的一些局限性。首先，这个反馈审计是基于2007年2月通过一个广泛可用的互联网调查供应商(SurveyMonkey.com)进行的调查。然而，SurveyMonkey.com已经修改了其响应/收集选项，突出了该领域的演变性质。此外，虽然许多竞争供应商的Internet调查选项可能相似，但分发/列表管理和响应/收集选项的标准以及收集的响应状态数据的类型是不同的。虽然影响互联网调查回复率的潜在因素是相同的，但有必要进一步规范和分类任何互联网调查应报告的必要描述性信息。其次，应该指出的是，我们目标人群的一个子集的定义特征是需要从共享计算机响应。这影响了我们对所选响应/收集选项的选择，它允许比其他情况下更多的重复响应。第三，我们对邮件转发和垃圾邮件过滤器影响的敏感性分析是基于粗略的估计。虽然我们的目的是使用相当保守的估计来突出这些因素的潜在影响，但在这一领域还需要进行更多的工作，以准确衡量电子邮件转发和垃圾邮件过滤器对回复率的影响。第四，尽管对临床医生的调查并不罕见[20.]，我们的调查的整体回应率(无论如何确定)很低。然而，为了进行响应审核，我们超过5000名研究对象的大样本提供了足够的数据，可以从中检查影响响应率的因素。最后，本次回复审核的重点是与影响回复率的互联网调查相关的技术因素。我们承认，应答者特征等其他因素也可能影响应答;然而，这并不排除需要准确描述如何进行互联网调查和计算回复率。

尽管有人质疑互联网调查是否会成为主流研究的一部分[17，似乎很明显，互联网调查将继续存在。因此，越来越需要改进因特网调查设计特征、分发和所采用的响应/收集选项的文档和报告。随着互联网调查选择的不断发展，需要进一步考虑调查研究的进行和报告方式。樱桃声明是一个重要的起点[10];然而，需要进一步强调使用商业上可用的互联网调查产品进行特定的调查，而不是使用方便的样本。我们希望本文能推动这一重要方法论领域的发展。