提高网上调查质素:网上电子调查结果报告核对表(樱桃)

简介

互联网越来越多地用于在线调查和基于网络的研究。在本期的医学互联网研究杂志我们发表了两项方法学研究，探讨了基于网络的调查与基于邮件的调查相比的特点[1，2］．在前几期中，我们曾发表过基于网络的研究，例如在一个网站[3.］．

正如随附的一篇社论所解释的那样[4]以及在之前的一篇综述中[5]，这样的调查可能会有相当大的偏差。特别是，偏差可能来自1)互联网人群的非代表性和2)参与者的自我选择(志愿者效应)。通常在线调查的回复率很低(如果以访问者数量为分母)。因此，网上调查的有效性引发了相当大的争论。本刊的编辑和同行审稿人经常面临是否接受来自网络调查(或电子邮件调查)的研究报告发表的问题。这个问题没有简单的答案。通常情况下“视情况而定”。这取决于首先进行调查的原因、调查的执行以及作者的结论。从方便样本中得出的结论是有限的，需要在论文的讨论部分进行限定。另一方面，我们不会像许多其他期刊那样，例行地拒绝网络调查报告，即使是回复率非常低的调查(典型的电子调查)，而是根据具体情况来决定从网络调查中得出的结论对读者是否有效和有用。 Web surveys may be of some use in generating hypotheses which need to be confirmed in a more controlled environment; or they may be used to pilot test a questionnaire or to conduct a Web-based experiment. Statistical methods such as propensity scores may be used to adjust results [4］．同样，这完全取决于调查的原因和方式。

每一个有偏差的样本都是另一个目标人群的无偏样本，有时只是定义对哪个人群子集假设得出的结论是有效的问题。例如，CNN网站上的民意调查结果肯定有很大的偏见，不能代表美国人口。但我们可以合理地假设，对于选择参加在线调查的CNN网站访问者来说，这些数据具有“代表性”。

这说明了仔细描述如何以及在什么情况下进行调查的至关重要，以及选择回答的样本是如何构成的，可能与具有代表性的基于人口的样本不同。例如，描述发布调查的网站的内容和性质是非常重要的，以便了解填写问卷的人(即，描述被调查者的人口特征)。由关心疫苗接种的父母运营的反疫苗接种网站的调查将有不同的访问者结构，例如，疫苗接种诊所网站。同样重要的是要足够详细地描述问卷是如何执行的。例如，每个想要进入网站的访问者都必须填写它，还是提供了其他激励措施?强制性的调查可能会减少志愿者的偏见。

类似于旨在确保医学文献报告质量的CONSORT声明(用于随机试验)或QUORUM声明(用于系统评价)等建议清单，JMIR正在为作者提供一份建议清单，以确保对电子调查方法的完整描述。根据cherry声明报告的论文将使同行评审员和读者更好地理解样本选择及其与“代表性”样本的可能差异。

樱桃清单

我们将电子调查定义为在Internet或Intranet上进行的电子问卷调查。虽然樱桃的许多项目也适用于通过电子邮件进行的调查，但检查表侧重于基于网络的调查。

虽然清单上的大多数项目都是不言自明的，但关于“回复率”的一些评论是合理的。在传统调查中，调查人员通常报告回复率(提交问卷的人数除以完成问卷的人数)，以便对代表性和偏倚的程度进行估计。回复率低于70%左右的调查(这是一个随意的分界点!)通常会受到质疑。

在网上调查中，没有单一的回复率。相反，有多种计算响应率的潜在方法，这取决于选择什么作为分子和分母。由于没有标准的方法，我们建议避免使用“回复率”一词，并至少在本刊中定义了如何计算回复率、参与率和完成率等响应指标。

在线调查的一个常见问题是，一个用户会多次填写同一份问卷。有些用户喜欢返回调查，并对修改条目的结果进行试验。有多种方法可用于防止这种情况，或至少将这种情况发生的几率降至最低(例如，cookie或日志文件/IP地址分析)。

调查人员还应说明某些(或所有)项目的完成或内部一致性是否使用Javascript(即，在提交问卷前显示警报)或服务器端技术(即，在提交问卷后显示问卷并突出显示强制性但未回答的项目或回答不一致的项目)来强制执行。

希望cherry检查表为调查人员报告网络调查结果提供了一个有用的起点。本刊的编辑和同行审稿人要求作者在提交手稿之前，确保他们充分并根据樱桃检查表报告方法。

	网上电子调查报告结果核对表(樱桃)
项目类别	清单项目	解释
设计
	描述调查设计	描述目标群体，样本框架。样本是方便样本吗?(在“公开”调查中，这是最有可能的。)
IRB(机构审查委员会)批准和知情同意程序
	IRB批准	提及该研究是否已得到IRB的批准。
	知情同意	描述知情同意程序。参与者被告知调查的时间长度，哪些数据存储在哪里，存储多长时间，研究人员是谁，以及研究的目的是什么?
	数据保护	如果任何个人信息被收集或存储，请描述使用了什么机制来保护未经授权的访问。
开发和预测试
	开发和测试	说明调查是如何进行的，包括在填写问卷前是否测试过电子问卷的可用性和技术功能。
招募过程和样本的描述已获得问卷
	开放式调查与封闭式调查	“开放调查”是对网站的每个访问者开放的调查，而封闭调查只对调查人员知道的样本开放(密码保护调查)。
	联系方式	说明与潜在参与者的最初联系是否通过互联网进行的。(调查人员也可以通过邮件发送调查问卷，并允许基于网络的数据输入。)
	调查广告	调查是如何/在哪里公布或宣传的?一些例子是离线媒体(报纸)，或在线(邮件列表-如果是，是哪些?)或横幅广告(这些横幅广告张贴在哪里，它们看起来像什么?)了解公告的措辞很重要，因为它将严重影响谁选择参与。理想情况下，调查公告应作为附录发布。
调查管理
	网络/电子邮件	说明电子调查的类型(例如，是在网站上发布的，还是通过电子邮件发送的)。如果是电子邮件调查，是手动将回复输入数据库，还是有自动的方法来捕获回复?
	上下文	描述发布调查的网站(用于邮件列表/新闻组)。这个网站是关于什么的，谁在访问它，访问者通常在寻找什么?讨论网站的内容在多大程度上可以预先选择样本或影响结果。例如，在反免疫网站上进行的关于疫苗接种的调查结果将与在政府网站上进行的调查结果不同
	强制或自愿	这是每个想要进入网站的访问者必须填写的调查，还是自愿的调查?
	激励	是否提供了任何激励措施(如金钱、奖品或非金钱激励措施，如提供调查结果)?
	时间/日期	数据是在什么时间范围内收集的?
	项目或问卷的随机化	为了防止偏见，项目可以随机或交替。
	自适应的质疑	使用适应性提问(某些项目，或仅根据对其他项目的回答有条件地显示)来减少问题的数量和复杂性。
	项目数量	每一页的问卷题目数是多少?项目的数量是完成率的一个重要因素。
	屏幕数(页数)	问卷分发了多少页?项目的数量是完成率的一个重要因素。
	完整性检查	在提交问卷之前，技术上可以进行一致性或完整性检查。这是这样做的，如果“是”，如何(通常是JAVAScript)?另一种方法是在问卷提交后检查完整性(并突出必填项)。如果这样做了，就应该报告。所有项目都应提供一个不回答选项，如“不适用”或“宁愿不说”，并应强制选择一个回答选项。
	检查步骤	说明受访者是否能够审查和更改他们的答案(例如，通过后退按钮或显示回答摘要并询问受访者是否正确的审查步骤)。
响应率
	唯一网站访问者	如果您提供了浏览率或参与率，则需要定义如何确定唯一访问者。有不同的技术可用，基于IP地址或cookie或两者兼而有之。
	浏览率(独立调查访问者/独立网站访问者的比例)	需要计算到调查的第一页的唯一访问者，除以唯一网站访问者的数量(不是页面浏览量!)如果调查是自愿的，观看率低于0.1%是很正常的。
	参与率(同意参与的独立访问者/首次调查页面独立访问者的比例)	计算填写第一个调查页面(或同意参与，例如通过勾选复选框)的唯一人数，除以访问调查第一页的访问者(或知情同意页面，如果存在)。这也可以称为“招聘”率。
	完成率(完成调查的用户/同意参与调查的用户的比例)	提交最后一页问卷的人数，除以同意参与的人数(或提交第一页问卷的人数)。只有当有一个单独的“知情同意”页面或调查超过几页时，这才有意义。这是一种减员措施。请注意，“完成”可以包括将问卷项目留空。这并不是一个衡量问卷填写完整程度的指标。(如果您需要对此进行测量，请使用“完整性率”这个词。)
防止来自同一个人的多个条目
	饼干使用	指示是否使用cookie为每台客户端计算机分配唯一的用户标识符。如果是，请提到cookie设置和读取的页面，以及cookie的有效期。是否防止用户两次访问调查以避免重复的条目;还是在分析之前消除了具有相同用户ID的重复数据库条目?在后一种情况下，保留哪些条目用于分析(例如，第一个条目还是最近的条目)?
	IP检查	指示客户端计算机的IP地址是否用于识别来自同一用户的潜在重复项。如果是，请说明不允许来自同一IP地址的两个条目的时间段(例如，24小时)。通过防止同一IP地址的用户两次访问调查，避免了重复的条目;还是在分析之前，在给定时间段内具有相同IP地址的重复数据库条目已被消除?如果是后者，保留哪些条目进行分析(例如，第一个条目还是最近的条目)?
	日志文件分析	说明是否使用了其他技术来分析日志文件以识别多个条目。如果有，请描述一下。
	登记	在“封闭式”(非开放式)调查中，用户需要先登录，并且更容易防止同一用户的重复记录。描述一下这是怎么做的。例如，在用户填写问卷后，调查是否从未第二次显示，或者用户名与调查结果一起存储，后来被删除?如果是后者，保留哪些条目进行分析(例如，第一个条目还是最近的条目)?
分析
	不完整问卷的处理	是否只分析完成的问卷?那些提前结束的问卷(例如，用户没有浏览所有问卷页面)也被分析了吗?
	使用非典型时间戳提交的问卷	一些调查人员可能会衡量人们填写问卷所需的时间，并排除那些过早提交的问卷。指定用作分界点的时间范围，并描述如何确定这个点。
	统计校正	说明是否使用了项目加权或倾向得分等方法来调整非代表性样本;如果是，请描述方法。