原始论文
摘要
背景:减员或退出是许多在线健康干预面临的问题,潜在地威胁到在线随机对照试验的推断价值。
摘要目的:在一项在线体重管理干预的随机对照试验的背景下,85%的基线参与者在12个月测量时失去了随访,目的是检查无响应对关键结果的影响,并探索减少随访调查中损耗的方法。
方法:在12个月的在线随访调查中,700名未回复的样本被随机分配到邮件或电话无回复的随访调查中。我们检查了两组患者的反应率、随访费用、无反应原因和模式效应。我们运行了几个逻辑回归模型,预测对12个月在线调查的响应或无响应,以及预测对后续调查的响应或无响应。
结果:我们分析了210名邮件回答者和170名电话回答者。电话和邮件无应答随访调查的回复率分别为59%和55%。共有197名受访者(51.8%)给出了与技术问题或电子邮件作为沟通手段有关的原因,年龄较大的人更可能给出技术原因;144人(37.9%)给出的原因与干预或调查本身有关。邮寄随访要便宜得多:我们估计每个抽样病例电话调查的成本约为34美元,而邮寄调查的成本为15美元。电话应答可能受到社会期望效应的影响,电话应答者报告的减肥效果明显大于邮件应答者。无应答随访的应答者在关键结果变量上与12个月在线应答者无显著差异。
结论:邮件是减少在线调查的有效方法,而电话随访可能会导致高估治疗组和对照组的体重减轻。在从随机对照试验中得出的结论中,无反应偏倚似乎不是一个显著因素。
doi: 10.2196 / jmir.9.2.e16
关键字
简介
在线干预是一种越来越有吸引力的方法,可以为大量潜在参与者提供各种各样的健康干预措施[
].然而,在线卫生干预措施的一个关键挑战是如何保留受试者,特别是用于衡量结果的后续调查[ ].高流失率或退出率会严重威胁在线干预评估的推断,无论是从外部效度(可推广性)还是内部效度[ , ].在线干预似乎特别容易受到人员流失问题的影响。例如,只有1%的参与者完成了全部12周的恐慌症治疗项目[ ], 33%的学生完成了抑郁症治疗项目的全部五个模块[ ], 35%的人在参加戒烟试验约10周后完成了随访问卷[ ].在他对这个问题的回顾中,艾森巴赫[ )主张“消耗科学”,称“不使用数据本身这应该引起研究人员的极大兴趣,而磨损曲线可能被低估和分析不足。”虽然混合模式设计在调查研究中越来越常见(有关综述,请参阅[
]),作为一种降低成本和提高响应率的方法,这种模式切换在卫生干预中不太常见,特别是涉及在线方法的干预。有一个例外,Tomson等人[ ]在一项针对吸烟干预的邮件跟踪调查中,对无应答者进行了电话采访。在他们随访的84名受试者中,46人有反应(反应率为55%)。他们发现,那些没有回复最初调查的人(39%)比最初的邮件受访者(31%)更有可能在12个月后戒烟。当被问及不退还邮件问卷的原因时,35%的人声称他们已经退还了问卷,20%的人声称他们没有收到问卷。虽然在健康调查中有几次邮件与电子邮件的比较(例如,[
- ]),我们知道没有研究使用其他数据收集模式对在线调查的非受访者进行跟踪。Crawford和同事[ ]对邮件和网络调查的非回答者进行了电话跟踪,以提醒他们完成调查并确定不回复的原因,但不是收集后续数据。克拉克和同事们[ 给参与者分配了电话或邮件提醒,但同样没有使用这些模式来收集后续数据。本文试图更好地理解在线体重管理干预的随机对照试验(RCT)中的减员问题,并找到方法来对抗减员对可以从此类研究中得出的结论的潜在负面影响。我们描述了一个后续程序,以检查人们为什么退出,以及可以做些什么。我们探索了其他模式(邮件和电话)来跟踪在线调查的非应答者。最后,我们讨论了这项工作对在线干预和后续调查的影响。
方法
在线干预的背景
这项无响应的后续研究是一个更广泛的项目的一部分,该项目旨在评估定制与非定制的基于web的体重管理材料。这项研究的细节已在其他地方描述[
].Kaiser Permanente (KP)在美国四个地区采用各种方法(通过临床医生、会员通讯和致信糖尿病和心血管疾病登记处的成员)招募会员。在二零零二年九月开始的六个月内,共有4041名合资格参加者参加。符合条件的参与者是KP的现有成员,年龄在18岁及以上,定期访问网络和正常的电子邮件地址,身体质量指数(BMI)≥25,并表示愿意完成后续调查问卷。参与者平均年龄为45.4岁(SD = 12.1);82.8%为女性,56.6%为白人,35.6%为非洲裔美国人。参与者的平均体重为92.3 kg (SD = 14.4),平均BMI为32.1 (SD = 3.9)。参与者在线完成基线调查问卷,之后他们被随机分配到两个治疗组之一:基于网络的定制(“专家系统”)体重管理材料或基于网络的非定制(“用户导航”)体重管理材料,后者作为对照组。在为期6周的体重管理计划之后,参与者在基线评估后的3个月、6个月和12个月进行了基于互联网的调查。
每个后续调查问卷可用的电子邮件通知被发送给参与者,在被视为每次后续评估的非应答者之前,参与者在3周内收到多达21封电子邮件提醒。所有最初在基线时登记的参与者都被发送电子邮件提示,以完成基于网络的6个月和12个月的调查,无论早期随访浪潮的响应状态如何。没有为完成在线跟踪调查提供奖励。
在基线登记的参与者中,31%的人回应了基于网络的3个月的随访调查,21%的人回应了6个月的调查,15%的人回应了12个月的调查。基线分配到治疗组、基线BMI或各种其他基线测量在消耗方面没有显著差异。然而,考虑到85%的基线参与者在12个月测量时失去了随访,探索这可能对本研究结果产生的影响是很重要的。本论文的目的是研究在线体重管理干预中体重损失的原因,并研究那些丢失和那些在研究中保留的人之间可能的差异。
无应答跟踪调查的设计与实施
鉴于只有21%的原始参与者回应了这项为期6个月的在线调查,在非受访者中进行了一项小规模的试点研究,以探索退出的可能原因。通过电话调查联系了104名参与者,其中44人同意接受采访并提供相关信息,42人提供体重信息。6个月的随访结果在其他地方有报道[
].6个月的回答者和6个月的非回答者在减肥、体重、控制体重的动机、自我效能或项目评分方面没有显著差异。在44名受访者中,20名(45%)报告说没有收到任何关于3个月或6个月随访调查的电子邮件通知。这项初步研究的成功促使我们在12个月的在线调查后设计了一个更大的随访。参与体重管理干预的四个KP区域中,有一个区域由于行政延误批准后续研究而被取消。其余三个金伯利进程区域的机构审查委员会以及群体卫生合作社和密歇根大学核可了研究方案。这样我们总共有3260名基线参与者——1681名治疗参与者和1579名对照组参与者。对三项网上跟进调查的回应模式见
.响应模式 | 治疗 | 控制 | 所有 | |||||
3个月 | 6个月 | 12个月 | 不。 | % | 不。 | % | 不。 | % |
R | R | R | 202 | 12.0 | 162 | 10.3 | 364 | 11.2 |
NR | R | R | 21 | 1.2 | 21 | 1.3 | 42 | 1.3 |
R | NR | R | 29 | 1.7 | 31 | 2.0 | 60 | 1.8 |
NR | NR | R | 17 | 1.0 | 16 | 1.0 | 33 | 1.0 |
R | R | NR | 115 | 6.8 | 113 | 7.2 | 228 | 7.0 |
NR | R | NR | 34 | 2.0 | 29 | 1.8 | 63 | 1.9 |
R | NR | NR | 177 | 10.5 | 192 | 12.2 | 369 | 11.3 |
NR | NR | NR | 1086 | 64.6 | 1015 | 64.3 | 2101 | 64.4 |
总计 | 1681 | 100.0 | 1579 | 100.0 | 3260 | 100.0 |
R =应答者;无应答者
如
,大多数参与者(64.4%)没有完成任何随访调查,而499人(15.3%)完成了12个月的随访(无论他们是否完成了早期的随访调查)。三波随访的反应模式在治疗组和对照组之间非常相似。这里报道的研究跟踪了那些对12个月调查没有回应的人,不管他们对3个月和6个月的调查有什么回应。这使得我们有2761名参与者符合无反应随访研究的条件,其中1412人来自治疗组,1349人来自对照组。考虑到那些没有做任何后续调查的人构成了最大的群体,我们从这一群体中抽取了系统的病例样本,但选择了所有做了一到两次后续调查的人,而不是全部三次。通过这种方式,我们总共选择了700名基线参与者,350名来自治疗组,350名来自对照组。样本量在很大程度上是由预算限制决定的。
我们注意到,这不是对非应答者的等概率选择。与进行过一次或多次随访的人相比,未进行任何随访调查的人在本样本中的代表性不足。然而,我们使用非加权分析,因为我们的重点更多地是模式之间的差异(见下文)和治疗组之间的差异,而不是无应答模式的差异。然而,我们也进行了加权分析,得出了与本文相似的结论。
设计12个月无应答随访的基本原理是基于以下几个预期:
- 我们假设,大部分的消耗可能是由于与体重管理干预的某个特定部分无关的原因。
- 我们预计数据收集模式的改变可能会让许多非受访者重新加入。
- 我们希望评估替代后续策略的成本效益。
特别是,虽然电话随访往往是增加对其他数据收集方式(特别是邮件)的响应的有效方法,但它既更昂贵,又引起人们对社会可取性和仪器设计效果的关注。面试官的出现会影响对社会敏感信息的报道[
].此外,调查问题的视觉和听觉呈现方式可能会影响在两种模式下获得的答案[ ].由于这些原因,我们对邮件随访相对于电话随访的疗效感兴趣。我们期望邮件跟踪在测量属性上更类似于Web,并且比电话更便宜,但是在获得非应答者对在线调查的合作方面需要比电话更长的时间和更低的效率。使用电话进行跟踪调查通常是基于这样的假设:在线问卷已经收到,而那些没有回复的人可能需要说服他们参与。从一种自我管理模式(Web)切换到另一种自我管理模式(邮件)基本上是一种未经测试的方法。但如果它能起作用,它就有潜在的成本效益,以及更大的测量可比性的优势。出于这个原因,我们在没有回复的后续研究中嵌入了一个模式实验,其中300名没有回复的人被随机分配到电话组,400名被分配到邮件组。这种不均衡的分配反映了两种模式的成本差异。
邮件跟踪调查涉及一份邮件。问卷邮寄时附有KP的回执地址和由KP三位区域主任各自签名的求职信。填写完的问卷归还给团体健康合作社(GHC)进行处理。每一份邮寄的问卷都附有一张5美元的钞票,作为完成问卷的答谢。问卷被打印在一张8-1/2英寸× 14英寸的纸上,折叠成小册子形式,最多包含13个问题需要回答。在邮寄过程中发现了两个副本,留给我们的样本是398个邮件箱。
电话调查由GHC训练有素的面试官进行。没有使用预支信或奖励。在不同的日子和不同的时间,多达15个电话尝试。平均访谈时间为5.36分钟。
根据CONSORT模型,给出了无响应后续招聘流程流程图。来自邮件和电话调查的数据被合并到一个数据文件中,并与基线和在线随访反应合并以进行分析。我们首先检查无反应随访调查的结果,然后在12个月的在线调查和无反应随访调查中查看减员和无反应的相关因素。
结果
无应答跟踪调查
响应率
根据先前的研究,我们预计响应率为40%,并且预计电话模式的响应率高于邮件模式。总体而言,698例患者中有400例对无应答随访有应答,应答率为57.3%。不幸的是,我们事后得知,我们的样本中有26例(包括20名受访者)不符合干预条件,因此最终计数为380名受访者。随后的分析基于这380名受访者。
在电话抽样的290例病例中,有170例响应,响应率为58.6%;在邮件样本中,382人中有210人回复,回复率为55.0%。这些比率并无显著差异(χ21= 0.9,P=点)。然而,邮件调查需要更长的时间来完成,并且,如果时间是一个因素,电话模式将在随访开始后的2周,甚至一个月内产生更高的回复率。邮件调查的中位数响应时间为10天(均值= 16.2,标准差= 13.9),而电话调查的中位数响应时间为8天(均值= 8.9,标准差= 6.5)。如果我们在14天停止数据收集,我们将获得61.9%的邮件受访者和78.8%的电话受访者。同样,在28天停止数据收集将获得85.7%的邮件受访者和除一名电话受访者外的所有受访者。最后一份完整的邮寄问卷是在初次邮寄后约6个月收到的。
总体而言,参与者完成的在线跟踪调查数量可预测他们是否完成无应答跟踪调查:对三项在线调查中任何一项都没有回应的参与者中有50.1%完成了无应答调查,相比之下,对三项在线调查中两项没有回应的参与者中有59.8%完成了无应答调查,对三项在线调查中仅一项没有回应的参与者中有65.3%完成了无应答调查(χ22= 9.0,P= . 01)。邮件和电话样本的模式相似。但即便如此,在基线后没有完成任何测量的患者中,约有一半在12个月后仍被带回研究中,进行无应答随访研究。
随访费用
对非受访者进行邮件和电话跟踪调查的相对成本是多少?为了产生粗略的估计,我们将每个操作的总成本分别除以样本大小和完成的数量。电话费用包括开发简短的计算机辅助电话访谈工具和进行调查。邮寄调查的费用包括打印调查表和组装邮包的费用、奖励和邮资的费用以及从退回的调查表中输入数据的费用。
基于这些粗略数字,我们估计电话调查每个抽样案例的成本约为34美元,而邮件调查为15美元。根据已完成的问卷,电话调查的相对费用约为每完成一件57美元,邮件调查为每完成一件28美元。考虑到这种成本差异,邮件调查不仅在回复率方面几乎与电话调查一样有效,而且成本也低得多。
不回应的原因
我们在无反应随访调查中纳入了一些问题,以确定早期无反应的原因。根据为期6个月的试点随访结果,这些问题主要集中在完成在线调查的技术障碍上。
我们首先询问参与者是否记得在12个月的在线随访调查中收到过电子邮件。如果有,我们问他们是否记得读过这条信息。如果他们这样做了,我们继续询问他们是否点击了链接来访问调查。对于那些不记得收到过电子邮件的人,我们要求他们提供目前的电子邮件地址。这一系列问题的结果载于
.邮件 (n = 210) |
电话 (n = 170) |
总计 (n = 380) |
|
收回收到的邮件信息 | 53.8% (113/210) |
43.5% (74/170) |
49.2% (187/380) |
回忆阅读电子邮件信息 | 44.3% (93/210) |
28.8% (49/170) |
37.4% (142/380) |
在那些不记得收到邮件的人中: | |||
你还有邮箱吗? 是的(%) |
87.6% (85/97) |
96.9% (93/96) |
92.2% (178/193) |
在那些不记得读过邮件的人中: | |||
你通常多久查看一次电子邮件? (%每周至少1-2次) |
73.5% (86/117) |
71.9% (87/121) |
72.7% (173/238) |
你经常不打开就删除邮件吗? (至少有时) |
65.0% (76/117) |
65.3% (79/121) |
65.1% (155/238) |
在那些回忆收到电子邮件的人中: | |||
你有没有点击链接进入调查? 是的(%) |
47.8% (54/113) |
31.1% (23/74) |
41.2% (77/187) |
邮件应答者在接收和阅读电子邮件时的回忆率高于电话应答者。原因之一可能是邮件模式给了受访者更多的时间来考虑问题,从记忆中检索信息,甚至检查他们的电子邮件收件箱。
另外13.8%(邮件受访者的36.4%和电话受访者的16.7%)在回忆收到电子邮件的问题上回答“没有”,但他们仍然回答说他们点击了调查的链接。因此,26.1%的受访者(29.5%的邮件和21.8%的电话)报告说,无论他们是否记得收到或阅读过电子邮件信息,他们都点击了调查的链接。
在没有回复的后续调查中,所有表示他们仍然可以访问电子邮件的受访者,无论他们是否记得收到或阅读电子邮件邀请,都在一个开放式问题中被问及没有访问网站或完成调查的主要原因。回答分为几个主题,总结在
.响应没有出现不同的模式,所以组合分布的响应是提出。主题 | 不。 | % |
没有回答问题 | 21 | 5.5 |
技术问题 | ||
访问或提交调查的问题 | 59 | 15.5 |
电子邮件或电脑问题(包括无法使用电子邮件的问题) | 35 | 9.2 |
没有收到或记住邮件,或将其视为垃圾邮件 | 103 | 27.1 |
干预或调查的问题 | ||
对干预缺乏兴趣或缺乏干预效果 | 67 | 17.6 |
调查无聊或太长 | 8 | 2.1 |
医疗或个人原因 | 8 | 2.1 |
拒绝做调查 | 8 | 2.1 |
没有时间或者时机不对 | 53 | 13.9 |
其他 | ||
不记得了 | 5 | 1.3 |
完成了调查 | 13 | 3.4 |
总计 | 380 | 100.0 |
到目前为止,最多的不回复跟进受访者(103人)给出的原因与没有回忆起收到的电子邮件有关。如果我们将此视为技术问题,我们看到共有197名受访者(51.8%)给出了与技术问题或电子邮件作为沟通手段相关的原因。相比之下,144人(37.9%)给出了与干预或调查本身有关的原因(见
).这表明,交流媒介(电子邮件)可能与干预措施一样是影响人员流失的因素。这是我们认为邮件和电话后续调查取得成功的原因之一。当然,这些都是参与者不做在线调查的临时理由,我们不知道那些没有回应后续调查的参与者没有完成调查的原因。为了探究某些类型的参与者是否比其他类型的参与者更有可能报告技术问题,我们将原因分解了
分为三个广泛的组(技术组、实质性组和其他组),并使用基线人口统计和设计变量作为预测因子进行多项逻辑回归。只有年龄显著(P= .03)与给出的原因类型有关,老年人更有可能给出未能完成为期12个月的在线调查的技术原因:45岁及以下的人中有43%提到了技术问题,相比之下,46-60岁的人中有55%,61岁及以上的人有67%。模态差分响应
虽然我们在不同模式下对无应答随访的总体应答率没有显著差异,但是否有些人对其中一种随访模式的应答率比另一种更有可能?虽然回复率相似,但可能是邮件跟踪调查与电话跟踪调查带来了不同类型的人。为了检验这一点,我们运行了一个逻辑回归模型,以完成后续调查为条件,预测一个案例是邮件或电话应答者。我们检查的人口统计学或设计变量——年龄、性别、种族、教育程度、KP地区或治疗组——都没有统计学意义。这表明,不同模式对调查问题的答案的差异(见下文)可能是由于模式本身的特征,而不是两组的差异选择。
模式的影响
随访问卷中包含了几种评定量表。根据文献(例如,[
]),我们预期有两种类型的反应效应。首先,在列表中较早出现的响应选项更有可能以视觉呈现模式(邮件和Web)被选中,而在列表中较晚出现的响应选项更有可能以听觉呈现模式(电话)被选中。换句话说,首因效应可能出现在邮件模式中,而近因效应更可能出现在电话模式中。 ].第二种影响是,在面试官在场的情况下,人们会在电话中做出更积极的(即,社交上可取的)回应。其中四个评分是最负面的反应(例如,一点也不自信,一点也不满意,一点也不积极)排在前面。在电话中,这些回答以同样的顺序被宣读。响应顺序效应(邮件中的首要性,电话中的近因性)预计会对邮件应答者产生较低的均值(更负),社会可取性效应也是如此。换句话说,这两种效应有望相互加强。这些项目的均值和标准差见
.在这四项调查中,我们发现有三项邮件的效果明显低于电话:对控制体重的信心(t341= 2.64,P= .009),对保持建议的身体活动水平的信心(t352= 3.54,P< .001),以及控制体重的动机(t371= 2.66,P= .008)。对于该类型的第四个项目,KP护理满意度评级,没有发现差异(t366= 0.34,P= =收)。其中一项是对在线体重管理信息的评分,评分从最积极(优秀)到最不积极(差)。在这里,反应顺序和社会可取性效应预期会相互抵消。首先,对这一项的不回应高于所有其他项目(20%的邮件受访者和25%的电话受访者没有回答),这可能反映了一些参与者可能没有花太多时间在在线材料上的事实。当我们只看治疗组时,这一点得到了证实:在那些没有看任何在线简报的人中,27.7%的人没有回答这个问题,相比之下,看了一份或多份简报的人有8.1%没有回答这个问题。在那些确实回答了这个问题的人当中,我们发现在这个项目上按模式划分的平均评分没有显著差异(t264= 0.33,P= .74点)。
问题 | 邮件 | 电话 |
第四季度。总的来说,你如何评价你收到的在线体重管理信息? (1 =优秀到5 =差) |
2.97 (1.02) |
2.93 (1.08) |
Q5。目前,你对控制体重有多大信心? (1 =完全没有到5 =非常) |
2.05 (0.97) |
2.34* (1.09) |
Q6。使用从0到10的量表,0表示完全没有动力,10表示非常有动力,你有多大的动力来控制你的体重? | 6.05 (2.57) |
6.72* (2.35) |
迄今为止。你有多自信能保持建议的身体活动水平? (1 =完全没有到5 =非常) |
2.36 (1.09) |
2.76* (1.14) |
处置。你现在的体重是多少?(磅) | 209.6 (46.61) |
208.6 (46.06) |
九方。最后,您对在凯泽永久医疗机构的总体满意度如何? (1 =完全没有到5 =非常) |
3.60 (1.00) |
3.56 (0.94) |
*P< .05,比较邮件和电话(t检验,p值见文本)
对最关键的问题(“你目前体重多少?”)的不回答没有因模式而不同,8.1%的邮件和8.8%的电话受访者没有回答这个问题。在那些回答了问题的人中,电话受访者的平均体重低于邮件受访者;然而,这并没有达到统计学意义(t332= 0.19,P= .85;看到
).如果我们检查从基线到12个月无回复随访调查(关键因变量)报告的体重减轻情况,我们发现显著影响,电话受访者报告的体重减轻情况比邮件受访者报告的体重减轻情况更大,无论是以公斤为单位(电话受访者平均体重减轻3.30公斤,邮件受访者平均体重减轻1.19公斤;t320= 3.1,P= .002)或BMI(电话受访者的BMI平均降低1.20,邮件受访者的BMI平均降低0.45;t315= 2.96,P= .003)。考虑到与电话相关的已知社会可取性效应,我们认为邮件回复比电话回复更“诚实”。这与模态效应文献中的观点一致(例如,[ , ),对社会不良行为或属性的报告越高(对社会不良行为或属性的报告越低),反映出报告的准确性越高。我们的研究结果表明,如果我们只做了电话随访,我们可能会高估治疗组和对照组的体重减轻(模式差异与实验条件没有相互作用)。考虑到邮件模式更类似于基线调查和后续调查中使用的在线测量,我们认为邮件受访者估计的较小体重减轻更能反映事实。电话应答中社会可取性偏见的证据与其他研究的结果相呼应。例如,Eicheldinger等人[
]对消费者健康计划评估研究(CAHPS)的非受访者进行了随访,随机分配参与者进行电话或邮件(使用隔夜递送)随访。虽然他们的回复率低于我们(邮件回复率为23.7%,电话回复率为27.1%),但他们发现,那些通过电话回复的人更有可能对20项绩效指标中的13项给出最积极的回复。类似地,在一项对大公司员工的研究中,他们被随机分配到网络或电话方式进行数据收集[ ],对健康保险计划的平均满意度存在显著差异(网络为6.88,电话为7.32,P< .05)和平均自评健康状况(网络为3.51,电话为3.79,P< . 01)。在邮件和电话的比较中也发现了类似的影响[ ]和网络与电话[ ].然而,我们的研究结果表明,这可能不仅仅是工作中的社会可取性效应;项目的格式或布局的差异也可能产生模式效果[ ].建模Nonresponse
除了来自无应答随访调查的数据外,我们还拥有来自基线调查的所有参与者的信息。在本节中,我们使用这些数据来检查对12个月在线调查以及对邮件和电话无回应的后续调查无回应的相关因素。
与不参与的样本成员所知甚少的横断面抽样调查相比,这样的(在线)干预的优点之一是,在基线时可以收集大量信息,这些数据可用于检查参与的人中谁退出了,谁没有退出。这些数据不仅可以用于检查各子组之间的差异减员模式,还可以用于在分析时对这种模式进行统计调整。
我们运行了几个逻辑回归模型,首先预测对12个月在线调查的应答或无应答,然后预测对随访调查的应答或无应答(包括在符合无应答随访样本的人群中)。下面我们简要地总结一下这些模型。
对12个月在线调查的回应
第一个模型包括以下基线人口统计学和设计变量:年龄、性别、种族、教育程度、KP地区、BMI、研究分配(治疗或对照)。决定系数,R2, [
]为0.030,而Nagelkerke [ ] max-rescaledR2测度为0.052(见[ ]以讨论替代伪R2指数)。这表明,这些基线变量并不能很好地预测参与者是12个月在线调查的受访者还是非受访者。这是令人放心的,因为这些基线特征的减员似乎并没有太大的变化。具体来说,治疗组和对照组的辍学率没有显著差异。基线BMI和性别在12个月完成率方面没有显著差异。KP区域在12个月完成率方面存在显著差异,研究中三个区域的完成率从10.2%到18.8%不等,但与治疗组没有显著的相互作用。年龄与显著(P= .01)对完成有积极影响。少数族裔(非裔美国人和其他种族的人)显著(P= .008)不太可能完成为期12个月的调查,受教育程度较低的人(P= .009)。这两个变量都与较低的互联网接入水平相关,并可能与在研究期间失去互联网接入的更大风险相关[ , ].在这个模型中,我们从基线调查中增加了一组与在线干预相关的行为和态度测量。这些包括参与者是否接受过减肥的医疗建议,他们过去减肥的成功程度,他们的减肥目标,他们减肥的动机,运动和体育活动的频率,自我评估的健康状况,以及对KP的满意度。这些变量的加入并没有显著改善模型的拟合(χ214= 30.7[对于∆in−2 LogL]),产生max重新缩放R20.068。在增加的变量中,只有体育活动水平(P= .03),做轻度运动的人比做中重度运动的人更有可能完成调查,自我评估的健康状况(P= .009),更好的健康状况与更高的完成率相关,在模型下具有统计学意义。换句话说,减肥动机、减肥目标、对KP的满意度、分配到治疗组或对照组等的基线测量,与12个月在线调查的完成没有显著相关性。这提供了一些保证,即无反应偏倚可能并不大——至少就基线测量的变量而言。
最终的模型增加了一组干预过程测量,即参与者是否完成了3个月和6个月的在线调查。正如预期的那样,对一项早期随访调查无反应是对12个月随访调查无反应的高度预测,完成3个月和6个月调查的条件优势比分别为4.0 (95% CI, 2.90-5.53)和13.1 (95% CI, 9.78-17.62)。此外,作为干预措施的一部分,治疗组的患者获得了三份在线通讯。在这一群体中,他们在网站上访问新闻简报的数量可以预测12个月的调查完成情况。12个月时,与访问所有三份通讯的人相比,不打开通讯的人成为受访者的优势比为0.14 (95% CI, 0.07-0.26),而访问一份通讯的人的优势比为0.49 (95% CI, 0.29-0.83),访问两份通讯的人的优势比为0.52 (95% CI, 0.32-0.86)。这些有限的过程指标表明两个结论:(1)积极参与干预的人(即显示访问网站和访问材料的证据)有更高的完成率,(2)对早期随访调查做出回应的人更有可能对最终(12个月)随访调查做出回应。
这些结论有两个含义。首先,在线干预可以为研究人员提供各种积极参与项目的措施[
].这些指标可以包括登录的会话数、在线花费的时间、浏览的页面数等等。这样的过程数据或数据[ ]可以作为此类在线干预的一部分进行常规捕获,它不仅可以用于了解在网站的不同部分花费了多少时间和注意力(以便确定需要改进的地方),而且还可以用于衡量参与者接触刺激材料的程度。这可以作为一个重要的中介变量在分析的各种结果措施。其次,当多次随访是设计的一部分时,对早期随访调查的不回应可以识别出有退出风险的参与者,允许研究人员针对旨在留住这些参与者的干预策略。正在开发的响应式设计策略,以减少调查中的无响应(例如,[ ])同样可以用于对抗在线干预中的不响应。在线研究不仅允许有针对性或量身定制的干预措施,而且还可以定制数据收集和后续战略。对无回应跟进调查的回应
第二组模型与第一组相似,但侧重于完成邮件或电话跟踪调查,包括在无应答跟踪研究中。这些模型基于672名符合条件的参与者,其中380人完成了邮件或电话调查。的max-rescaledR2人口学和设计变量的测量值为0.067。只有年龄仍然是一个重要的(P< .001)预测者对无应答随访调查的反应,年龄较大的人更有可能完成调查。有趣的是,虽然非洲裔美国人比白人更不可能完成这项为期12个月的在线调查,但他们的表现略显但不显著(P= .36)更有可能(OR = 1.25, 95% CI, 0.85-1.85)完成邮件或电话随访调查。高中或更低学历的人与大学学历的人有相似的影响(P= .59,或= 1.3,95% ci, 0.75-2.26)。这可能为以下观察提供了一些支持,即那些失去互联网访问的风险最大的人(老年人、少数民族、受教育程度较低的人)可以通过其他数据收集模式重新纳入分析样本。
与之前一样,与基础模型相比,将基线行为和态度测量添加到该模型中并没有提高拟合性。增加的预测因子中只有一个具有统计学意义(P< .05),那些每天工作之余在电视或电脑前花费2小时或以上的人对后续调查的反应更少(P= .02点)。这表明,完成无应答跟踪调查的决定在很大程度上独立于参与在线干预的原始决定。
调整无响应
在非应答者样本中进行无应答跟踪调查的目标之一,除了探索无应答的原因外,是获得数据,为无应答的统计调整提供信息。在他对人员流失问题的回顾中,Eysenbach [
)认为,意图治疗分析是避免选择偏差的唯一方法,在这种分析中,所有的辍学者都被假设有消极或中性的结果。我们认为,基于损耗或退出的知情模型的加权或归因需要对缺失案例进行更少的假设。正如Hollis和Campbell [33, p. 673-674]所指出的,“……除非对缺失数据所作的假设是有效的,否则没有任何一种imputation方法能够对治疗效果作出无偏倚的估计。”无应答跟踪研究不仅可以减少缺失数据的数量,还可以评估缺失数据的假设。再次引用霍利斯和坎贝尔[33,第674页]的话,“为了充分了解缺失反应的潜在影响,建议进行某种形式的敏感性分析,检查不同策略对结论的影响。”在其他地方描述的工作中[
],我们使用未回复随访的数据对其余12个月在线未回复的数据进行乘法归因[ ].该方法利用了所有可用的数据,同时考虑了由于imputation带来的不确定性。仅使用12个月在线受访者的完整案例分析,我们将得出结论,与对照组相比,治疗对12个月的体重减轻有统计学上的显著影响。然而,使用无应答随访的数据来计算缺失的12个月病例,我们可以得出结论,治疗和对照组之间的差异,尽管仍在预期的方向上,但没有达到统计学意义。这些模型的局限性在于,与无应答病例的数量相比,无应答随访中包含的病例数量较少,以及我们在两种随访模式之间发现的差异。因此,这些结果只能被视为提示性的。然而,它们允许我们在12个月的随访中探索实质性模型对缺失数据的不同假设的敏感性。讨论
我们的研究有几个潜在的局限性。首先,无应答随访是在体重管理干预的背景下进行的,该干预仅限于健康维护组织(HMO)中定期上网的超重和肥胖成员。这可能会限制对其他人群和环境的推广。其次,这项研究没有测试不同的方法来提高12个月在线调查的回复率(例如,通过使用激励)。后续工作的成功可能取决于所获得的初步反应。第三,这是一个嵌入在更大研究中的小规模探索性研究。小样本量可能会限制我们得出统计上可靠结论的能力。
尽管如此,我们还是从这次探索性研究中学到了很多东西。首先,退出在线随机对照试验或干预的患者中有很大一部分可以通过切换数据收集模式重新回来。与在线干预无关的各种技术原因可以解释这种退出的很大一部分原因,而模式切换是使用电子邮件作为通信媒介的不确定性的有效对抗。
其次,我们了解到邮件几乎和电话一样有效。此外,它明显更便宜,在视觉设计和回答风格方面更类似于原始的在线模式,并且没有与面试官相关的社会可取性效应。基于这些原因,我们认为邮件调查产生的反馈比电话调查更接近在线反馈。电话可以是一个有用的工具来提示或提醒受访者返回他们的问卷,但我们认为,如果时间不是一个关键因素,邮件是一个成本效益高的方法来跟踪在线非受访者。在这项工作的基础上,我们在减肥计划的第二项对照试验中实施了一项仅通过邮件进行的无应答跟踪研究[
].第三,像这样的无应答随访研究不仅增加了需要分析的病例数量,而且还帮助我们了解那些退出和完成所有随访调查的人之间的差异。换句话说,我们对治疗效果的分析不需要依赖于完整病例分析所需要的通常夸张的假设。减少无反应或减员倾向有两种方法:一是降低减员率,二是减少或衡量退出者与未退出者之间的差异。
].我们认为,跟踪非受访者——无论是像我们在这里所做的样本,还是所有非受访者——使用不同的模式是一种具有成本效益的方式,可以提高分析能力,减少在线干预和后续调查中相对较高的辍学率可能导致的潜在偏差。致谢
该项量身定制的体重管理研究(THeME)的评估支持来自Kaiser Permanente,该研究由健康媒体公司实施。这项无反应随访研究的支持来自密歇根大学健康传播研究中心(PI Victor J Strecher)的发展拨款,主要资金来自美国国家癌症研究所。无应答随访的数据收集由团体健康合作社进行。HealthMedia公司的工作人员,特别是Al Zielke,在样本选择、数据提供和后续研究方面提供了帮助。
利益冲突
Strecher博士是HealthMedia, Inc的创始人、董事长和首席科学官,该公司开发了本文所述的量身定制的体重管理计划并拥有专有权益。
参考文献
- Evers KE, Cummins CO, Prochaska JO, Prochaska JM。在线健康行为和疾病管理项目:我们准备好了吗?他们准备好了吗?J Med Internet Res 2005 7月1日;7(3):e27 [免费全文] [Medline] [CrossRef]
- Eysenbach G.消耗定律。中国医学杂志,2005;7(1):e11 [免费全文] [Medline] [CrossRef]
- 库克TD,坎贝尔DT。准实验:现场设置的设计和分析问题。马萨诸塞州波士顿:霍顿·米夫林;1979.
- Farvolden P, Denisoff E, Selby P, Bagby RM, Rudy L.基于网络的自助认知行为治疗惊恐障碍的使用和纵向有效性。中国医学杂志,2005;7(1):e7 [免费全文] [Medline] [CrossRef]
- Christensen H, Griffiths KM, Korten AE, Brittliffe K, Groves C.认知行为治疗网站自发用户和试验参与者焦虑和抑郁症状变化的比较。J medical Internet Res 2004 12月22日;6(4):e46 [免费全文] [Medline] [CrossRef]
- 埃特尔摩根富林明。比较两种基于互联网、计算机定制的戒烟计划的效果:一项随机试验。中国医学杂志,2005;7(1):2 [免费全文] [Medline] [CrossRef]
- De Leeuw ED.在调查中混合或不混合数据收集模式。J Off Stat 2005;21(2):233-255。
- Tomson T, Björnström C, Gilljam H, Helgason a .在戒烟热线评估中无应答者更有可能是吸烟者吗?BMC公共卫生2005年5月23日;5(1):52 [免费全文] [Medline] [CrossRef]
- Bälter KA, Bälter O,方德尔E,拉格罗斯YT。网络问卷和邮寄问卷:回复率和依从性的比较。流行病学2005 july;16(4):577-579。[Medline] [CrossRef]
- Harewood GC, Yacavone RF, Locke GR, Wiersema MJ。内镜患者满意度调查的前瞻性比较:电子邮件、标准邮件和电话。美国胃肠杂志2001年12月;96(12):3312-3317。[Medline] [CrossRef]
- 琼斯R,皮特N.工作场所的健康调查:邮寄、电子邮件和万维网方法的比较。占领医学1999;49(8):556-558。[CrossRef]
- Leece P, Bhandari M, Sprague S, Swiontkowski MF, Schemitsch EH, Tornetta P,等。互联网与邮寄问卷:随机比较(2).中国医学互联网杂志2004年9月24日;6(3):e30 [免费全文] [Medline] [CrossRef]
- 克劳福德SD,麦凯布SE,库珀MP,博伊德CJ。从邮件到Web:提高响应率和数据收集效率。在改进调查国际会议上发表的论文;2002年8月;哥本哈根。。
- Clarke G, Eubanks D, Reid E, Kelleher C, O'Connor E, Debar LL,等。克服网上抑郁(ODIN)(2):一项带有提醒的自助抑郁技能计划的随机试验。中国医学杂志,2005;7(2):e16 [免费全文] [Medline] [CrossRef]
- Rothert K, Strecher VJ, Doyle LA, Caplan WM, Joyce JS, Jimison HB,等。综合卫生保健环境中基于网络的体重管理计划:一项随机对照试验。肥胖(银泉)2006年2月;14(2):266-272 [免费全文] [Medline]
- Groves RM, Fowler FJJ, Couper MP, Lepkowski JM, Singer E, Tourangeau R.调查方法。纽约:威利;2004.
- 傅瑞克,李志强,李志强。网络调查与电话调查的实验比较。公共意见Q 2005;69(3):370-392。[CrossRef]
- 图兰格,李普斯,拉辛斯基。调查反应心理学。英国剑桥:剑桥大学出版社;2001.
- 史晓华,李志强,李志强。问卷测量中反应顺序效应的认知模型。入:施瓦茨N,苏德曼S,编辑。社会与心理研究中的情境效应。纽约:Springer-Verlag出版社;1992:187 - 201。
- Eicheldinger CR, Iannacchione VG, Carpenter LC。医疗保险评级:模式重要吗?见:美国统计协会论文集,调查研究方法部分。弗吉尼亚州亚历山大市:美国统计协会;2003:1318 - 1324。
- Speizer H, Greene J, Baker R, Wiitala W.电话和网络:混合模式挑战。论文发表于:第二届电话调查方法国际会议;佛罗里达州迈阿密,2006年。
- 毕比TJ,麦克雷JA,哈里森PA,戴文ME,昆兰KB。邮件调查比电话调查产生了更多的药物使用报告。临床流行病学杂志2005年4月;58(4):421-424。[Medline] [CrossRef]
- 花名册CA,罗杰斯RD,阿尔鲍姆G,克莱因D.响应特征的比较,从网络和电话调查。国际市场研究,2004;46(3):359-373。
- 迪尔曼DA,克里斯蒂安LM。调查模式是调查结果不稳定的一个来源。野外方法2005;17(1):30-52。[CrossRef]
- 张志刚,张志刚。二进制数据分析。第二版。英国伦敦:查普曼和霍尔;1989.
- ;Nagelkerke NJD。关于决定系数一般定义的注记。生物统计学1991;78(3):691 - 692。[CrossRef]
- 应用逻辑回归,第二版。纽约:威利;2000.
- 福克斯公司的数字部门。华盛顿特区:皮尤互联网和美国生活项目;2005.URL:http://www.pewinternet.org/pdfs/PIP_Digital_Divisions_Oct_5_2005.pdf[WebCite缓存]
- ;国家电信和信息管理局(NTIA)。坠入网络:走向数字包容。华盛顿特区:美国商务部;2000.URL:http://search.ntia.doc.gov/pdf/fttn00.pdf[WebCite缓存]
- Glasgow RE, Nelson CC, Kearney KA, Reid R, Ritzwoller DP, Strecher VJ,等。在一项多地点随机对照试验中,基于互联网的减肥计划达到、参与和保持。中国医学杂志,2007;9(2):e11 [免费全文] [Medline]
- Couper MP, Lyberg LE。Paradata在调查研究中的应用。国际统计学会第五十五届会议论文集;澳大利亚悉尼,2005年。
- 格罗夫斯RM,海林加SG。住户调查的响应式设计:主动控制调查无响应和成本的工具。中国农业科学(英文版);2006;29(3):337 - 337。[CrossRef]
- 霍利斯,坎贝尔,什么是处理分析的意图?已发表的随机对照试验的调查。英国医学杂志1999 Sep 11;319(7211):670-674 [免费全文] [Medline]
- 李国强,李国强,李国强。基于多模式信息的非响应偏差分析。在:美国统计协会联合统计会议上提出的文件;明尼阿波利斯、锰。2005.
- 小RJA, Rubin DA。缺失数据的统计分析。第2版。纽约:威利;2002.
- 格罗夫斯RM,库珀议员。家庭访谈调查中的无应答。纽约:威利;1998.
缩写
体重指数:身体质量指数 |
GHC:团体健康合作社 |
KP:Kaiser Permanente |
个随机对照试验:随机对照试验 |
G·艾森巴赫(G Eysenbach)编辑;提交06.11.06;T Beebe同行评审;对作者21.12.06的评论;修订版本收到03.02.07;接受08.05.07;发表13.06.07
版权©Mick P Couper, Andy Peytchev, Victor J Strecher, Kendra Rothert, Julia Anderson。最初发表于《医疗互联网研究杂志》(//www.mybigtv.com, 2007年6月13日)。除非另有说明,发表在《医学互联网研究杂志》上的文章都是根据创作共用署名许可协议(http://www.creativecommons.org/licenses/by/2.0/)发布的,该协议允许在任何媒体上不受限制地使用、分发和复制,前提是正确引用原创作品,包括完整的书目细节和URL(参见上面的“请引用”),并包括本声明。