重新思考抑郁症在线干预中使用与结果之间的剂量-反应关系:随机对照试验

简介

基于网络的心理状况干预已被发现具有中等至较大的效应量[1，2]这与面对面的干预相当[3.-5］．然而，在对基于网络的干预措施的回顾中，用户在试验中完成所有模块的中位数比例为56% [6］．根据药物文献，这种程度的干预被认为是次优的，但没有类似的基于网络的干预模型。鉴于此，目前尚不清楚项目使用程度对在线干预的结果有多重要。

到目前为止，大多数用户粘性报告都是关于退出的。7(未完成试验或提供后续数据的参与者的比例)或完成治疗或坚持治疗(完成干预的参与者)的比例。然而，仅报告用户流失并不能充分描述用户如何与程序交互，也不能告知开发人员为了让参与者获得收益需要完成多少干预。获得这些见解的另一种方法是评估使用或坚持的度量。使用率指的是程序中的活动水平，而依从性指的是用户在程序中的活动与程序开发人员预期的活动模式相匹配的程度。例如，一个用户在一个程序中完成了所有10个模块，他将在模块的使用指标上拥有100%的使用率。然而，如果这些模块应该每周完成一次，而用户只按时完成了其中的6个，那么用户就有60%的遵从性。或者，如果用户在预定的时间内完成了程序中的所有20项强制性活动，则该用户是100%的追随者。但是，如果用户多次完成这些活动，用户的使用统计数据可能会高得多。这两个概念提供了程序内活动的度量，一个关注一般活动(使用)，另一个关注此活动是否符合开发人员的期望(遵循)。因此，依从性是使用的一个特定子集，它有时间因素作为测量的一个组成部分。 Despite these differences, both of these variables provide important information about program engagement and provide an opportunity for researchers to understand whether it is exposure to program material or adherence that is needed to obtain a clinically significant effect.

在测量使用情况方面，基于网络的干预措施比传统的药物试验更有优势，因为有许多现成的客观指标[8］．这些客观的测量包括参与者登录程序的次数，完成的模块数量，完成的活动数量，以及广泛的使用模式，例如在线花费的时间和完成的可选活动的重复。评核可透过综合措施进一步完善[8]，例如每次活动花费的时间或每次登录完成的模块数。尽管在在线干预中获取这些数据相对容易，但很少有研究报告这些数据。即使报告了，通常的做法是只报告退出或单一的使用指标，这不足以描述这些试验中项目的使用水平。因此，很少有关于使用对程序结果的影响的见解。

最近的文章已经开始探索程序使用和结果之间的关系[6，8，9］．例如，基于网站活动的事后中位数分割(以登录次数乘以每次登录时长(分钟)计算)，旨在戒烟的互联网项目的高用户比低用户更有可能戒烟并保持持续的禁欲[10］．在饮食失调中也发现了同样的情况，在在线干预中增加项目组成部分和任务的完成程度，可以预测更好的结果[9，11，12］．同样，当人们通过在线认知行为治疗(CBT)项目的模块数量增加时，焦虑和抑郁的情况也得到了更大的改善。13］．最后，研究发现，更好的在线参与对水果和蔬菜的消费有积极影响。8］．这些分析表明，行为干预的剂量似乎会影响结果[10，13-15］．

最近对网络干预的系统回顾显示，一些潜在的使用指标(登录次数、自我报告的活动完成情况和在线花费的时间)与心理障碍网络干预的结果并不一致[16］．只有完成的模块比例和结果之间的关系似乎是一致的。这些方法背后的假设是，结果和内容曝光之间存在线性关系。然而，剂量-反应之间的关系可能不是线性的，而是曲线的(例如，达到饱和点，不再获得进一步的好处)。同样，社会人口因素也可能改变这种关联[17]或心理特征[18，19］．

无法始终如一地检测剂量-反应关系可能受到所使用的使用指标的影响。因为大多数研究只报告了1或2个这样的使用指标，很少检查这些指标之间的关系，很少有人知道不同指标的相对贡献或它们与结果的关系。以前曾尝试定义使用的度量，最常见的形式是坚持使用[20.，21]，通过制定用户参与的综合衡量标准[8]以及标准化报告[22，23]，但在文献中仍然存在不同的报道。报告中的这些差异可能是因为对使用情况和结果之间的关系或衡量使用情况的最佳方法缺乏共识，这让研究人员感到困惑。鉴于此，本研究旨在评估几种不同的使用指标及其组合对在线抑郁症治疗试验的随机对照试验(RCT)结果的作用。此外，本研究试图确定其中哪一个(如果有的话)在预测和解释临床显著变化方面更重要。假设使用情况与结果相关，完成的模块与结果的关系最强，这与Donkin等人的系统综述一致[16］．

方法

概述

心血管风险E-couch抑郁结局(CREDO)是一项随机、双盲、平行、注意力控制、网络传递的试验，针对具有心血管疾病(CVD)危险因素或诊断的患者的抑郁症状。CREDO的方法和主要结果已在其他地方发表[24，25］．本研究是对干预措施使用情况的二次分析。

参与者

试验参与者从45岁及以上研究中招募[26]，这是一项针对澳大利亚新南威尔士州健康与老龄化的纵向研究。如果潜在参与者年龄在45岁至75岁之间，提供有效的电子邮件地址，自我报告CVD的重大风险因素或病史，并在Kessler心理困扰10量表(K10)中筛查出至少中度心理困扰，则邀请他们参加CREDO试验[27，28]在45岁及以上研究基线数据收集期间。潜在的参与者接受了进一步的筛选过程，以确保目前的抑郁症状水平。一旦被确定为适合试验，参与者被随机分配到使用E-couch(一种互联网认知行为疗法(iCBT)干预的干预组)或HealthWatch(一种在线注意力控制)的干预组。E-couch及其前身MoodGYM [29，30.]，已被证明可有效改善抑郁症症状[31］．为了确定E-couch的使用对结果的影响，本研究仅包括在3个月时完成结果测量的参与者。

干预

E-couch是一个iCBT项目，包含有关抑郁症的心理教育，包括CBT、人际心理治疗(IPT)、应用放松和体育活动。以开放阅览格式[32]， E-couch允许用户以选择自己工具箱的形式选择他们希望参与的治疗方面。为了CREDO的目的，该程序被线性重组，它包含12个模块，要求用户按顺序完成每个模块，而不是能够选择他们想要参与的部分。

活动遍布E-couch。CBT组有12个活动，IPT组有4个活动，运动组有2个活动。放松部分包含了放松练习的记录，但是因为它不需要参与者在程序中输入任何东西，所以它没有作为一个活动包含在这个分析中。看到多媒体附件1-4练习示例的截图。当他们的模块打开时，用户会收到一封电子邮件，如果模块还没有完成，则会在3到4天后再次收到一封提醒邮件。如果他们在课程开放一周后仍未完成，他们会收到一个提醒电话，要求他们返回现场。

结果测量

该研究的主要结果衡量指标为9项基本健康问卷(PHQ-9) [33]，一种广泛使用的自我报告工具，旨在评估社区样本中的抑郁症状。项目的评分范围为0到3，并提供了一个从0到27的总结分数。PHQ-9对重度抑郁症有足够的敏感性和特异性[29，33]并作为个体临床重要变化最小的指标[34］．对于本分析，PHQ-9评分减少5分的临床显著改善的标准定义[33]作为结局指标。这被用来支持一个连续的测量，因为它被认为是最有临床意义的。

使用量度

概述

许多措施被用来评估干预措施的使用情况，这些措施是由项目客观记录的，并不依赖于参与者的自我报告。

完成模块比例

记录了个人完成的12个可能的E-couch模块的比例。一个完整的模块由用户点击模块的每个页面组成，直到他们浏览了所有页面。完成模块不需要时间限制或活动级别，只需要单击模块的页面。

完成活动比例

收集了每种类型的活动部分(即认知活动、关系活动和身体活动)和总体活动完成情况的数据。总共有18个不同的活动可供完成，分布在整个模块中。为了完成更多的活动，用户需要完成更多的模块。为了使一项活动被计算为完成，个人必须以某种方式参与该任务(例如，提供文本或通过单击所需的部分完成该活动)。

程序登录数

记录了参与者在12周内登录该项目的次数。参与者预计每周完成1次登录;因此，他们预计会有12次登录该程序。所有模块理论上都可以在第12周的一次登录中完成(每周提供一个模块，持续12周)。参与者可以根据自己的意愿多次登录每个模块，允许这个指标从1到研究持续时间和参与者可用性施加的未知限制。

已完成的活动总数

用户可以随心所欲地多次完成每个活动，而且不限于18个活动。鉴于此，收集了完成的活动总数。

在程序中花费的总时间

记录了每周登录程序所花费的总时间。如果用户没有退出，程序将继续计时;因此，在登出失败的情况下，每次登录在最后一页上花费的时间被排除在外。这项分析使用了每次登录的平均在线时间和在程序中的总时间。每次登录的平均在线时间上限为60分钟，以减少异常值的影响。这影响了一个参与者;每次登录的平均在线时间从83分钟限制为60分钟。该程序没有定义最小平均时间要求。

每次登录完成的平均活动数

这是通过将完成的活动总数除以登录到程序的总数来计算的。

每次登录的平均分钟数

这是用在程序上花费的总时间(以分钟为单位)除以登录到程序的总次数来计算的。

每次登录完成的平均模块数

这是通过完成的模块数量除以他们登录程序的次数来计算的。

组合模块-活动度量

通过将完成的模块数量(范围0-12)与完成的必修活动数量(范围0-18)相加，得出一个聚合度量值，总范围为0到30。

数据分析

数据分析使用SPSS 20.0版本完成(IBM公司，Armonk, NY, USA)。对数据进行正态性检查，当正态性假设不满足时，采用非参数检验。卡方检验(χ²)，独立样本t和曼-惠特尼测试U使用测试来确定那些坚持研究的人(即在第12周提供干预后结果数据)和那些没有坚持研究的人之间是否有任何差异。采用斯皮尔曼秩相关(ρ)和卡方检验评估人口统计学变量与结局和使用率的单变量相关性。类似地，斯皮尔曼秩相关，独立样本t测试,Mann-WhitneyU使用检验和卡方检验来检验使用变量与临床显著改善之间的关系。

然后使用输入法完成一个二元逻辑回归模型，以评估使用变量预测临床显著改善的能力。人口统计和使用变量包括在回归模型中，如果有P的价值P<。20.for its association with the outcome. Autocorrelations between usage variables were assessed before modeling. Where significant autocorrelations were found (considered to be a correlation ofr>0.80)，变量被确定为先验的(即，更相关)，并进入模型。

伦理批准

所有参与者都获得了书面知情同意，新南威尔士大学人类研究伦理委员会提供了45岁及以上研究的伦理批准。CREDO试验获得了悉尼大学人类研究伦理委员会的伦理批准。

结果

概述

在562名同意并符合试验标准的参与者中，280人(49.8%)被随机分配到E-couch iCBT项目。其中214例(76.4%)患者坚持研究，并提供干预后结果数据。坚持者与未提供年龄、性别、出生国家、婚姻状况或基线抑郁严重程度结果数据者之间无显著差异(表1)．然而，那些在家说英语的人更有可能坚持试验(OR 2.91, 95% CI 1.51-7.38)。如表1，在所有3个基本使用指标上，持久化用户和非持久化用户之间存在显著差异。

坚持研究的人的干预使用情况

在214名参与者中，62.1%(133/214)完成了所有12个模块，79%(169/214)完成了10个或更多模块。总共有2名参与者(1%)没有完成任何模块，但完成了评估。参与者平均完成了项目中18项活动中的9项(50%);完成的活动数量从0到18不等。多个参与者在程序允许的情况下多次完成相同的活动，完成的活动总数从0到44(平均值11.9，标准差9.1)。参与者平均登录程序18.7次(SD 8.3，范围1-65)。在程序中花费的平均总时间为318.3分钟(SD 204.3，范围24.7-1221.7)。

平均而言，参与者每次登录完成0.5个活动(范围0-7.57)和0.6个模块(范围0-2.0)。每次登录的平均在线时间为17.3分钟(标准偏差10.5)，而完成一个模块的平均时间为33.19分钟(标准偏差23.18)。在活动和模块的综合使用方面，平均得分为19.47 (SD为7.49)。

人口统计学因素，使用和结果

概述

总体而言，94名(43.9%)参与者在研究期间获得了临床显著改善。在年龄、教育程度、出生国家、家庭语言、婚姻状况或基线抑郁评分方面，获得临床显著改善的患者与未获得临床显著改善的患者之间没有差异。

年龄越大，上网时间越长(ρ=0.27，P<.001)，更多的登录(ρ=0.19，P=.01)，完成的活动总数(ρ=0.16，P= .02点)。男性完成模块数较多(χ²₁= 5.0,P=.03)。在其他基本使用措施或获得临床显著性结果方面无性别差异(χ²₁= 1.6,P= i)。基线抑郁严重程度与完成模块数之间存在显著相关性(ρ= -0.141，P= 0.04)，抑郁程度越高的人完成的模块越少。然而，基线抑郁严重程度和其他使用指标之间没有显著的关联。年龄、性别和基线抑郁严重程度与使用结果之间的相互作用没有发现关系。

与PHQ-9评分临床显著改善相关的使用因素

研究了基本和综合使用措施与临床显著改善之间的相关性(表2)．在基本使用测量中，在完成的模块数量、登录程序的数量或完成的18项潜在活动的比例方面，获得临床显著变化的患者与未获得临床显著变化的患者之间没有显著差异。然而，在PHQ-9获得临床显著变化的患者(平均351.1,SD 206.4)和未获得临床显著变化的患者(平均292.6,SD 199.8;t₂₁₂= 2.09,P= .04点)。同样，在获得改变的人(平均13.5,SD 9.5)和没有获得改变的人(平均10.7,SD 8.7;t₂₁₂= 2.33,P= .02点)。

在综合测量中，在每次登录完成的平均活动量上，获得临床显著变化的患者与未获得临床显著变化的患者之间存在显著差异(平均差异0.20，范围0.07-0.33;t₂₁₂= 3.02,P=.01)和每次登录的平均在线时间(平均差3.26分钟，范围0.88-5.63;t₂₁₂= 2.71,P= . 01)。没有其他综合使用指标与显著结果相关。

采用二元logistic回归模型，采用后向似然比法对214例病例进行分析。在单因素分析中，总共有6个使用变量与结果相关P<。20.level as prespecified for inclusion in the model, but because of high autocorrelations, total number of activities completed and proportion of activities completed were removed. The combined measures were retained because they were considered a priori to provide a better reflection of use over time rather than the simple quantification of use.

其余的使用指标(每次登录的平均分钟数，每次登录完成的平均活动数量，以及在程序中花费的总时间)以性别和年龄输入模型。在精简模型中，在程序中花费的在线总时间、每次登录花费的在线时间、每次登录完成的活动以及组合的模块-活动度量仍然保留在模型中。其中，只有每次登录完成的活动数量与临床显著改善在统计学上相关(见表3)。

根据Nagelkerke的说法R²统计学上，该模型预测结果的方差为7.4%。该模型预测个体是否会获得临床显著改变的可能性为61.2%。进一步的回归模型使用基于自相关的变量排除敏感性分析。这产生了类似的结果，只有每次登录完成的活动才对最终的模型有重要的贡献。

为了检验用药与预后之间的线性关系，将纳入线性回归的临床显著变化的线性模型和显著用药指标与对数和二次曲线估计进行比较。在分析的最后一步中发现了4个使用变量的显著曲线估计，除了组合活动-模块度量(参见表4)，尽管它们在任何情况下都没有显著优于线性模型。

持久化的使用组和结果

使用模式还通过使用低用户、中用户和高用户的三分位数来探索使用指标。在探讨这种分类与获得临床显著变化的关系时，发现结果与上网时间之间存在显著关系(χ²₂= 6.6,P=.04)，每次登录的在线时间(χ²₂= 6.8,P=.03)，以及每次登录完成的活动(χ²₂= 6.7,P= .04点)。在上网时间变量中，高用户获得临床显著变化的人数明显多于低用户(高用户获得变化= 53.5%，低用户获得变化= 32.4%，P=.01)，在每次登录的在线时间中，高用户获得变化多于中等用户(高用户获得变化= 54.9%，中等用户= 33.3%，P=.01)，在每次登录完成的活动中，高用户获得的变化显著多于低用户(高用户获得的变化= 56.3%，低用户= 36.6%，P=.02)或中等用户(中等用户= 38.9%，P= .04点)。看到图1-3.为这些发现的图形表示。

‎ 查看此图

‎ 查看此图

‎ 查看此图

敏感性分析

以PHQ-9变化评分为连续变量进行敏感性分析。这样可以稍微提高分析的能力，并在分析中包含更多的变量。然而，当完成回归分析时，每次登录完成的活动仍然是结果的唯一重要预测因素。曲线估计不满足每次登录完成的活动的显著性(对数曲线估计:P= 0。06;二次曲线估计:P=.09)和每次登录在线花费的时间(对数:P= .09点)。与临床显著性变化类似，tertile split发现高、低/中水平用户在每次登录花费的在线时间和每次登录完成的活动上存在显著差异。

讨论

主要研究结果

目前关于网络干预中使用的作用的思想流派倾向于借鉴其他治疗范式的文献，并假设从项目中获得的收益与项目使用的水平成正比。这项研究发现，在坚持iCBT计划的参与者中，只有少数客观测量的使用变量与临床显著改善之间存在关系。在线性回归模型中包含的4个使用变量中，只有每次登录完成的活动数量可以独立预测最终回归模型的结果。此外，一些使用变量的非线性模型的重要性表明，使用和结果之间的关系可能不像线性关系那么简单。相反，它支持这样一种观点，即使用的好处可能发生在每次参与该计划期间的高水平活动之后，而不一定是长期参与该计划的结果，并且在该计划中完成的模块数量并不能很好地反映所获得的好处。同样，对使用水平的分析表明，尽管高级程序用户通常做得更好，中级程序用户不一定比低级程序用户受益更多。

通过分析，那些更积极参与该计划的参与者(每次登录时完成更多的活动，每次登录时花更多的时间在该计划上)最有可能从该计划中受益。这些发现与面对面的认知行为治疗(CBT)并无不同，后者是在治疗过程中持续完成家庭作业，最能预测结果。35］．因此，这表明更积极地参与治疗的使用者可能会做得更好。

每个登录度量所完成的活动在结果的方差中所占的比例非常小。一些其他指标无法预测结果可能反映了有限的可变性，特别是关于完成的模块，这是一个以前与结果相关的指标[16］．在这项研究中，模块完成程度(62.1%的参与者完成了所有模块)和登录次数(平均为18次，而完成该项目需要12次)表明使用率相对较高。使用的其他指标显示出更大的可变性，更有可能与结果相关，其中方差最大的变量(每次登录完成的活动)与结果的相关性最强。

正如预期的那样，没有坚持试验的参与者提供了使用水平较低的结果数据。这很可能反映出玩家过早退出游戏，没有接触过游戏内容;因此，他们无法更严格地遵守整个计划。年龄越大的人似乎坚持得越多，这与其他研究一致[36］．然而，在年龄较大的群体中，上网时间较长实际上可能不是一个很好的衡量使用的指标，因为它可能反映出对使用电脑不熟悉或认知处理速度较慢，而不是表明可能影响结果的某些因素。研究还发现，男性完成的模块比女性多，这与之前的研究有所不同[36，37]，尽管最近的系统回顾未能始终找到人口变量与使用之间的关系[37]表明其他因素，如病人的信念和个人动机，也可能影响使用[38］．尽管发现性别和年龄与完成的活动数量有关，但在这些人口统计数据、使用情况和结果之间没有发现相互作用。同样，基线抑郁严重程度、完成的模块数量和结果之间没有发现相互作用。因此，这支持了程序使用对结果的影响大于人口统计数据的观点。

这里确定的使用指标与结果之间缺乏任何强预测关系，这可能会挑战与结果相关的剂量-反应关系的传统观点。本研究中的高使用率可能意味着许多参与者达到了剂量反应平台，他们已经暴露在适当水平的项目中，不太可能从额外的暴露中获得进一步的好处。该模型表明，患者可能会在一定程度上达到治疗饱和，并可能在早期获得该计划的效果。如果是这样的话，我们期望使用中等剂量的药物可以获得疗效，然后在患者坚持干预的情况下保持疗效。在更长的基于网络的干预中可以看到这种效果[15];例如克里斯滕森等人[39]在4到5个模块之间，症状没有进一步改善。相反，在这些与结果相关的使用指标中，与低用户相比，中等用户获得的好处似乎微乎其微，受益的是高用户，这意味着模块交付和依从性之间的差异。

高使用率可能反映了这种分析只选择了坚持研究的参与者，而其他使用-结果关联研究使用了最后的观察结转(LOCF)技术。尽管只保留那些坚持的人可能会使分析偏向于更坚持的人，使用LOCF技术合并了持久性的测量(完成程序的人数)，反过来，导致这些参与者也表现出较差的使用率(因为只有一小部分程序完成)。此外，LOCF也可能低估了干预的整体效果，因为一些研究报告称，发现症状改善的人会退出[37，40]，但LOCF方法假定没有改进。此外，分析可以包括更复杂和更准确的方法来处理缺失的数据，例如多重imputations或带有最大似然估计的混合模型。考虑到在低使用率的病例中很可能出现结果数据缺失(因为没有完成项目和没有提供结果数据)，并且分析的目的是探索这种关系，完整的病例分析是首选。

本分析中发现的使用情况和结果之间的单变量关联与我们最近的综述一致，该综述表明，在报告使用情况的在线干预研究中，大多数(31/33项研究)发现使用情况变量(34/37个变量)与结果之间存在正相关[16］．然而，当进一步的分析完成后，例如在本论文中，这些变量以临床显著变化的形式预测改善的能力是有限的。因此，这些发现加上本分析中的曲线估计可能会挑战使用和结果之间线性关系的看法。这意味着，并不是仅仅接触材料就能改善结果，这可以从基本使用指标(如完成的模块)之间缺乏关联得到证明，而是随着时间的推移逐渐接触材料并积极参与其中，这可以从复合变量的强关系得到证明。鉴于此，我们可以得出结论，集中使用程序(例如，每次登录完成多个模块)或被动接触材料(以完成的模块来衡量)可能不如定期短期使用这些登录的高水平活动有用。

未来的方向

可以根据这些发现提出一些建议。研究发现，那些每次登录完成大量活动的人比那些每次登录完成少量活动的人获得了更大的收益，每次登录次数中等的活动并不比每次登录次数低的活动带来更多的收益，这表明最大化在线使用行为可能会改善结果。做到这一点的一种方法是确保每个模块包含更多的活动，从而鼓励用户更多地参与他们的治疗。这些活动可以包括使用与项目治疗方式相关的活动或多项选择测验来评估学习情况，并参考与错误答案相关的内容。

在每次登录时限制程序暴露，以允许有足够的时间学习、完成活动和技能实现的程序也可能是有益的，还可以加入一个“钩子”，鼓励用户在下一周返回。38］．这一指令和干预的潜在限制性性质需要与用户对程序内自由的感知相平衡，以鼓励持续参与[41］．

提供教育并尽早设定用户需要做什么才能从项目中受益(例如，在线时更活跃)可能是改善项目结果的有用方法。这将包括强调，如果用户在可用时更加活跃和完成活动，他们更有可能获得好处。同样地，鼓励用户多次完成活动，特别是在等待下一个模块可用的时候，也可能改善结果。然而，关于这些策略的有用性的明确结论超出了本分析的范围，将受益于进一步的研究。

进一步的机会是在整个干预过程中测量使用情况和项目收益，以确定用户在什么时候达到治疗饱和，并且在这个时间点之后获得很少的项目收益。相反，这种监测可能表明需要一定程度的使用才能获得好处。确保用户积极参与计划可能需要频繁监测，这本身就会影响干预的结果，并使用具有良好测试-再测试特性的措施。使用这种设计的未来项目还需要考虑用户密集监测的负担，以及这可能增加退出研究的倾向。电子测量自动化为减轻监测负担提供了一种途径。

以前的研究发现，尽管使用程序组件与早期的进步有关，但完成家庭作业与长期的进步有关。42］．鉴于此，开发和使用一种旨在捕捉在线学习的真实实施情况和离线作业活动的完成情况的测量方法，可能是更好地理解程序使用如何影响结果的关键。这可能很简单，比如询问用户是否完成了家庭作业，或者提供他们如何实现上一个模块的学习的细节，就像当前心理治疗中的反馈一样。然而，报告很可能倾向于自我报告偏差，在开发出更复杂的工具之前，可能只能提供粗略的估计。标准化跨试验和项目的使用评估将对理解这些过程有巨大的好处[21并建议跨国非政府组织和开发者团体，如国际互联网干预研究协会，在这一过程中发挥作用。然而，在达成关于测量和定义用法的最佳方法的共识之前，很难在整个试验中实现标准化。

限制

如前所述，只纳入那些提供结果数据的参与者可能会限制结果的泛化性。然而，目前还不清楚这可能对分析产生了什么影响，以及如何最好地管理这一点。使用LOCF实际上可能无法准确地描述这些参与者的进度。这很大程度上是因为LOCF方法假设在这组中没有进展。尽管研究表明，获得益处可能是帮助人们坚持干预的关键[38]，这也可能导致使用者停止使用干预，因为他们认为他们不再需要帮助。鉴于此，将有关使用的假设推广到那些未能坚持干预的人应该谨慎行事。此外，使用研究可能受益于使用更复杂的分析方法(例如，潜在类建模[43，44]或高斯混合模型[45])，以评估是否有更可能作出回应的组别，以及这些组别的用法是否不同。结果和使用的增长模型将能够更好地分析使用-结果的关联。

此外，本试验的具体纳入标准和每种干预措施的独特性可能限制了本分析结果对其他人群的泛化性。然而，最近的研究结果表明，这可能是一个比最初认为的更小的因素，并且与试验相关的抽样偏差实际上可能不会限制试验结果基于人口统计学因素的泛化能力[46］．

最后，尽管数据来自随机对照研究，但该子研究本质上是观察性的，没有发生与使用相关的变量操纵。鉴于此，暗示因果关系的能力是有限的。未来的研究需要探索这些变量的操作，例如控制登录次数以确定无限访问是否会影响结果，探索单个登录网站的使用情况和结果，或者限制每次登录可以完成的活动或模块的数量，以未来检验从本研究结果中得出的假设。

结论

未来的研究将受益于探索使用指标和结果之间的关系，以进一步研究这种关系的本质。虽然该分析发现只有1个指标可预测结果，但这一发现受到本研究背景的限制。未来的研究需要继续在试验和基于网络干预的自然实施中探索这一研究，以确定情况是否如此。