Enlight:移动和基于网络的电子健康干预的综合质量和治疗潜力评估工具

介绍

个人数字设备的广泛分布改变了大大增加公众获得卫生干预措施的潜力;数以万计的健康、保健和医疗应用程序现在可以从在线商店下载[1]。从公共卫生的角度来看，大量可用的电子卫生干预计划使得不可能使用传统的研究方法对它们进行经验性评估。此外，耗时和昂贵的产品评估过程可能导致试验中研究的技术在结果公布时已经过时[2]也可能使卫生系统的领导者难以与潜在的供应商接触[3.，4]。敏捷科学试图通过关注一种适应性强且灵活的科学过程来支持干预措施的集体开发和评估，从而回答其中的一些挑战[5]，同时考虑到支持数字干预的技术的快速变化[6]。然而，尽管研究方法有所发展，但患者和医疗专业人员可以通过网络浏览或访问移动应用程序商店下载并使用大量可用的和未经检查的程序。更复杂的是，使用这些项目的环境与研究中的参与者是不同的，在研究中，参与者是主动招募的，为填写评估付费，并安排了登记预约。因此，参与者在研究中获得的一些支持并没有转化为现实世界，这可能会影响干预结果。不幸的是，现有的基于用户的评级系统收集了现实世界中的评估，并不是为了提供医疗适当性、安全性或有效性的衡量标准而设计的[7]。

为了解决这一评估挑战，已经开发了基于标准的评级量表。这些量表然后由训练有素的评分员根据核心概念客观地检查和评分电子健康干预项目的质量，每个核心概念由不同的标准组成[8-11]。由于不采用明确界定的评分制度，评分往往不太可靠，因此使用这种评分制度的重要性得以加强。[7]。在促进对现有电子卫生干预措施的成本效益评估方面，这些工具可以使利益相关者能够在实证测试之前讨论项目的潜力[4]并提供支持用户推荐系统的信息[12-14]。虽然这些工具有几个潜在的用途，但我们将涉及两个方面，我们认为这些工具对评估电子卫生干预措施的贡献是重要的，这是以前没有涉及的:检查与项目治疗潜力相关的质量领域和工具的普遍性。

与程序治疗潜力相关的质量评级领域

说服设计和行为改变原则

说服式设计旨在了解影响人们行为和决策的因素，然后利用这些信息来设计引人注目的用户交互[15，16]。有趣的是，尽管这些概念已被证明在评估电子健康干预潜力方面很重要，但以前没有任何评级量表旨在使用不同的概念来评估电子健康干预项目的质量，并与劝导设计或行为改变质量标准有关。例如，Kientz等人[17]比较了Nielsen和Molich的可用性启发式的性能[18并证明了说服启发式能够在说服、文化和信息问题方面识别更严重、更相关的界面问题。Kelders等人[19表明说服设计的元素独特地解释了基于网络的电子健康干预依从性的差异，Webb等人[20.[]表明，更好地结合了行为改变理论的电子卫生干预措施也往往对增加积极的健康相关行为有更大的影响。总之，这些研究表明，项目说服力设计的质量直接影响其治疗潜力，因此在评估这些项目时必须加以解决。

治疗联盟原则

以前没有任何质量评定量表直接评估电子健康干预项目所培养的治疗联盟。总的来说，关注非技术干预的研究表明，治疗联盟是预测心理治疗成功的最有力的措施之一(例如，[21-23])，并提出了它在预测医疗领域干预质量方面的前景(例如，[24-27])。然而，评估用户和软件程序之间潜在的治疗联盟需要重新检查和调整原始概念，这适用于人与人之间的治疗关系。

研究表明，与电子健康干预项目的治疗联盟确实存在，并且这种联盟可能在提高依从性方面发挥作用。28，29]和效能[30.这些项目。学者们指出，在电子健康干预措施中嵌入的关系因素的差异，使一些项目更好地培养与用户的治疗联盟[31-33]。虽然这些检查目前属于初步性质，但需要一种标准化的评估措施，以充分把握电子治疗联盟的概念及其在产品质量整体图景中的地位。

总体而言，有必要制定标准化的操作定义，以评估电子卫生干预项目各方面的质量[34]，包括与治疗潜力有关的研究[4]。为了最好地处理每个质量领域的独特贡献，应该考虑到不同标准的完整范围。这种评估还将使利益相关者能够调查不同质量领域之间的相互作用及其对结果的影响。

工具普遍性

另一个有待充分研究的方面是，基于标准的评级工具是否能够使我们可靠地对电子卫生干预计划进行评级，这些计划是为在不同的交付媒介(例如，手机、个人电脑等)中使用而开发和设计的。这种可靠的评级将能够审查利用多种交付媒介的项目，并在不考虑其交付媒介的情况下比较项目的质量。最近，Gomez Quiñonez等[35表明，与相同的移动健康应用程序相比，针对成人体育活动的基于网络的应用程序提供了更好或相似的结果。随后，在最近对数字父母培训计划的系统回顾中，只有一个移动应用程序被确定，它被用作治疗的辅助手段，而大多数计算机程序被用作独立干预[36]。可能是，对于某些治疗目标，不同的设计方面限制了一种传递介质的潜力，这可以在使用相同的评估框架时进行检查。质素准则的本质是与产品设计方面的广泛原则有关，方便在不同情况下使用。[37]。就工具的普遍性而言，剩下的问题集中在使用相同的标准化措施来评估针对不同临床目标(例如，与医疗条件相关的行为，心理健康)的项目的能力上。在以往电子健康评估量表的开发过程中，基于不同临床目的的评估的信度矩阵没有得到证明。在工具开发阶段注意通用性是很重要的，因为评分基准的开发可能会受到评审程序的性质的影响。

研究的目的是

文献中的空白为Enlight的发展奠定了基础，Enlight是一套基于标准的测量方法，旨在使学者能够根据不同的质量概念客观地评价电子卫生干预措施，而不管其交付媒介或临床目的如何。因此，本研究的目的是:(1)通过全面的系统回顾确定相关的出版标准，该标准还涉及与说服设计、行为改变、治疗联盟/原则(涉及电子保健和移动保健干预措施的不同方面，包括之前未纳入的所有概念的系统审查，并将使该工具能够建立在对该领域当前专门知识的全面审查的基础上);(2)开发Enlight，这是一套基于标准的质量措施，与电子健康计划的各个方面相关;(3)建立评价不同分娩介质和临床目的的措施的可靠性和通用性;(d)检验不同质量构念之间的相互关系以及它们与初步效度测量之间的相互关系。

方法

本研究分为两部分完成，每一部分都反映了所使用的不同程序。第一部分，“光线开发”，包括对质量标准的系统搜索，将这些标准分类为核心领域和子类别，以及不同尺度的创建。第二部分涉及信度测试，并进一步分析质量构念与初步并发效度测量的相关性之间的相互关系。正如所强调的，我们检查了不同递送介质和临床目的的结果。

光线影业发展

质量标准的系统评审和收集

系统检讨是按照“系统检讨及综合分析的首选报告项目”指引进行的[38)(见多媒体附录1获取所使用的PsycINFO数据库搜索词的完整列表)。我们对2000年1月1日至2016年4月8日期间发表的英文文章进行了全面的计算机搜索，其中包含明确的基于Web或移动应用程序的质量标准。由于科技发展迅速，搜寻时间只限于2000年[2]并反映在很大程度上满足当今用户期望的技术[4]。对于一般质量标准，我们搜索了不同组合的标准(例如，“标准”或“原则”)、评估(例如，“评估”或“测量”)和交付媒介(例如，“移动*”或“网络*”)的论文。我们还搜索了不同标准组合的论文(例如，“标准”或“原则”)，特别是与说服设计和行为改变相关的论文。通过检查已确定论文的参考文献列表和以前的综述文章，手动搜索其他参考文献。我们还通过谷歌搜索来审查灰色文献，查找关键网站(如尼尔森诺曼集团)，并向专家征求建议。为了识别在治疗联合/原则方面包含明确质量评级标准的英文文章，我们对2016年4月8日之前发表的PsycINFO、PubMed和Science Direct数据库进行了全面的计算机检索。我们检索了与心理治疗领域的质量标准(如“潜在”或“标准”或“原则*”)相关的论文，以及与治疗联盟问卷相关的论文。

数据提取和分类

在从确定的来源提取标准之后，我们建立了一个多学科咨询小组，以支持将这些标准分类为核心领域和子类别，并支持制定措施的项目和类别(参见多媒体附录2咨询小组)。由于确定治疗联盟评级的标准并不关注电子健康干预(而是关注人类治疗师)，因此主题分析[39]是为了重新定义电子卫生干预方面的这些标准，作为对它们进行分类和建立最终量表之前的初步步骤。这一步骤由三名有执照的临床心理学家执行。

光线影业测试

确定相关的电子卫生干预计划

为了建立该工具的普遍性和可移植性，我们在针对与慢性医学疾病(即与健康相关的行为)或心理健康相关的可改变行为的项目以及通过移动应用程序或网站(通过个人电脑访问)提供的项目上测试了Enlight。有系统地甄别相关计划，是根据《棱镜计划》声明指引[38)(见多媒体附录3用于识别免费电子健康干预项目的搜索词)。对于与健康相关的行为，我们的目标行为被认为是美国慢性疾病导致死亡的主要可预防原因之一[40:饮食、体育活动、戒烟和戒酒。对于心理健康，我们的搜索重点是抑郁、焦虑、心理健康和幸福。对于网站和移动应用程序，我们只包含针对特定条件的免费使用程序，这些程序都是用英语发布的。

为了识别相关的移动应用，我们于2016年9月5日对Google Play商店进行了系统搜索，使用与每种情况相关的搜索词(例如:diet: diet or weight loss)。移动应用程序的入选标准是(1)英语，(2)免费，(3)在仔细检查了不同Android类别的程序类型后，来自Android类别“健康与健身”和“医疗”。为了确定相关的网络项目，我们于2016年9月5日进行了一次系统搜索，使用谷歌搜索查询每个条件(例如，抑郁症，戒烟)以及“免费在线”和“自助”等术语。对于每一种情况，我们都研究了在前两页找到的有机结果，因为研究表明，很少有用户会浏览第二页以外的内容[41，42]。如果在这些自然搜索中找到了指向程序列表的源，我们也会将这些程序包含在内。通过搜索手机应用程序和网站生成的列表然后按标题进行筛选，以删除重复并排除无关的程序(例如杂志)。在排除之前，使用Google Play或网站主页对标题不明确的节目进行了检查(由非节目质量评分者进行检查)。使用随机化网站[43]，然后为四种条件(两种传递媒介(移动/网站)×两种临床目标(与健康相关的行为/心理健康)中的每一种随机选择24个电子健康项目，总共达到96个项目。例如，在此过程中，随机选择24个针对健康相关行为的移动应用程序。

评级机构的培训

不同的评分者评估项目的质量(KF)和检查表(NM)部分，研究的主要作者(AB)作为这两个部分的第二个独立评分者。总共有12个项目(从随机列表中选出四个条件中的前三个)被用来对量表进行中试。作为这个过程的一部分，我们还检查了专家推荐的其他领域的项目，因为它们的质量很高。这种方法使编码器能够定位转录错误并改进编码方案。开发的一个目标是在构造水平上实现高的互解释器可靠性，以便光线用户可以可靠地呈现和比较不同程序之间的构造分数。为了实现这一目标，改进过程遵循了心理学领域主题和投射测试开发基准的方法[44-46]。在此过程中，编写了基准，改进了代码，并开发了初步手册。一旦评分员(独立地)对节目进行了评分，就会同时分享评分。然后，评级人员开会讨论评级，并对比额表基准作出适当的澄清和调整。为了最大限度地减少潜在的偏差，当出现分歧时，第三方检查盲法评级，并进一步讨论评级，以便最终改进代码。

可靠性测试

与该领域以前的考试相一致的[11]，最小样本量为41，以87%的保证度确定真正的互译器信度是否在0.80的样本观测值的0.15范围内[47，48]。因此，我们对42个移动应用程序(21个针对心理健康，21个针对健康相关行为)和42个网站程序(分布相同)进行了评级。因此，我们的信度测试还包括42个针对心理健康的项目和42个针对健康相关行为的项目，总共84个电子健康干预项目被独立评估。

本文给出了基于评级者评级的所有Enlight类别的分析，除了安全检查表，因为安全项目是基于从访问产品服务器的各方检索到的信息(而不是基于评级者的评级)。每个质量评估子量表的互译者信度使用类内相关系数(ICC)来测量[49]利用绝对一致的双向混合效应模型[50]。核心域的内部一致性使用Cronbach alpha计算，它反映了一组项目作为一个群体的密切相关程度[51]。在分类量表(Enlight核对表)中，与客观要求有关的项目没有进行内部一致性检查，因为没有假设核对表项目之间具有同质性(不同的核对表项目可能与构念的不同部分有关)[52]。因此，确定了每个分类项目的互译信度。科恩·卡帕(Cohen kappa)衡量的是两个评分者之间达成的一致程度，高于随机一致的总体概率[53]。

进一步分析

总体而言，在调整时，检查了分娩介质和临床目标在质量评分和相互关系方面的差异P基于Benjamini-Hochberg校正的值[54]。不同质量评价之间的相关矩阵采用Pearson相关检验。这些评估之间的关系也使用条件概率方法进行了研究，该方法测量了在另一事件发生的情况下，一事件发生的概率[55]。这种分析的目的是检查在符合另一种质量标准的产品的总样本中符合某一质量标准的产品的百分比。这种方法使我们能够检查一个质量结构中的特定范围分数是否与不同结构中的相似范围分数相关联。

初步的并发效度是通过检查不同质量结构和选定变量之间的相关性来评估的，这些变量与程序的可接受性或有效性有关。基于几个质量结构的综合质量结构分数也被添加到这个分析中，以检验将几个概念总结成一个分数的好处。所选变量中的两个，可信度检查表和由研究证据支持的程序(循证程序)，是作为Enlight的一部分开发的，将在与Enlight开发相关的结果部分进行描述。

第三个变量是程序受欢迎程度，目的是根据选择使用程序的人数来检验程序的初步可接受性。对于网站，我们记录了Alexa流量排名[56]，它根据平均每日访问量和网页浏览量的组合来估计一个网站的受欢迎程度[57]。此流量排名是在我们将排名与SimilarWeb流量估算器[58]，得到了相似的结果。我们从分析中排除了嵌套在较大网站中的基于web的程序，因为预计有很高比例的用户访问该网站的原因与干预程序无关。手机应用下载量来自Google Play，其中显示了每款应用的下载量范围(如500-1000);对于每个程序，都记录了下限(例如，500)。

结果

光线影业发展

电子和人工检索共产生7903条记录(见多媒体附录4对于流程图)。通过第一次筛选，共检索到181篇论文进行详细评估，共有99篇来源符合所有纳入标准(76篇来自同行评议期刊，9篇来自会议论文集，7篇手稿，6个网站和1本书)。本文提供了标准收集过程中使用的来源的完整列表(参见多媒体附录5，来源列表)。

总的来说，从来源中提取了1252个项目;143项被认为与电子健康产品的评估无关，633项被认为是重复的，总共留下476项标准。确定的标准然后在迭代过程中分组并组织成10个构造(参见表1)和创建Enlight的三个部分:分类(即根据公认的类别对程序进行分类)，质量评估和检查清单(多媒体附录6光线影业)。

质素评估组

质量评估部分旨在反映电子保健干预措施的不同质量。它由25个项目组成，分为与电子健康干预计划相关的六个核心结构:可用性、视觉设计、用户参与、内容、治疗说服力和治疗联盟。另一个结构是(对节目潜力的)总体主观评价，要求评分者在完成核心概念评分后，对整个节目进行主观评价。所有构建都基于启发式评估，使程序的检查独立于经验检查，建立在1到5的范围内(1=非常差;2 =差;3 =公平;4 =好;5=非常好)，并通过平均组成它们的项目来计算。

清单部分

总的来说，检查清单是基于公认的标准，涵盖了与产品使用相关的不同领域，包括可信度、基于证据的程序(作为程序可信度的一个独特部分)、隐私解释和基本安全性。这些检查清单不会直接影响最终用户对产品功效的体验;但是，列表中包含的标准可能会使用户(或提供者)暴露于公认的风险或收益中。这些指标是通过汇总每个分类项目的得分来计算的——不包括基于证据的项目，因为它是基于五分制的。隐私解释和基本安全检查表是唯一得分越低就意味着质量越好的指标。基本安全性检查表是唯一不基于评级人员的评级，而是基于从访问产品服务器的各方检索到的信息的度量。

光线影业测试

可靠性测试

电子搜索总共产生了2227个移动应用程序和1283个基于网络的程序多媒体附录4对于流程图)。通过第一次筛选，235个应用程序和502个网站被排除为重复，1509个应用程序和665个网站被排除为不符合纳入标准。剩下523个应用程序和116个基于网络的程序。通过随机化程序从中选择96个电子健康项目，其中12个用于培训过程，84个用于可靠性检验。用于本文分析的各种程序收到的分数可在多媒体附录7(项目的得分)。

表2和3.给出了Enlight分析的分类的描述性统计、Cronbach alpha和ICCs。构成质量评估部分的项目的描述性统计数据可在多媒体附录8(质量部分项目的描述性统计)和可信度检查表和隐私解释检查表项目(在实质性到突出的协议范围内)的解释器kappa信度分数可在多媒体附录9(可信度和隐私解释核对表项目的kappa可靠性分数)。

Enlight分类的内部一致性对于总样本来说非常高(Cronbach alpha:范围。83-。90，中位数为0.88)，同时也分为不同的输送介质(移动Cronbach alpha:范围为0.83 -。91，中位数0.88;网站Cronbach alpha:范围。78-。89, median .85) or clinical aims (health-related behaviors Cronbach alpha: range .77-.90, median .86; mental health Cronbach alpha: range .84-.90, median .87). The interrater reliabilities of the Enlight categories were in the excellent to almost perfect agreement range for the total sample (ICC: range .77-.98, median .91) and also when separated into delivery mediums (mobile ICC: range .82-.99, median .92; website ICC: range .73-.97, median .86) or clinical aims (health-related behaviors ICC: range .72-.97, median .90; mental health ICC: range .79-.99, median .89). As can been seen in表2在内容、可信度清单、循证计划和隐私解释清单方面，基于网络的计划与基于移动的计划之间存在显著差异，均倾向于基于网络的计划。在分娩介质和临床目的之间，Enlight分类评分没有发现其他显著差异。

进一步分析

质量评估构念之间的Pearson相关性见表4．在整个样本中，可用性与其他构念不相关。所有其他构念均表现出显著的、中等至强烈的正相关(r:范围0.34 - 0.86;所有P≤措施)。在用户参与度、内容、治疗性说服力和治疗性联盟之间发现了一种强烈的正相关模式(r范围:0.68 - 0.86;所有P<措施)。当分为两个临床目标(与健康相关的行为，心理健康)时，质量评估结构之间的相关性相似。然而，在不同的分娩媒介之间发现了一些差异。因此,表4并给出了不同输送介质的相关矩阵。在手机应用程序的样本中，可用性与其他结构无关。在基于web的程序样本中，发现可用性和其他结构之间存在弱到中等的正相关关系。与手机应用程序样本相比，基于web的程序样本中，视觉设计与大多数其他结构之间的相关性在数字上较低。

为了进一步检验可用性与手机应用样本中其他结构之间的关系，在排除了功能很少的手机应用后，重新计算了这些相关性(n=12;查看在研究中标有“a”的移动应用程序多媒体附录5）.评分者认为这些手机应用获得高可用性分数只是因为它们非常简洁，因此容易学习和使用，而不是因为特定的设计方面提高了它们的可用性。对于剩余的移动应用样本(n=30)，可用性与其他结构(视觉设计:r= 55,P= .002;用户参与:r=点,P= .02点;内容:r= .41点,P= .03点;治疗说服力:r= .35点,P= .055;联合治疗,r= .57,P=措施)。

为了进一步检查用户参与度、内容、治疗说服力和治疗联盟之间的强相关性模式，独立于交付媒介或临床目标，通过检查在另一个结构中获得公平或更高分数的程序样本中，在一个结构中获得公平或更高分数(≥3.0)的程序的百分比，进行了条件概率分析(图1）.可用性和视觉设计也被加入图1向读者展示所有质量结构的概述。

作为图1结果显示，100%在治疗说服力或治疗联盟方面获得公平或以上分数的电子健康干预计划在用户参与度和内容方面也获得了这个范围的分数。对于在用户参与度或内容方面获得公平或更高分数的项目，在治疗说服力或治疗联盟方面获得相同分数范围的项目的百分比在33%到64%之间。实际上，在用户参与度或内容方面获得公平的分数并不一定意味着该程序在治疗说服力或治疗联盟方面也获得公平的分数。在用户参与度和内容之间也出现了类似的模式，在用户参与度方面获得公平或更高的分数意味着该节目最有可能在内容方面获得公平或更高的分数(94%)，但这种模式在相反的方向上并不明显。最后，该图表明，大多数在可用性以外的任何结构中获得公平或更高分数的程序在可用性方面也获得了相同范围的分数(77.6%至88.2%)。

‎ 查看此图

初步并发效度

表5提出了质量结构与一般主观评价、可信度检查表、循证程序(实证研究证据)和程序受欢迎程度分数之间的Pearson相关性。值得注意的是，一般主观评价被放在这个表格中，因为它适用于对项目的一般检查，并且从组织的角度来看;然而，这个变量被认为是有偏见的，因为这个评估是在评分者对质量结构进行全面检查之后进行的。三个综合质量结构得分也被添加到这个分析中:(1)用户参与度、内容、治疗说服力和治疗联盟得分的平均值;(2)不包括治疗说服力和治疗联盟的所有质量构念的平均值(传统总数)，以及(3)所有质量构念的平均值(总数)。

总体而言，没有一个构念的相关模式优于其他构念;然而，用户粘性、内容、治疗说服力和治疗联盟与所有变量呈正相关，其中大部分显著(13/16;r:范围0.22 - 0.81;所有P< . 05)。综合得分与可信度检查表、循证计划和计划受欢迎程度得分(r:范围0.23 - 0.40;所有P< . 05);与其他综合分数相比，传统总分在数字上表现不佳。所有的综合得分与所有选择的变量都显示出显著的正相关。

使用经Benjamini-Hoffman校正的Fisher Z-transformation，在不同的传递介质或临床目的之间，Pearson相关性没有发现显著差异P<。在交付媒介之间，发现可用性和可信度检查表相关性、可用性和循证程序相关性存在显著差异。这些相关性在基于移动的项目中呈负相关(r= -。34和r= -。37，respectively) and positive in Web-based programs (r=。27和r=。31，respectively).

讨论

Enlight是一套全面的评估工具，用于评估电子健康干预项目的质量。它是在对电子健康和移动健康干预措施的不同方面进行首次系统评估后开发的，包括说服性设计、行为改变和治疗联盟原则。作为质量评估部分的一部分，有两个概念与项目的治疗潜力有关，在以前的量表中没有出现(例如，[10，11])，即治疗性说服和治疗性联盟。据我们所知，Enlight也是第一套基于启发式的质量测量方法，它包括单独的部分，一个用于覆盖用户体验的质量方面，另一个用于不直接改变用户程序体验的质量方面(例如，团队的可信度不是质量评估部分中任何结构的一部分)。结合建构层面的高互译信度评分(ICC:范围0.77 -)。98，中位数0.91)，这些发现表明，Enlight不同于以往的工作，它使利益相关者能够客观地检查个体质量结构;这样看来，Enlight是一套尺度，而不是一种质量衡量标准。

结果表明，检查治疗说服力和治疗联盟作为电子健康干预计划的主要质量结构的一部分是重要的。最重要的是，一项条件概率分析显示，100%在治疗说服力或治疗联盟方面获得公平或更高分数的电子健康干预计划在用户参与度和内容方面获得了相同范围的分数。在用户参与度和内容得分为中等或以上的项目中，只有33%至64%的项目在治疗性说服力或治疗性联盟方面获得了相同范围的得分。这意味着，尽管上述四种构念之间存在强烈的正相关，但它们之间的关系更为复杂:在用户参与度或内容方面达到一定的分数标准并不一定意味着在治疗构念中也能达到这一标准，因此有理由对这些构念进行单独评分。其次，当检查综合得分与预期与项目可接受性或其有效性相关的变量之间的相关性时，不包括治疗说服力或联盟性的综合得分在描述性上表现不如其他综合得分，但差异很小。然而，总的来说，这些初步发现与其他研究的发现是一致的，表明说服性设计和行为改变原则是理解电子健康干预项目潜力的重要因素[17，19，20.]。这些发现也与先前的研究相一致，这些研究表明，电子健康干预项目对治疗联盟的促进可能在理解这些项目的潜力方面发挥作用[28-33]。

分析指出，综合质量分数与可信度、循证程序和程序受欢迎程度分数之间存在显著的正相关关系(r:范围0.23 - 0.41;所有P≤.02点)。在构建层面，用户参与度、内容、治疗说服力和治疗联盟与这些变量呈正相关模式，尽管结果并不总是显著的(13/16，P< . 05)。这些初步发现与Enlight的并发效度有关，但应谨慎解释，因为所选的两个变量仅间接与程序有效性相关。然而，项目受欢迎程度得分与产品的接受程度有关，而基于证据的项目得分与产品功效的可靠研究证据的可用性直接相关。这些发现强调了该工具的潜力，尽管需要进一步的检查，稍后将讨论。

整合质量评估部分分数

总体而言，以前的量表开发人员通过平均将质量结构合并为汇总分数[47是整合不同结构的最简单方法。如所示，这种整合得到了经验证据的支持，表明所有组合分数与所选变量具有显著的正相关。然而，研究结果表明，以一种直接的方式将可用性与其他分数结合起来可能并不有益。这是因为精益程序可能包含非常有限的内容和功能，可以非常容易地学习和使用。因此，这样的程序产生了很高的可用性分数，但在内容、参与或治疗结构方面得分很低。我们的发现与先前的研究一致，表明可用性可能需要被视为有效干预的障碍，而不是促进者(例如，[59，60])。也可能在不同的情况下，不同的结构更重要或多余。例如，Althoff等人指出，手机应用“Pokemon Go”要求用户在不同的物理位置之间移动以在游戏中前进，这有助于增加用户的身体活动[61]。这类游戏的沉浸感可能等同于有益的结果;因此，在这种情况下，治疗性说服结构可能是多余的。总之，在确定如何以一种准确捕捉不同干预措施潜力的方式整合它们之前，需要更多的研究来检查不同结构之间的关系。

普遍性

可靠性分析表明，在不同的递送媒介和临床目的中，内部一致性和内部一致性的范围相似。进一步的分析显示，在不同的组中，质量评估分数与可接受性和有效性分数之间的相关性范围相似，这表明这些质量评分在这些组中解释了相同的现象。这是应用以质量一般原则为目标的启发式评估技术的结果。例如，治疗说服原则，如“治疗理性”，或内容原则，如“信息提供”，不区分传递媒介或临床目的。在我们的审查过程中，我们也没有确定与项目质量相关的重要原则，这些原则不能用特定的交付媒介来解释。这些结果扩展了以前基于标准的工具的工作，首次指出了使用一种工具客观评价不同电子卫生干预措施的可能性，而不管其交付媒介或临床目的如何。我们的分析还发现，在内容、可信度、基于证据的项目和隐私解释清单方面，基于网络的项目和基于移动的项目之间存在一些显著差异，所有这些都有利于基于网络的干预。值得注意的是，基于网络的干预已经存在了很长时间;因此，有更多的机会进行基于经验的修订，并使学者成为该领域不可或缺的一部分。

限制

这项研究有几个需要解决的局限性。尽管引入了Enlight质量分数和与并发效度相关的相关变量之间的相关性，但这并不能完全证明在直接预测程序的可接受性或有效性方面的标准效度。一旦用户分析的可靠数据和结果报告可用于一组评级程序，就可以检查这一点。进一步的限制是，在这一点上，我们不能提出一个单一的策略来结合质量评估分数或分数范围足以产生期望的结果;相反，我们建议提出几个结构并检查它们之间的关系，直到有更多证据支持特定的得分整合方法。如前所述，Enlight所展示的高可靠性能够在构造级别上呈现所有分数(因为它们可以被视为单独的客观度量)。

未来的发展方向

确定了未来研究和实践的几个方向。首先，Enlight的预测有效性可以通过评级不同的项目来检验，这些项目的接受度和有效性指标是可访问的，并调查质量分数是否以及哪些质量分数可以预测参与度和有效性。其次，一旦对许多节目进行了评级，开发不同结构之间各种关系的模型可能是有益的。此外，在试图评估人类支持以增强依从性的额外需求时，特别检查治疗联盟和治疗说服力可能会有所帮助[62或提供电子卫生干预的任何其他好处。第三，根据包括培训包在内的完整自助手册，检查培训人们使用Enlight的适用性可能会有所帮助。最后，研究这种工具如何在采用新方案时支持卫生系统领导人的决策将是有益的。纽约诺斯韦尔健康中心正在进行这样的检查。

结论

本文提供了实证研究结果，强调了在质量评级的背景下检验说服设计和治疗联盟的重要性。它还证明了使用一套措施对不同的电子保健干预措施进行客观评级的适用性，无论其提供媒介或临床目的如何，只要评级员受过适当的培训。高可靠性矩阵和初步并发效度表明该工具有潜力检查电子健康计划和计划质量不同方面之间的多模态关系。需要更多的研究来建立工具的有效性，以预测电子健康计划的有效性。