加拿大电子心理健康应用程序的评估框架:改进的德尔菲过程的结果

简介

电子健康应用程序(包括针对心理健康的应用程序)的数量和范围继续扩大[1，2］．研究表明，使用一些应用程序对心理健康有益，许多应用程序可以改善心理健康服务的可获得性[3.］．根据最近的一项元分析，基于手机的心理健康应用程序可以对抑郁症状、焦虑和其他心理健康状况产生积极影响。4］．数字解决方案，包括移动电话应用程序，也可以帮助解决精神卫生服务的一些传统障碍——成本、容量、地理和耻辱[5］．然而，研究表明，一些应用程序是不安全的，无效的，记录不良的，或不符合用户的隐私和安全期望[6-8］．

在加拿大，通过适当的移动医疗解决方案支持心理健康和复原力是一个日益引起政策兴趣的领域，特别是考虑到常见心理健康状况的比例不断上升[9]和未满足的服务需求[10］．例如,改变方向，改变生活，《加拿大精神卫生战略》建议增加使用电子精神卫生服务，以帮助更多需要支持的加拿大人[11］．因此，加拿大精神卫生委员会探讨了这些解决办法在加拿大的使用情况，也探讨了使用这些办法的相关机会和障碍[5］．同样,健康和生产性工作签名倡议旨在支持循证干预措施，促进所有员工健康、有意义和富有成效的工作，认识到电子心理健康是改善整个心理健康连续体员工健康的一个潜在方向[12，13］．

目前，潜在用户评估现有健康应用程序的质量、安全性和证据基础可能既耗时又困难。3.，14，15］．私营部门、政府、学术界、消费者团体和其他方面正在试验一系列战略，以利用电子卫生的好处，同时应对随之而来的挑战。监管、认证、市场影响、教育、信息和金融干预都是已经探索的方法。例如，美国食品和药物管理局已经建立并更新了移动医疗应用程序的监管指南[16］．安大略远程医疗网络已经推出了面向公众的实用应用程序网站，其中展示了各种医疗保健应用程序的评论;初级保健提供者可以使用这个应用程序来支持他们的患者更好地了解和管理他们的疾病[17］．英国国家卫生服务中心建立了一个应用程序库，根据一套定义的标准对应用程序进行评估，后来有研究显示，其中很大一部分应用程序存在隐私和安全漏洞，这一标准被取消了。18］．不过，这项服务已透过测试版网站重新推出[19］．加拿大和其他国家的研究人员正在测试技术，以吸引应用程序用户参与开发过程[20.，21］．同样，苹果公司也对通过其App Store提供的医疗应用程序提出了具体要求。22］．

已经发布了一些正式的开发策略、评级量表或评估框架，以帮助提高应用程序质量标准，并正在努力开发其他应用程序。1，14，20.，23-28］．从本质上讲，这些努力大多依赖于根据定义的标准对应用程序进行结构化评估。虽然所考虑的技术标准有一些趋同之处，但这些方法之间也有重要的差异。评估的目的、范围、目的、目标受众和方法各不相同。例如，有些项目会考虑应用开发者或资助者的特征;他们的政策;以及应用程序的功能，其性能特征，以及持续的维护或更新需求，而其他则没有。虽然这些努力为本研究提供了信息和方向，但作者未能找到一个单一的尺度或框架，以解决加拿大背景所需的文化和政治因素的独特组合。

应用程序质量和安全性的变化需要一个一致和透明的评估框架，用于应用程序在组织层面的应用程序或应用程序开发人员的自我评估。对于有各种需求和观点的潜在应用用户来说，结果必须是有意义和值得信赖的。在加拿大，改善和扩大有效和适当的心理健康电子解决方案(包括心理健康应用程序)的随时获取和使用，有望成为解决心理健康问题的关键推动因素。这项研究的目的是在广泛的加拿大利益相关者群体中达成共识，制定一套全面的原则，以指导加拿大评估电子精神健康应用程序框架的开发，以及实施该框架的未来流程。第二个目标是就一套补充标准达成协商一致意见，通过提供可作为评估过程一部分应用的资料和评价措施来支持和支持这些指导原则。方法和结果的报告与Boulkedid等人开发的德尔菲过程结果报告指南一致[29］．

方法

研究设计

我们在两轮投票的三阶段过程中使用了改进的德尔菲过程，以就加拿大电子精神健康应用程序评估框架的指导原则和标准达成共识(图1)．

与传统德尔菲过程的开放式初始阶段不同[30.，31]，一个改进的德尔菲过程提供了一个讨论的起点。专家们通过两轮或两轮以上的投票，以个人和匿名方式对这一出发点进行调查。结果将在两轮之间提供给参与者。当预定义的停止点(通常是特定的共识水平)达到时，这个过程就结束了。mini-Delphi或估计-谈话-估计方法将这种技术应用于面对面会议，允许专家在匿名投票的迭代之间进行交互[32］．图1说明了应用于本研究的方法。本研究不需要伦理批准，因为它属于由教职员工作为外部专业活动进行的研究的豁免范围(见第一作者所在机构维多利亚大学网站上的豁免#8)[33］．

参与招聘

我们采用了一种异质的、有目的的招聘策略，在以下三个关键变量上寻求多样性:(1)加拿大卫生研究院性别与健康研究所或加拿大精神卫生委员会认可的相关专业知识(应用程序开发者、应用程序用户、卫生保健提供者、精神卫生倡导者、个人或作为家庭成员的精神卫生问题或疾病的生活经验、政策制定者、研究人员和工作场所或劳动力专业知识)的视角广度;(2)性别和性别;(3)加拿大的地理分布。

项目指导委员会根据一个结构化模板审查了潜在参与者的分布情况，该模板显示了基于上述标准的分布情况。相关专业知识被宽泛地定义为在与项目相关的特定领域具有能力和经验的个人的一种特征。例如，研究人员是根据在电子心理健康领域获得科学资助或研究成果来挑选的;有生活经验的人是加拿大心理健康委员会志愿者小组的成员。

然后，我们通过加拿大卫生研究院性别与健康研究所和加拿大精神卫生委员会的邀请，有目的地选择和招募潜在参与者，以最大限度地扩大参与者群体的经验和专业知识的广度和深度[34］．邀请函是通过电子邮件分发的，根据需要通过电话或亲自跟进。那些表示有兴趣参与的人会收到一封电子邮件，其中有一个链接到举办第一轮德尔菲研究的网站。这封邮件包括就电子精神健康应用程序的评估框架寻求共识的理由。自愿参与意味着同意。

制定最初一套原则和标准草案

首先，我们对已发表文献和灰色文献中已有的电子心理健康应用程序评估框架进行了快速回顾和环境扫描。修改后的Delphi参与者确定并提供了额外的资源。考虑与加拿大的文化和政策保持一致。考虑到加拿大坚定致力于性别平等和文化包容，特别是土著人民的性别平等和文化包容，对性别问题的响应和文化适当性被认为是两个基本和不可谈判的因素[35-37］．德尔菲过程的组织者和本研究的作者认为，将应用程序的证据库作为框架的第三个基本元素是一种道德义务，以避免低质量的电子心理健康应用程序的潜在危害。

‎ 查看此图

基于这些发现，其中一位作者(JZ)构建了一份包含其他六项潜在原则的草案清单，以指导电子精神健康应用程序评估框架的开发和实施。此外，还确定了14个潜在的标准，这些标准与指导原则一致，可以用作应用程序评估过程的一部分。最初的名单由指导委员会(MN, MS和KvH)审查。

改进的德尔菲过程的第一轮

在2016年11月15日至28日进行的第一轮修改德尔福流程中，25个利益相关者同意参与。用于评估最初原则和标准清单的调查问题是模仿英国帝国理工学院的研究人员领导的应用程序评估德尔菲过程[38]以及从电子健康和电子精神健康应用程序评估框架的快速审查和环境扫描中提取的现有格式。

该调查以三个相关问题为开场白:

1. 确认参与者为共识过程带来的观点，如上面的列表(参与者可以自我认同多个观点)。
2. 他们如何从整体质量、可用性或用户粘性、来自可靠来源的高质量证据的使用以及信息安全或隐私等方面对当前可用的健康应用程序进行评级。受访者被要求使用4分制(差、一般、良好和优秀)加上“不知道”选项来认可这些标准的适用性。
3. 是否需要一个评估健康应用程序的框架，以便消费者使用李克特5分制(非常不同意、不同意、既不同意也不同意、同意、非常同意)来识别更高质量的应用程序。

虽然在招聘中考虑了性别和地域多样性，但我们并没有在调查中询问这些方面的问题。这一决定是为了保持反馈的匿名性，这是德尔菲过程的一个重要特征。在调查中纳入人口统计变量将有可能将投票与至少一些参与者的身份联系起来，这是我们试图避免的。同样，我们没有进行单独的参与者人口统计调查，以减少受访者负担。

其余调查问题评估了最初的6个潜在原则清单，以指导电子精神健康应用程序评估框架的开发，以及可能包含在此类框架中的14个潜在标准。标准分为信息性和评价性。信息性标准的定义是，一个答案并不比另一个“更好”，但该信息可能对用户有帮助。信息标准通常没有评分，也没有包含的最低门槛。评价标准被定义为方向性明确的标准(例如，多或少，存在或不存在，更好)。评价标准可能有一个最低门槛的纳入或评分。我们要求参与者使用李克特5分制(非常不同意、不同意、既不同意也不同意、同意、非常同意)对原则进行评分，并使用不同的3分制(不必要、理想和必要)对标准进行评分。与会者也有机会就指导原则和标准提出意见和补充建议。

在回合讨论，证据展示和移情映射之间

2016年11月28日，在成瘾和心理健康中心(加拿大多伦多)举行了一次面对面的会议。总的来说，第一次修改德尔福过程的参与者有19人，所有作者都出席了。JZ是一名经验丰富的医疗服务研究人员，拥有电子医疗专业知识和经济学博士学位。她此前曾领导过类似的建立共识的活动。现场记录由一位研究助理记录。

会议开始时，来自加拿大卫生研究所性别与健康研究所和加拿大心理健康委员会的代表概述了这一倡议的政策背景和理由。他们指出，虽然可以使用多种方法进行电子心理健康应用程序评估，但大多数方法取决于确定一套原则来指导评估过程。发言者强调，这项工作的范围应该是针对寻求帮助管理自己健康的个人和家庭的应用程序，不包括专门针对卫生专业人员的应用程序。此外，还澄清了该框架既可以由一个或多个组织实现，也可以作为应用程序开发人员的自我评估。无论哪种方式，一旦实施，评估框架的结果将旨在支持公众作为潜在应用程序用户的需求。应用程序开发人员被认为是第二重要的受众。与会者一致认为，证据基础、性别响应性和文化适宜性应被列入任何加拿大评估量表的3项基本指导原则，而不必列入建立共识的工作中。

第一轮的修正德尔菲过程的结果采用频率分布来总结对具有有序响应量表的调查问题的答案。这是确定的先天的会议将只讨论第一轮投票中一致票数低于80%的原则和标准。同意定义为赞同“非常同意”或“同意”指导原则，赞同“基本同意”或“理想同意”标准。还提出了开放式问题的摘要，包括关于改变或增加原则或标准的建议，并引用了所收到的评论。一个便利的迭代讨论导致了对原则和标准的修改、适应、删除和添加，这些原则和标准最初没有获得80%或更高的一致性。

此外，还分配了时间供与会专家就电子健康应用程序、现有电子健康应用程序评估框架和数字健康生态系统相关的研究机会进行简要的证据陈述或“证据爆发”。证据集锦的目的是向所有与会者提供有关可能影响指导原则和标准选择的关键考虑因素的额外背景和信息。参与者可以在每次演示后提问，并讨论与应用程序评估框架的相关性。

我们使用了便利的人物移情映射练习，以确保在过程中考虑了广泛的最终用户的需求和观点[39，40］．预先确定了四个角色，参与者在会议上又增加了四个角色(参见附录1)．这8个人物角色代表了一系列年龄、性别、性别、身份、文化、地理位置以及在加拿大各地发现的精神健康状况的范围或严重程度。对于每个角色，会议参与者被鼓励反映和分享个人可能使用电子心理健康应用程序的原因，以及他们想象使用这种应用程序可能实现的每个人，根据个性化的目标和需求。与会者就这些议题进行了大量讨论，包括它们将如何影响原则和标准。因此，对原则和标准的案文作了若干修改或增补。

改进的德尔菲过程的第二轮

在演示、证据爆发和同理心映射练习之后，面对面会议的参与者使用与第一轮相同的量表重新评估了原则和标准(在某些情况下，根据讨论进行了更改或添加)。投票是匿名的，使用电子工具和纸张进行。与会者无法获得彼此的选票。

在第二轮修正的德尔菲过程中，共识被定义为70%的一致性，与其他此类研究一致[41-43］．其目的是将未达到这一协商一致门槛的项目纳入特尔斐程序的第三轮会后讨论。如有需要，这一轮将以与第一轮相同的方式进行。

在第二轮投票后，与会者就未来方向与政策制定者分享了关键建议，并就修改后的德尔菲流程提供了反馈。会议结束后，向与会者分发了一份对话结果摘要，供其审查。我们没有收到任何修改意见。

结果

改进的德尔菲过程的第一轮

经过修改的德尔福第一轮的参与者自认为是以下一种或多种:应用程序开发人员(5/ 24,21%)，应用程序用户(8/ 24,33%)，医疗保健提供者(8/ 24,33%)，心理健康倡导者(12/ 24,50%)，作为有心理健康问题的个人或家庭成员(8/ 24,33%)，政策制定者(4/ 24,17%)，研究人员(9/ 24,38%)，有工作场所或劳动力专业知识(6/ 24,25%)，或有其他相关角色(6/ 24,25%)。有一个人没有回应。虽然参与者可以自我认为自己有不止一个角色，但他们中的许多人被明确招募是因为他们有心理健康问题的生活经历。

在回答第一轮中提出的上下文问题时，几乎一半的参与者(12/ 25,48%)认为当前可用的健康应用程序的整体质量较差或一般，而24%(6/25)给出了良好或优秀的评价。其余的参与者(7/ 25,28%)表示，他们不确定当前可用的健康应用程序的整体质量。

指导原则

图2说明了在第一轮投票中评估的6项指导原则的共识评级。由于3项原则在第一轮投票后获得了至少80%的“同意或非常同意”评级，因此在第二轮投票之前没有详细讨论这些原则;这些原则包括:标准应以用户为中心;程序应该公开、透明和公平;所进行的研究应反映道德规范。此外，代表应用程序能够创新和基于风险的概念的2项原则获得了至少70%的评分，而不是80%。此外，国际结盟原则的支持率不到70%。

标准

第一轮投票包括14个潜在标准。图3列出了在第一轮修改的德尔菲过程中评估的初始标准以及德尔菲参与者对这些标准的认可。除一项标准外，其余均符合必要或理想纳入共识阈值。其中只有两项——信息安全或隐私政策的实用性和透明度——被至少80%的参与者认为是必要的。在这一轮中，除一项标准外，所有参与者都对所有标准进行了投票。有一个人对“效用”标准没有回应。“应用所获得的奖励”是唯一一个未达到共识门槛的标准，并在面对面会议上进行了特别讨论。

在回合讨论，证据展示和移情映射之间

讨论:指导原则

按先天的决策规则，在几轮面对面会议之间，参与者讨论了3项指导原则，这些原则在第一轮中没有得到至少80%的“同意或非常同意”评级。除了在第一轮开放式问题中收到的意见外，在整个讨论过程中还出现了对这些原则和框架措辞的修订建议。大家都赞同的一项建议是将术语从“评价框架”改为“评价框架”，以反映商定的指导原则和标准的广度。此外，与会者建议应明确规定3项基本标准(证据基础、性别响应性和文化适宜性)，并将其添加到指导原则清单中。

‎ 查看此图

‎ 查看此图

讨论:标准

在与会者就不同利益相关者的重要观点和专业知识进行讨论后，出现了另外三个标准。这3个额外的标准是根据参与者的反馈在第二轮投票之前添加的。这些潜在的标准包括用户的可取性，理想地以一种可以根据用户类型进行分层的方式呈现;用户参与应用开发;在应用程序的测试中，有意义地包括了各种各样的社区。与会者强调，必须在整个应用程序开发过程中寻求、考虑和反映用户意见，以确保应用程序的质量和相关性。与会者普遍认为，至少应该期望利益相关者参与精神健康电子应用程序的开发、实施和评估。

与会者还讨论了用于标准清单的标签是否适当。大家普遍同意，“效用”标准标签应改为“效用”一词，以澄清其含义;这一变化适用于第二轮投票之前的标准列表。

改进的德尔菲过程的第二轮

指导原则

在讨论之后，参与者被要求重新评估相关原则，并使用更新的措辞。所有指导原则在第二轮中至少达成了70%的共识(77%-100%同意或非常同意)。因此，不需要进行第三轮投票。

电子精神健康应用程序评估框架共保留了9项指导原则(文本框1)．其中包括3个最初的基本原则:证据基础、性别响应性和文化适宜性;第一轮列表中的6项原则(其中3项根据参与者的意见进行了修改);在面对面会议上，根据参与者的意见引入了一个新的原则。

标准

我们要求参与者重新评估相关标准，使用更新的措辞。表1显示支持标准为“必要的”、“可取的”或“不必要的”的选票分布，以及指示标准应如何处理的选票分布——作为信息性或评估性的。除2项标准外，所有标准均达到至少70%的一致意见，因此无需进行第三轮投票。被删除的两个标准是“应用程序所获得的奖励”和“任何受信任的个人、机构或组织对应用程序的认可”，因为参与者担心这些标准可能存在偏见。加拿大电子心理健康应用程序评估框架所包含的最终标准列于文本框2．

就加拿大电子心理健康应用程序评估框架的必要性达成共识

在第一轮和第二轮结束时，我们向参与者询问了应用程序评估框架的必要性，以帮助消费者识别更高质量的电子心理健康应用程序。参与者的态度在整个过程中发生了变化。在第一轮调查中，约三分之二(17/ 25,68%)的受访者同意或强烈同意上述框架的必要性。根据第二轮投票的评估，在面对面会议之后，这一数字上升到100%。由于后勤方面的原因，一些与会者不得不在投票前离开现场，导致该问题的第二轮投票中n=13人。

讨论

主要研究结果

本研究中描述的德尔菲过程表明，就加拿大一套指导原则和标准达成了共识，用于评估符合道德标准的循证心理健康电子应用程序的质量、有效性和可用性。这项研究的目的是使这一框架的开发过程透明化。具体来说，两轮改进的德尔菲过程，包括在两轮之间使用演示、证据爆发和共情映射，导致了一个包含9个指导原则和15个支持标准的评估框架。

这些原则和标准构成了一个框架，反映了加拿大在电子精神健康应用程序开发和测试的各级需要循证解决方案、透明度、性别响应、文化适当性和用户参与等方面的优先事项。此外，反复和互动的讨论巩固了这样一种看法，即框架对于实现使用电子心理健康应用程序作为改善加拿大心理健康更广泛战略的一部分的承诺和潜力至关重要。

虽然这里所述的框架是在特别注意加拿大的情况和国家优先事项的情况下制定的，但我们协商一致进程的原则和结果总体上与这一领域的其他努力和发现是一致的。例如，2016年对用于评估移动健康应用程序的方法进行的系统回顾发现，研究人员从6个领域评估应用程序的质量:科学或临床基础、功能、可用性、可问责性、影响和受欢迎程度;80%(73/91)的参与者使用了来自上述一个或多个领域的测量方法[14］．表2说明如何将框架映射到这些域。

鉴于应用程序的潜在全球影响力，以及越来越多的证据表明，今天可用的许多应用程序并不符合既定的指导方针或最佳实践[1]，对评估框架的需求日益突出。有意推荐电子心理健康应用程序的潜在用户和医疗保健专业人员将希望有一种简单的方法来了解可用应用程序的质量和其他特征。评估框架是解决这一需求的重要第一步，但在实现广泛实施和扩大方面存在许多挑战。

例如，本研究中描述的加拿大框架被设计成可以应用于组织层面或应用程序开发人员的自我评估。在前一种情况下，研究和评估应用程序的证据基础，确定应用程序开发者的特征，以及评估其他标准(如文化适宜性)，都需要最低限度的批判性评估标准和进行分析的资源。事实上，即使是定义评估证据基础和临床标准的过程也需要进一步的研究。此外，可以委托一个独立的认证机构负责这一过程，以确保质量和可持续性。虽然一些加拿大组织已经承担了这一角色的某些方面(例如，通过加拿大健康信息之路的数字健康解决方案的隐私、安全和互操作性认证计划)，但没有组织承担了所涉及的全面评估。

加拿大精神卫生委员会正在编写一份情况说明书，将这一共识过程的结果广泛传播给那些可能能够使用这些信息，以开发、推荐和接受精神卫生应用程序的方式影响变化的人。鉴于加拿大的卫生由省和地区监管，省和地区卫生当局有可能在其管辖范围内实施该框架或其改编版本，因为心理健康应用程序将成为解决偏远社区负担得起和缺乏访问等障碍的更主流选择。2017年加拿大联邦预算中包括10年110亿加元，用于支持各省和地区改善心理健康和家庭护理服务[44］．这项投资以及它对精神卫生服务的关注创造了一个适当的时机来推广这一框架，使电子精神卫生成为不断发展的省和地区战略的有效组成部分。

必须处理的另一个问题是如何提出评估结果。例如，一个关键的决定是，是否应该使用评估标准来计算每个应用程序的总体总结得分，还是应该为某些标准设置最低可接受的阈值。的手机应用评分量表(MARS)是澳大利亚开发的应用评估工具之一，它对所有标准一视同仁。27］．MARS的评分是以下5个分量表的平均分:参与度、功能性、美感、信息和主观质量。考虑到证据基础只是信息分量表下列出的7个项目中的一个，应用程序可能在没有强有力的证据基础的情况下获得非常高的评分。这种方法似乎与我们加拿大德尔菲过程的发现不一致，德尔菲过程强调了利益相关者对证据基础、性别响应性和文化适宜性等因素的重要性。因此，进一步的研究有助于解决这些问题以及有关如何最好地获得准确和适当地反映框架指导原则的评估结果的相关问题。

研究还有助于为其他一些实际实施挑战提供信息。例如，全球心理健康应用程序的格局正在迅速演变。德尔菲过程的参与者强调，评估框架和过程不应该阻碍应用程序的开发或持续改进。在这种情况下，我们需要考虑时间轴和重新评估应用程序的标准等因素。同样，如果已评估的应用程序可以通过集成列表或共享存储库访问，则需要确定由谁来管理收集，以及如何管理，以及如何鼓励公众和卫生专业人员使用这些应用程序。

世界上许多其他国家都在努力解决与认可电子精神健康应用程序有关的类似问题。一些国家已经发布了评估健康相关(包括心理健康相关)应用程序的建议，但这些应用程序在多大程度上可以适用于各种人群及其特征(如文化、性别和语言)尚不清楚。这就是为什么我们使用了一个专注于加拿大各地利益相关者需求的流程的原因之一。虽然参与者的多样性是本研究的一个优势，但我们在明确的加拿大范围和视角内征求了他们的反馈。此外，在德尔菲过程的第一轮(基于网络的)和第二轮(面对面的)投票中，有20%的参与者流失。这可能对最终框架中保留的一些原则和标准引入了选择偏差。

虽然本研究中使用的方法可以很容易地复制，但我们通过咨询来自加拿大各地的利益相关者获得的结果可能也可能不能转移到其他国家或环境中。由于我们进程中考虑的几个因素与联合王国同时正在进行的一个相关进程是一致的，将来有结果时，也许可以探讨这个问题。

结论

改善健康收益和降低使用电子心理健康应用程序的风险，取决于向更高质量和更容易为潜在用户接受的解决方案倾斜。为了为实现这一目标的努力提供信息，我们使用了一种创新的结构化德尔菲过程，该过程结合了证据爆发和同理心映射，向加拿大不同的利益相关者询问哪些因素在评估电子心理健康应用程序时是重要的。该小组就电子精神健康应用程序评估框架的9项指导原则和15项标准达成共识，该框架可应用于个人或组织层面，以支持他们满足潜在应用程序用户和其他关键利益相关者的需求和期望。这一共识有可能在电子心理健康解决方案发展的相对早期阶段为未来的研究、政策和计划提供信息。