比较心理健康应用程序的专业和消费者评级:混合方法研究

介绍

对心理健康应用感兴趣

数字技术可以扩大获得精神卫生保健的机会。在过去几年中，支持心理健康和幸福的智能手机应用程序的可用性有所增加，一些证据支持它们在抑郁症中的应用[1]，焦虑[2]及其他精神健康问题[3.]。一项关于退伍军人对智能手机应用兴趣的调查发现，43%的退伍军人表示有兴趣使用心理健康应用[4];然而，尽管有这种热情，只有11%的人这样做了，采用的主要障碍包括担心缺乏有效性证据(72%)。这种证据的缺乏反映在现有的心理健康应用程序的快速扩张中，几乎没有监管或监督。5-9]。“高可用性但低证据基础”的问题[10意味着许多可公开获得的产品很少或根本没有证据支持其使用。

心理健康应用的消费者偏好

消费者希望在选择应用程序时获得清晰的信息[11，12]，并制定了一些措施来提供所选择应用程序的这些信息。最常用的衡量标准是移动应用评级量表(MARS) [13]，它评估订婚，美学,可用性．然而，这项措施本身并没有提供足够的信息，让服务用户决定是否使用一款应用[14]。营利性公司ORCHA [15]，在上面评论应用当前的标准，规定,良好的实践但是只提供了一个综合分数，它不允许服务用户识别对他们的选择最重要的个人因素评级。当消费者选择应用程序时，通常唯一可用的衡量标准是星级评分和评论。这些评论可能是由真正的应用用户写的，但有大量的假评论，很难与真正的评论区分开来[16]。在英国，在2019冠状病毒病大流行和随后的封锁期间，普通人群的失眠、焦虑、情绪低落和一般心理困扰的经历增加了[17-19]。心理健康应用程序的使用也增加了200% [20.许多人在日常护理中断时依赖手机上的心理健康护理应用程序。由于这种使用的增加，我们需要了解消费者在选择心理健康应用程序来传达这些信息时，什么对他们来说是重要的，这样他们就可以做出明智的选择。一项研究发现，心理健康人群在选择心理健康应用时需要重视美学和数据安全[21];然而，不知道这些价值观是否与专业人士的观点不同。

本研究

这项研究旨在通过了解那些有生活经验的人如何看待心理健康应用程序，以及这些观点与临床医生和学者的评论以及应用程序商店提供的评论有何不同，来填补这一空白。这些发现将有助于更广泛地了解消费者对心理健康应用程序的使用情况和看法。

方法

设计

这是一项横向混合方法研究，评估了11个心理健康应用程序。

伦理批准

该研究于2020年11月30日获得了伦敦国王学院精神病学、护理和助产研究伦理小组委员会的伦理批准(LRS-20/21-21137)。所有参与者在参与前都提供了书面同意。

病人及公众参与

我们谘询青少年心理健康谘询小组[22研究的设计。这包括参与者应该使用每个应用程序的时间长度和问卷项目的措辞，以提高清晰度。

参与者及招聘

参与者是通过从咨询小组、当地心理健康小组和大学范围内的一般通讯中抽取志愿者来招募的。如果参与者年龄≥18岁，居住在英国，可以使用智能手机，能够下载智能手机应用程序，并且有精神健康问题史，则将其纳入研究范围。参与者没有接受精神病诊断的筛查，但被问及他们是否有“精神健康问题的经历”。在这项研究中，这被认为是最合适的，因为患有严重精神疾病的人使用智能手机的频率较低[23，24]，大多数心理健康应用的目标是改善总体幸福感，而不是严重的症状。

应用程序

应用程序选择

我们最初选择了12个应用程序进行试验。所有应用都必须免费下载，因为消费者更喜欢免费应用。21]。总的来说，我们最初的应用程序中有50%(6/12)是从b谷歌Play和iOS应用程序商店中排名最高的心理健康应用程序中挑选出来的，这些应用程序还补充了6个根据One Mind PsyberGuide可信度评级量表评分最高的应用程序。25]。我们删除了一款应用，因为它要求用户注册免费试用，然后自动升级为年费订阅，将应用数量减少到11个。

app概述

被评估的11款应用分别是Breethe、Calm、Headspace、Insight Timer Meditation、MindDoc、MindShift、reflect、Remente、Sanvello、焦虑自助和Woebot。这些应用程序可以分为三类:冥想(Calm、Headspace、Breethe和Insight Timer冥想)、日志(reflect、Remente和MindDoc)和认知行为治疗(Woebot、MindShift、Sanvello和焦虑自助)。尽管有这些分类，应用程序有相当多的功能重叠，正如Lagan等人的研究所证明的那样[26]。例如，虽然基于认知行为疗法，MindShift, Sanvello和焦虑自助也使用冥想和放松技巧。因此，根据应用类别区分评论是不可能的。

专业评论员

专业评审由4名训练有素的评估师组成的团队完成。培训需要3到4个小时，包括视频教程和应用评分，然后是与专家评分员进行面对面的可靠性检查。

措施

文本框1展示参与者和专业人士的衡量标准和应用商店评级。

过程

一旦参与者同意，他们将被随机分配11个应用程序中的3个。根据我们的服务用户顾问的建议，他们在3天内使用了3个应用程序，总参与期为3天。这也证实了之前的研究，即心理健康应用程序的打开次数在使用的前10天内下降了80% [29]。参与者被鼓励探索应用程序的功能，每天使用应用程序10到60分钟，在每个应用程序上花费相同的时间。在第三天的晚上，参与者通过SurveyMonkey完成了MARS评级和One Mind PsyberGuide消费者评论。

我们比较了消费者和专业人士在以下六个领域的评论:

1. 易用性(“这个应用使用起来有多容易还是难?”)
2. 使用困难(“应用程序中是否存在让人困惑或难以使用的部分?”)
3. 美学(“你觉得这款应用看起来怎么样?”)
4. 用户粘性(“你喜欢使用这款应用吗?(例如，游戏是否吸引人、有趣还是无聊?)
5. 对幸福感的感知影响(“这个应用程序对你的幸福感有什么影响，如果有的话?”)
6. 数据安全(“你确信你在这个应用程序中输入的数据是安全的吗?”为什么，或者为什么不?”)

数据分析

定量

我们将One Mind PsyberGuide消费者评论中的定性文本转换为定量的二元分类(“1”代表积极体验，“0”代表消极体验)，使用预定义的协议(多媒体附录1)。两个独立的研究人员(GH和SMJ)进行编码，任何分歧都通过与另外两个独立的研究人员(SJ和TW)讨论来解决，从而为所有应用和领域的每个评级提供最终的定量分类。

计算了6个领域中每个领域的专业评论的中位数得分。任何低于或等于中位数的分数都是负的(0分)。表1显示参与者和专业分数。

主要结果测量指标是6个领域的“参与者消极”(参与者评价为消极，但专业人士评价为积极)。此外，我们使用加权Cohen κ统计来测试参与者-专业人员的协议，这些统计用于推荐评级和MARS星级评级，所有这些评级都是可用的。此外，每个应用程序都有2位PsyberGuide专业人士的推荐和MARS星级评分;因此，我们报告参与者评级与每个专业和平均水平的比较。我们报告科恩[30.κ值的解释(0.01-0.2，无到轻微;0.21 - -0.4,公平;0.41 - -0.6,温和;0.61 - -0.8,实质性的;和0.81-1，几乎完全一致)。当我们问参与者两个与应用程序功能相关的问题(易用性和使用难度)时，这些评分都与PsyberGuide上专业人士的功能评分进行了比较。焦虑自助没有专业建议和MARS星级评分。

我们将MARS的星级评价与来自iOS应用商店和b谷歌Play的应用商店评价进行比较，并使用Pearson相关性将真实用户体验与应用商店评论进行比较。所有定量分析均使用SPSS version 27 (IBM Corp) for Windows进行[31]。

定性

所有的开放式调查回答都使用Braun和Clarke [32]方法，该方法在以前的出版物中也使用过[33，34]。主题由两位研究者(GH和EN)独立归纳提取，采用Pope等人的分析框架[35]。这是一个五阶段的过程，包括(1)熟悉原始数据，(2)确定主题框架，(3)索引，(4)图表，(5)映射和解释-定义概念，映射现象的范围和性质，并创建类型学。两位研究者各自独立地对所有参与者的回答进行归纳编码，形成两个主题框架。然后两位研究者通过讨论两个框架之间的异同，并使用多重编码方法的要素，共同创建了最终的归纳框架[36]。主题名称是由两位研究者共同决定的。任何差异均通过两位研究者之间的讨论解决，并由第三位研究者(SMJ)独立检查。所有定性分析均使用Windows版NVivo 12进行[37]。

结果

样本特征

共有21人参与了这项研究。大多数是女性，受过一定程度的教育，但他们的种族是多样化的。表2给出了参与者特征的细分。

参与者是否同意专业人士的评论?

总体而言，参与者和专业人士的评价几乎没有一致之处(表3)，大多数应用评级被归类为不同意(53.2% vs 46.8%)。与专业人士相比，参与者对这些应用程序的评价要差得多，使用上的困难是最不一样的。表4)。多媒体附录2给出更详细的描述。

参与者是否同意专业人士的观点?

有温和的来实质性的两位专业人士的推荐评级之间的一致性(Cohen κ_w= 0.667;P= 0.008)和MARS星级(Cohen κ_w= 0.571;P= .008)。然而，几乎没有(毫不轻视)参与者和专业人士的推荐评级之间的一致性(Cohen κ_w= 0.048;专业的，专业的_w= 0.047;专业的，专业的_w= 0.048)。参与者给出的平均推荐评分(平均3.44，标准差1.09)低于2名专业人士(专业1:平均4.22，标准差1.30;专业2:平均4.56，标准差1.01)。还有一点(毫不轻视参与者和专业人员对火星的星级评定达成一致_w= 0.108;专业的，专业的_w= 0.124;专业的，专业的_w=0.092)，参与者的平均星级评分(平均3.58，标准差0.91)也低于2名专业人士(专业1:平均4.44，标准差0.73;专业2:平均4.67，标准差0.71)。

用户是否认同App Store评级?

参与者对应用的MARS星级评分与应用商店的平均评分呈显著正相关(r= 0.32;P= 0.01)和独立iOS应用商店(r= 0.27;P=.04)和谷歌Play (r= 0.31;P= .02点)的评级。尽管iOS应用商店和b谷歌Play的评分一致(游戏邦注:r= 0.73;P<措施)。

参与者想从心理健康应用程序中得到什么?

对参与者定性数据的主题分析发现了11个主题。

成本

受访者提到的最常见的主题之一是成本。这主要是针对“你最不喜欢这款应用的什么?”所有用户都可以在不付费的情况下体验某些内容，但他们发现“看到这么多因为免费版本而无法使用的选项令人沮丧”，特别是当“它不允许我在购买前尝试并找到适合自己的内容”时。因此，体验中最令人沮丧的部分是免费增值或其他形式的定价所带来的隐性成本，即免费提供有限的应用体验，而付费墙后面的功能则不允许参与者在不付费的情况下尝试这些功能。许多参与者报告说，在应用程序的免费版本上，有许多广告，通常是为了让用户“升级到高级版本”，参与者认为这些广告“过度”，“会破坏我的流畅或平静”。

美学

用户界面有助于人们的享受。应用程序功能的结构和各部分的布局是主要的影响因素。例如，Insight Timer被描述为具有“专业的布局，这使得应用程序看起来更合法。另一个被描述为笨拙和不一致的设计，这使得它看起来“像测试版”。一些颜色使应用程序更具吸引力，而另一些颜色则提供了一种“美好而平静”的感觉。一些用户还觉得“由于选项太多，屏幕显得很拥挤”，降低了吸引力。

易于使用、导航和功能

大多数应用程序被描述为“非常容易和简单”使用，他们能够导航功能，“不需要非常努力地找到它们。”然而，引导导航到特定功能的提示是必要的，特别是对于没有使用健康应用程序经验的用户。应用程序的功能也应该快速加载，这样用户才不会被激怒。一些应用程序存在技术问题，比如小故障，“有一次它丢失了我的整个日志记录。”这可能会使参与者难以使用应用程序，因为“有时[w而在其他时候，它说‘我们找不到任何结果。’我觉得这很令人沮丧。”

交互性

参与者重视互动性，尤其喜欢“每日语录”和“语音助手”。然而，交互式提示、提醒和通知也引起了不同的意见。虽然有些人认为这些提示“有用……对于那些正在焦虑恢复过程中的人来说”和“让我真正检查一下自己的情况”，其他人则觉得它们没有必要，“不得不把它们关掉，因为它们很烦人”。这些参与者希望优化应用程序的通知频率，这样他们就不会觉得自己被唠叨了。

个性化和定制

在应用程序允许用户拥有定制体验的程度上，人们的反应不一。大多数参与者认为这是令人愉快的应用体验的重要特征。一些应用程序使用自然语言处理来为用户输入提供相关和适当的响应。因此，参与者获得了“针对自己心理健康量身定制的个人见解”。自定义配色方案和音频声音的选项备受青睐。个性化还允许用户“保存自己喜欢的内容并创建播放列表”，“这样就可以重复使用特别有用的课程。”

教育与教学

许多应用程序以文章和博客文章的形式提供信息。用户反复提到，这些内容提供了“关于心理健康问题的有用教育”，特别是那些与焦虑和抑郁有关的问题。关于症状管理和应对机制的信息特别有用。参与者报告说，这些教育内容帮助他们了解自己的心理健康，“(教)我更多关于焦虑的背景”，并向参与者证明“对焦虑和压力有了更多的技术理解”。然而，有人认为，对于那些被诊断为抑郁症或焦虑症的人来说，这些信息的复杂性并不总是足够深(“对于已经知道这一点的人来说，这可能是相当基本的”)。

跟踪和目标设定

据说，提供明确方式设定目标和跟踪进度的应用程序既有趣又有用。跟踪进度可以帮助参与者“跟踪自己的情绪，识别可能的触发因素”，监控他们的心理健康状况“可以帮助我监控自己的思想，以及触发我的因素。”参与者发现追踪焦虑症状的能力特别有用，因为它“让你了解自己的焦虑，以及它在图表上的进展情况，这样你就可以在焦虑追踪器上追踪进展。”然而，其他用户报告说，跟踪功能引起了负面情绪，因为它“对……没有帮助或没有成效……”看看我感觉情绪低落的天数。”

多种功能

用户喜欢音频和视频内容的结合。要求用户执行日常任务的应用程序应该确保这些任务不是重复的，一些应用程序应该“添加更多功能来吸引用户”。这通常包括进一步开发现有功能(例如，“检入功能没有足够的指导，非常简单，不能提供对抗消极想法的方法”)。两名参与者还要求更多“针对青少年社区”的功能，“因为有足够的成人和儿童的材料，但我没有看到像我希望的那样多的青少年。”然而，各种各样的功能可能是过多的——“有时很难选择关注哪个活动，因为内容太多了。“大量的内容让它失去了吸引力，”有人建议“他们应该专注于几个核心功能。”

数据安全和隐私问题

受访者的普遍看法是，他们并不担心个人资料的安全问题。这主要是因为他们没有输入“任何过于私人的东西”。其他人可以通过他们的苹果或b谷歌Play账户注册，这被认为是一个合法的验证和数据保护过程。一些人依靠他们之前对英国通用数据保护条例的理解来确定他们数据的安全性(“他们必须遵守法律”)。一些人报告说，尽管他们已经看到了应用程序上的声明，但他们认为应该更好地标明(“也许可以在应用程序的开头添加一个免责声明，明确说明数据安全”)。

融入日常生活

健康应用程序可以在一天中的不同时间和不同地点为用户提供支持。许多用户能够根据自己的方便安排时间来使用它们(“为一天中的不同时间设计的特定冥想——开始一天的工作、上下班、专注于工作”)。他们还欣赏与他们具体生活环境相关的内容(“有一节关于应对冠状病毒的内容非常有用”和“一些帮助你应对生活具体方面的练习”)。尽管一些参与者发现“这些练习很好，而且时间很短，对于像我这样忙碌的人来说非常方便”，但也有人发现“因为它非常耗时，经常使用这款应用可能无法长期持续下去。”

对幸福感的影响

用户报告说他们的幸福感发生了变化，特别是帮助人们“明显减少焦虑”。其他人则欣赏他们参与的练习和课程，因为它们发人深省，促进了内省。委员会欢迎提供关于心理健康状况以及如何使用不同策略应对不良经历的具体信息。通过帮助他们理解消极思维模式的起源，引导的旅程帮助他们减少了不适应的思维过程，反过来，帮助他们减少了焦虑和低落的情绪。受访者被提供了“应对这些情绪的练习，以及了解焦虑是什么的知识”，这非常受欢迎。

讨论

主要研究结果

据我们所知，这是第一个调查专业人士对心理健康应用程序的评论与有心理健康问题的人对心理健康应用程序的评论有何不同的研究。大多数评论只关注专业人士的意见[38-40]，而那些看似来自真正应用用户(如应用商店)的评论往往是虚假的[16]。我们已经证明了这些观点是不同的，因此，专业评论和应用商店的评论不足以为那些有心理健康问题的人提供他们在选择心理健康应用时想要的信息。

我们发现专业人士、应用商店和有心理健康问题的人的评分一致性很低。参与者非常重视应用的功能，通过定性分析生成的大多数主题都与此相关。他们喜欢各种各样的功能，这些功能易于使用，具有交互性，并且具有个性化的能力[41]。美学也非常重要，因为我们的参与者强调了专业布局的重要性，具有迷人的色彩和简单的结构。负面评价最多的是“使用难度”，这表明目前的专业评分高估了应用程序的易用性。总的来说，我们发现超过一半(53%)的应用评级显示参与者和专业人士之间存在分歧。这种高度的分歧表明，与那些有个人心理健康问题经历的人相比，专业人士对心理健康应用程序中什么是重要的有着截然不同的看法。

我们发现应用商店和参与者评分之间存在微弱的正相关关系。这种低一致性表明，应用商店的评级并不能代表那些有心理健康问题的人的意见，因此，应用商店不足以提供心理健康问题的人所需要的信息。这种差异可能是由于应用商店中存在大量虚假评论[16]，或者它可能反映了那些有过精神健康问题经历的人和普通人之间的不同优先级。我们建议，让有实际生活经历的人来给心理健康应用打分，而不是只让专业人士来打分，以确保评分更准确，更能代表心理健康服务用户的意见。

与之前工作的比较

我们的参与者喜欢的各种功能反映了其他研究，例如对37项关于心理健康聊天机器人的研究进行的范围审查，发现有用性和易用性是最常被评估的功能[35]。重要的是，我们发现专业人士和有心理健康问题的人在对心理健康应用的评分上存在分歧。这与之前的研究结果一致，即参与者在针对慢性疾病的应用程序中可以独立完成不到一半的任务[42并对应用程序的设计功能和导航表达了极大的失望。通过与那些有生活经验的人接触，应用设计师和专业评分者可以确定对这些人最重要的应用功能。

专业评分者也可能会忽略一些有生活经验的用户所强调的领域。跟踪和测量他们心理健康的能力，以及提供关于心理健康的翔实文章的能力，受到了参与者的赞扬。这重复了其他研究。例如，近四分之三的人(来自一半患有精神疾病的样本)认为监控或显示目标的进展在心理健康应用程序中是有用的[43]。我们的参与者不喜欢过多的通知也反映在Thornton和Kay-Lambkin的研究中[43]。成本是应用最常被提及的负面因素之一，突出了可访问性和包容性的主要问题。PsyberGuide上的专业评论经常在叙述评论中考虑成本;然而，这并不包括在他们的数字评级中。因此，消费者可能会受到较高分数的影响，可能不会注意到有关成本的信息。另一种方法是移动健康索引和导航数据库所使用的方法，它将每个应用程序的特征或功能作为单独的过滤器呈现[44]。这是有益的，因为它允许消费者决定哪些特征或功能对他们重要，但由于存在多个字段和过滤器，因此具有挑战性。更好地了解对消费者重要的是什么，可以提供有用的信息来指导有关提供哪些信息的决策，并改进向消费者提供信息的系统。应用程序应该对其成本保持透明，而不是将功能隐藏在付费墙之后，因为付费墙无法在付费前评估这些功能的有用性。这一点在本研究中得到了特别强调，因为我们不得不从研究中删除其中一个应用程序，因为它需要用户输入信用卡详细信息，尽管提供免费试用，但它会自动收取年费。青少年心理健康谘询小组[22]，强调病人和公众参与的重要性。

影响

这项研究对心理健康和幸福应用的使用具有重要意义。我们的研究表明，专业人士和应用商店的评论不足以让心理健康应用用户根据对他们重要的应用方面做出明智的决定。在COVID-19大流行的背景下，这一点更为重要，因为常规的精神卫生保健受到干扰，患者依赖基于网络的精神卫生支持。研究结果表明，应该进行额外的工作，以确保心理健康应用程序在支持公众心理健康方面尽可能有用。此外，评论平台在发布评论时应寻求纳入有心理健康问题的人的观点，以最大限度地提高它们与最有可能使用心理健康应用程序的人的相关性。

优势与局限

现有的关于人们对健康或心理健康应用程序的看法的研究主要集中在白人的观点上(84%)[45]。数字工具有助于消除获得精神卫生保健方面的不平等现象;因此，有必要考虑那些通常得不到充分服务的人的观点。我们在之前的研究基础上改进了样本的异质性(只有28%的样本是白种英国人)。我们的样本偏向于女性(15/21,71%)，但由于女性更有可能使用心理健康应用程序[46]和互联网获取与健康有关的信息[47在这方面，我们的样本可能是心理健康应用用户的代表。然而，我们的样本普遍受过高等教育(13/ 21,62%)至学位水平。尽管智能手机的拥有量与较高的教育水平有关[48]，很可能心理健康应用程序的使用和观点会因教育程度而有所不同，我们无法在样本中捕捉到这一点。未来的工作应该着眼于调查在性别和教育程度方面，在更大、更多样化的样本中，心理健康应用程序的评论差异。

虽然我们调查了参与者之前是否有使用健康应用程序的经验，但我们并没有直接衡量他们之前是否使用过与研究中使用的相同的应用程序。这可能影响了研究;然而，由于我们没有以任何方式改变应用程序，他们之前的经验可能只是证实了我们的发现。同样值得注意的是，尽管我们将这些应用程序称为“心理健康应用程序”，但所包含的应用程序都是一般健康或幸福应用程序，而不是数字治疗。支持消费者心理健康和幸福的应用程序类别之间的区别开始出现，但由于监管和指导试图跟上这一市场，因此仍然模糊不清。未来的工作可以探索不同群体对这些区别的理解，以了解这些低强度干预应用程序的可接受程度。

这项研究旨在了解有心理健康问题经历的人的观点，因此反映了那些最有可能从心理健康应用程序提供的支持中受益的人的观点。我们的参与者都有心理健康问题，但未来的工作应该收集一组有不同精神诊断的人的意见，以了解这些因素是否会影响应用的评分。例如，一项随机对照试验发现，与不使用心理健康应用程序的对照组相比，使用心理健康应用程序与抑郁症状的改善有关，但对焦虑没有影响[49]。然而，大多数研究发现，心理健康应用程序在改善抑郁和焦虑症状方面都很有效。1，2，50，51]，以及睡眠质量[52]。对其他疾病，包括严重精神疾病的研究是有限的;因此，未来的工作应该研究不同症状的疗效差异。如果存在差异，那么根据他们的诊断，心理健康应用程序的优先级可能会有所不同。

结论

我们发现，有过精神健康问题经历的参与者对应用程序的评价与专业人士不同，这些评分与应用程序商店中公开提供的评分相关性很差。在COVID-19大流行的当前气候下，这一点尤为重要，因为越来越多的人在网上寻求精神卫生保健。需要进一步的研究来探索不同群体的心理健康服务使用者的观点。我们的参与者还强调了目前在可用的评审系统中没有被捕获的方面。我们的研究结果表明，未来应该增加易用性、吸引人的功能和设计、低成本和一些教育内容等方面的内容。