探索抑郁症应用程序中的用户学习性和学习表现:可用性研究

简介

心理健康应用

近年来，可商用的心理健康应用程序迅速涌现，对它们的需求很高[1，2］．大约三分之二的美国人拥有智能手机，近20%的美国人依赖这项技术作为他们上网的唯一方式。3.］．此外，80%的美国人将互联网用于某种形式的数字健康目的，包括搜索健康信息或跟踪健康相关因素。4］．智能手机拥有量的巨大增长和互联网在健康方面的使用，使其成为通过应用程序提供行为健康干预的一个有吸引力的途径。应用程序可在应用程序商店中独立下载，也可与正在进行的心理治疗结合使用，或在专业人员或准专业人员的支持下使用[5-7］．

大多数专注于心理健康的应用程序的设计功能都很狭窄，主要侧重于向用户提供信息，以加强对他们的心理健康症状或他们的管理的了解[5，8］．它们的功能有以下几类:通知、指示、记录、显示、引导、提醒或与用户通信。大多数应用程序都被归为信息类(通过传播心理教育)，越来越多的应用程序被归为指导类[8］．用于指导的应用程序是基于技能的，这样它们就可以在用户自己的日常环境中练习特定的干预技能(例如，在日常生活中在移动设备上练习一项技能)。

其中一个基于技能的应用是Thought Challenger，这款应用目前可以通过谷歌Play Store下载。9］．Thought Challenger是IntelliCare套件中的一款应用，IntelliCare套件是一组应用，每个应用都专注于一种通常用于治疗抑郁或焦虑的行为策略。10，11］．“思想挑战者”指导用户进行认知重组，这是认知疗法(CT)的核心策略，包括识别和评估不适应的思想，并创建适应性的反思想[12］．因此，Thought Challenger旨在教授用户这种特定的CT技能，并通过反复练习帮助建立对该技能的掌握。用户可以根据需要使用Thought Challenger，并通过通知提示返回应用程序。然而，随着时间的推移，与“思想挑战者”的相互作用保持不变。因此，探索Thought Challenger在教授这一核心技能方面的效果如何，以及其他具有指导性的应用程序可能如何发挥作用，是很重要的。

认知疗法中的学习作为思维挑战者的学习框架

CT的重点是教育患者关于他们的想法对他们情绪的影响，同时展示如何识别，评估和修改想法可以导致最终症状减轻[12］．患者学习和技能应用被认为是支持认知干预中症状改变的可能机制之一[13，14］．Thought Challenger旨在促进CT症状改变相关技能的学习和应用。然而，思想挑战者在实现这一设计目标方面的有效性是未知的。

行为健康干预应用程序在实现旨在最终改变症状的近期目标方面的有效性很少得到评估。应用程序通常采用随机对照试验进行评估;然而，许多研究人员注意到这些试验在评估移动应用程序技术方面的局限性[15-17］．因此，利用更适合移动技术的评估方法是有意义的。一个例子是可用性测试，这是一种评估方法，包括测试用户与产品和系统的交互，以改进设计。这个过程旨在确保一项技术是直观的和易于使用的。可用性测试要求系统地观察实际或潜在用户执行的计划任务或场景[18］．国际标准化组织提供了可用性测试的标准，定义了如何识别设计师在指定或评估被评估产品的可用性时需要考虑的必要信息[19］．这些技术用于工程和计算机科学，以评估和改进产品，并在通过技术提供的行为健康干预中越来越频繁地使用[20.-22］．实际上，由于与移动行为健康干预(如Thought Challenger)的交互，可用性测试是系统检查用户CT技能学习的理想方法。

在不首先查看任何说明的情况下，评估用户通过使用应用程序学习抑郁症干预技能的效果也很重要。对无指导学习的评估是重要的，因为大多数用户在使用前不太可能接触指导或帮助材料，尽管这样做可能有好处[23］．这种行为被称为活跃用户悖论(Paradox of the Active User)，并已被发现扩展到应用程序的使用中。24];这有助于解释为什么用户可能会很快拒绝那些最初被认为不满足他们需求的应用程序，即使存在详细的“帮助”或“常见问题”部分。因此，应用程序应该能够通过直观的设计来实现其目标。25］．因此，评估像Thought Challenger这样的应用程序的首次用户体验是至关重要的，因为这种初始体验决定了后续的使用(或不使用)。

目的

尽管基于技能的心理健康应用程序在增长，但这些应用程序在通过使用促进基于技能的学习方面的功效尚不清楚。此外，最近有记录表明，心理健康提供者可能担心通过手机应用程序提供的治疗的可信度和风险[6，26他们可能会怀疑这类应用程序的功能。本研究的目的是通过可用性测试方法，在抑郁症应用程序Thought Challenger的背景下了解CT技能学习。这项研究测试了三个学习目标，以评估该应用程序的效果，其中包括:(1)用户在没有指导的情况下与Thought Challenger应用程序的初始交互效果如何;(2)用户从应用中学习认知重构技能的能力;(3)使用Thought Challenger对CT元素知识的影响。

方法

我们将首先描述Thought Challenger，遵循应用程序的评估框架，以及可用性测试的具体程序。

认为挑战者

Thought Challenger，目前可通过谷歌Play Store购买，是CT通知的。它是专门设计来帮助用户参与基于ct的思想重组技术。这个过程包括识别思维扭曲，这是一种自动产生的无益或错误的想法，但会导致一个人的痛苦或情绪变化。在识别出这种思想扭曲之后，思想重组包括向自己提问，帮助挑战这种扭曲的思想，并提出一个更有帮助的替代思想[12］．

思想挑战者有两个功能:挑战和回顾。挑战功能是一种工具，旨在通过5个步骤帮助重组每个想法:(1)“抓住它”:进入一个最近的不适应的想法;(2)“Check It”:对思想提出反思性问题;(3)“选择一种扭曲”:确定这种想法可能属于哪种类型的认知扭曲;(4)考虑针对所选扭曲类型量身定制的反思性问题;(5)“改变它”:进入一种更具适应性的思想。在第1步和第5步中，“思想挑战者”提供了可能的不适应和适应思想的例子，用户可以在与思想重组工具的交互中选择和使用这些例子。Thought Challenger还提供了回顾功能，用户可以看到自己过去录入的所有想法，按自动思维、理性反应、扭曲程度、互动日期和时间等进行罗列。

框架

属性是衡量技术产品不同可用性质量的可用性特征[27］．表1显示可用性属性、学习性和学习性能，用于测量使用Thought Challenger的用户的学习。在此评估中使用的任务、度量和目标详细描述如下。

易学性

易学性定义为用户熟练使用应用程序的容易程度[28］．通过多种方法确定了Thought Challenger工具的学习性。首先,完成时间对于与该工具的非引导交互是在两次单独的尝试中测量的。由于用户报告花大约5分钟或更少的时间来学习如何使用应用程序[29]，成功完成时间定义为交互完成时间不超过5分钟。其次，学习能力是由出错率．错误被分类为错误(即，目标正确的非预期操作，如打字错误)，错误(即，目标不正确的行为，如输入今天的日期而不是出生日期)，或致命错误(即，即使有提供的指示/指导，也会阻止用户完成任务)[30.，31］．错误率是用出错总数除以出错机会数得到的。错误机会是指用户为了不出错而必须完成的操作总数[32］．为了与Thought Challenger进行结构化交互，错误机会的数量是21。据我们所知，文献并没有定义初始应用的理想错误率。因此，我们建立了这款应用的错误率，以及任何违反可用性启发式的识别(即设计的一般原则)。第三，学习性也将通过准确完成思想的数量记录使用“思想挑战者”应用程序。对患者来说，在最初尝试时，思想重组可能是一项很难掌握的技能[12，33，34］．这种学习性测量的成功率将是，在CT过程中有管理思想记录经验的持牌心理学家将63%或更多的应用程序条目评为准确完成了思想重构技能。这一比率是基于患者在面对面的认知干预过程中准确地完成自己的思想记录的能力的发现[33］．

学习的表现

学习表现是可用性的一个属性，与技术对任务表现或知识获取的实际影响有关，例如技术帮助提高课堂上完成作业的能力的能力[35］．由于本研究的测试是在单一的实验室会话中进行的，学习表现是通过前/后测试的分数CT知识和技能。在本研究中，成功的学习表现被定义为在测试前/测试后管理中评估CT知识和技能的问卷得分的显著提高。在本次测试中，学习表现被作为评估目标3的一种手段，即测量首次使用Thought Challenger后CT干预要素知识的变化。

招聘

在2015年7月至8月期间，从美国芝加哥地区的网络帖子中招募了参与者，共有20名成年人参与。入选标准要求参与者至少18岁，能够参加实验室测试，能够用英语说和读。由于抑郁症通常是一种慢性疾病，其特征是缓解和复发的模式[36-38]，招募了目前高于或低于心理治疗转诊标准的同等数量的参与者[39］．该抽样确保了学习目标是由可能的最终用户来衡量的，范围从没有或轻度抑郁症状(由患者健康问卷-9 [PHQ-9]评分小于10来衡量转诊心理治疗的阈值)到有中度或重度抑郁症状的人(由PHQ-9评分大于或等于10来衡量转诊心理治疗的阈值)[40］．完成实验室可用性会议的参与者将获得20美元的零用现金，以奖励他们的时间和参与。为了遵守大学的机构审查委员会(IRB)，参与者在收集任何数据之前完成了基于网络的筛选同意，并亲自同意参加可用性测试会议。

过程

参与者被邀请到西北大学范伯格医学院的实验室，并由主持人陪同，主持人在整个测试过程中提供指导并记录参与者的行为。在“思想挑战者”测试之前，参与者参与了一项卡片分类任务，以确定使用抑郁症应用程序的障碍[41］．在此之后，参与者会得到一份应用程序的描述，当人们下载这款应用程序时，它也会在谷歌Play Store网站上列出:“思想挑战者通过教会你注意和挑战消极和无益的想法，帮助你控制自己的感受和行为。“思想挑战者”是建立在认知疗法的基础上的——在临床研究中发现，这种结构有助于检查消极思想，并重新构建它们，帮助你感觉更好，做你想做的事情。9］．然后，用户被指示拿起用于测试的Android手机(躺在用户面前的桌子上)，打开“思想挑战者”应用程序，挑战最近的一个消极想法，并在用户认为任务完成时通知测试主持人。对互动进行计时和记录，主持人写下在完成第一次互动过程中观察到的任何错误和替代路径。然后询问用户完成交互所采取的任何替代路径，他们是否能够找到他们刚刚完成的工具交互的日志，以及他们是否能够找到关于应用程序的更多信息(即，常见问题或帮助部分)。这些相互作用也被记录和计时，并允许测量两个挑战工具相互作用之间的延迟。完成后，用户会被提示:“现在，请记录你最近的另一个消极或无益的想法。”这种相互作用也被计时和观察，并且工具中的所有条目都被记录下来以供以后检查。因此，在评估过程中，参与者与“思想挑战者”工具进行了两次完整的互动。在对“思想挑战者”的用户印象进行简短采访后，用户在实验室的电脑上完成了问卷调查。

数据收集方法

传统的数据收集方法，已成功用于其他应用程序的评估[21，28，42]，被选中进行“思想挑战者”的测试。具体而言，数据收集包括:(1)互动的视频/音频记录;(2)标准化的面试问题，可选择就具体行为或观察进行提示;(3)问卷调查(见《办法》部分);(4)通过秒表计时所有交互作用;(5)将所有用户行为记录到应用程序的思想重构工具中(即，思想的输入和思想扭曲类型的分配)。

措施

使用西北大学主办的REDCap(研究电子数据捕获)工具收集和管理研究数据[43］．REDCap是一个安全的，基于web的应用程序，旨在支持研究数据捕获，提供以下功能:(1)验证数据输入的直观界面;(二)跟踪数据操纵和导出程序的审计跟踪;(3)自动导出程序，无缝地将数据下载到通用统计包;(4)从外部来源导入数据的程序。

在筛选时，参与者被要求提供人口统计信息(即性别、种族/民族、年龄、教育程度和就业状况)。其后，他们在筛选时完成PHQ-9及CT工具知识及技能预测[40，44］．在可用性测试环节完成与Thought Challenger的互动后，参与者完成了CT工具知识和技能后测，后测与前测相同。

PHQ-9量表是一种包含9个条目的自我报告工具，用于测量抑郁症状，评分范围从0到27 [40］．CT工具知识和技能前/后测试是根据认知治疗意识量表(CTAS)改编的测量方法[44］．CTAS是一种评估对CT结构和技能理解的方法。CTAS中的语言被修改为只反映思想挑战者应用程序中呈现的语言和概念。可能的分数范围为0到40。CT工具知识和技能前/后测试在筛查(前)和测试期间(后)与应用程序交互后进行。这些时间点允许在测试前和测试后给药之间有大约1周的延迟，目的是消除与测试前/测试后相关的可能启动效应。

数据分析

收集thought Challenger中的思想记录条目，以衡量用户在thought Challenger工具使用中的成功程度，即确定用户在应用程序上进行思想重构的准确程度。在所有测试阶段完成后，博士级临床心理学家盲目地对参与者的不良思想条目、认知扭曲类型的分配、在他们与工具的两次互动中，他们写下了不同的想法(这样每个完整的条目都由两位独立的心理学家打分)。心理学家被指示评估这些条目，就好像它们是思想记录一样，这是一种通常通过纸张管理的工具，在面对面的CT中分发，以实现思想重组的实践[12］．评分是二进制的，比如心理学家对每个条目部分进行准确或不准确的评分。当心理学家评分出现冲突时(每个条目由2名心理学家评分)，请第三名临床医生对条目提供共识。

考虑到样本量小和预期的非正态分布(即参与者从没有抑郁症状到严重)，我们进行了非参数测试来分析定量可用性测试数据。Wilcoxon符号秩检验用于分析第一次和第二次尝试工具交互完成时间的比较，以及与Thought Challenger交互前后得分的比较。为了确保PHQ-9得分高于和低于10的参与者之间没有显著差异，Mann-WhitneyU-进行测试以比较参与者完成测试的时间、完成测试的总分和人口统计学变量。完成卡方检验以比较分类人口统计学变量。所有分析均在《社会科学统计包》第23版(IBM Corp)中运行，名义I型错误率为0.05。

结果

参与者

表2显示了用于评估Thought Challenger的样本特征。PHQ-9< 10组多招募了一名参与者，使两组大致相等。在年龄、性别或种族方面，在心理治疗转诊标准以上和以下的参与者之间没有显著差异。那些符合心理治疗转诊标准的患者抑郁症状严重程度明显更高(14.4 vs 3.8)。P<.001)和显著高于以往抑郁发作的患病率(77.8% vs 18.2%，P= .008)。

易学性

完成时间

表3显示Thought Challenger工具交互的完成时间。对所有参与者来说，完成与“思想挑战者”工具的初始无引导互动的中位数时间为4:05分钟。65%的样本符合第一次互动约5分钟或更短的标准[29］．第二次尝试完成任务的中值时间明显更快(4:05 vs 2:34，P=措施)。值得注意的是，PHQ-9≥10组跨时间点完成任务的中位数时间相同。然而，四分位差(IQR)较小(7:30 vs 3:40)，这表明该组在第二次尝试时的时间差异较小。

出错率

在使用Thought Challenger工具的每个参与者的两次交互中发生了10个错误。在第一次尝试“思想挑战者”挑战交互时，出现了9个错误，与试图在主屏幕上与“思想挑战者”字云交互有关(即，点击单词云而不是按钮)，选择“回顾”而不是“挑战”开始挑战一个思想，以及在第一次输入一个不适应的思想后坚持在剩余的挑战交互中(例如，“我像它说的那样输入了我的思想，现在怎么办?”)。在第一次交互中，任何参与者都没有出现失误或致命错误。

在与Thought Challenger挑战工具的第二次交互中，出现了一个致命错误，阻止用户在提供指示和指导的情况下完成任务，因为受挫饱和(例如，“我不想重新开始并重新输入所有内容。”)。当用户在挑战工具中输入数据时，点击“取消”，就会出现这个致命错误。Thought Challenger将用户带回了Thought Challenger主屏幕，没有保存输入的数据，也没有提示用户数据将丢失。这是一个违反错误预防的可用性启发式的例子，该启发式指导设计师减少或消除可能导致交互错误的条件[27］．值得注意的是，在第二次相互作用中没有发生滑移。尽管参与者有当时的错误，比如拼写错误，但这些错误并没有保存在系统中，因为Android操作系统的算法可以纠正错误，比如在输入文本时出现疑似拼写错误时自动填充单词。

因此，与Thought Challenger工具的所有初始交互的总错误率定义为10(错误)/(21[错误机会]x 2[交互数量]x 20[参与者])=.012。因此，与Thought Challenger工具的初始交互的错误率为1.2%。

成功完成工具记录

大多数工具条目都被博士级别的心理学家评为合适的，75%(30/40)的人成功输入了不适应的思想，51%(20/39)的人成功选择了思维扭曲的类型，74%(29/39)的人成功输入了适应的思想。与面对面的调查结果一致，成功率确定为63%或更高[33］．由博士级临床心理学家提供的评级表明，通过思想挑战者工具测试目标的学习性是一致的。

学习的表现

获得技能和知识

为了确定用户在使用Thought Challenger后的学习表现，所有参与者都完成了CT技能和知识的前后测试。表4显示测试前和测试后分数的中位数和IQRs。Wilcoxon符号秩检验表明，在使用Thought Challenger后，整个样本的中位数得分有显著提高(28.5 vs 31.0，P= .009)。Thought Challenger取得了成功的学习表现，因为在与应用程序交互后，CT知识和技能问卷的表现显著提高。

跨症状严重程度的一致性能

与“思想挑战者”互动前后，在完成时间或CT技能和知识的前后测试中，两组之间的表现没有显著差异，高于或低于心理治疗的阈值(PS >13)。

讨论

这项研究旨在评估CT学习在与一个公开部署的基于技能的抑郁症应用程序的初始交互过程中[10，11］．思想挑战者提出了一个没有单独的教学材料的思想重组的挑战工具;在可接受的时间框架内，初次使用应用程序是可以学习的。29]，出错率低。结果还表明，思维挑战者工具促进了思维重组的有效执行，CT知识和技能在首次使用后显著提高。最终，用户能够在初次使用时达到“思想挑战者”的学习目标，这表明基于技能的应用程序可以通过非常简短的互动来教授抑郁症的干预技能。

挑战者的表现

Thought Challenger达到了评估的学习目标，在工具中创建的条目达到了准确反映CT思想记录的标准，准确率约为75%。这超过了63%的患者的基准，他们能够准确地完成记录，作为整个治疗期间的间歇作业[33］．一个可能的原因是，在没有治疗师指导的情况下，参与者的表现比较，“思想挑战者”提供了查看例子的选项，不适应和适应的想法。然而，在本次测试的40个工具交互中，只有7个交互(约17%)使用了条目中的示例思想。虽然不经常使用，但示例思想可能为参与者提供了一个脚手架，以适当地选择和输入他们自己的不适应和适应的思想。最初的“挑战者”思想记录在准确性上与面对面干预过程中完成的思想记录相当。

Thought Challenger能够在不要求用户阅读或参与说教内容的情况下影响学习。这与目前大多数可用的心理健康应用程序形成对比，这些应用程序专注于提供有关症状和/或其管理的信息(即通知)[8］．此外，当心理教育在抑郁症应用程序中呈现时，主要使用静态界面(即类似于阅读电子书)[5］．Thought Challenger的不同之处在于，它通过与工具的互动来训练用户的技能。随着工具的持续使用，使用者可以练习思维重组的技巧。思想挑战者产生了CT技能，通过产生准确的思想记录的能力和对预期结构的用户知识的显著改进来证明。这一发现支持了这样一种观点，即人们可以仅通过技能培训应用程序学习心理结构和技能，而不需要心理教育。

改进的机会

尽管Thought Challenger符合为本研究建立的学习性和学习性能标准，但评估指出了应用程序的改进机会。首先，发生了致命错误(即，即使在提供指示/指导的情况下，错误也会阻止用户完成任务)[30.，31这个错误违反了错误预防的可用性启发原则[27]，因为这个错误本可以通过使用带有以下选项的警告通知来避免:(1)警告用户，如果他/她继续执行该操作，他/她的数据将不会被保存;或者(2)提供在退出到主屏幕之前保存数据以供以后交互的选项。其次，通过帮助和文档的可用性启发，可能会将发生的错误最小化。27］．通过为用户提供更多的指导，让他们对这些选项感到困惑(例如，主屏幕上的单词云，是选择“审查”还是“挑战”按钮)，可以减少出错的可能性。通过随机对照试验(rct)对应用程序进行评估，很可能会遗漏此类致命错误，而是将重点放在探索应用程序是否通常会给参与者带来临床益处上。应用中出现这种错误的可能性可能是行为健康应用部署在公共市场时留存率较低的原因之一。45］．因此，除了通过其他方法评估这些资源的功效外，通过可用性测试等方法探索这些资源的使用是至关重要的。

限制

在解释这些结果时，应该考虑到一些限制和注意事项。首先，这是对Thought Challenger初次使用后的学习能力和学习性能的评估。目前尚不清楚这些结果将如何应用于长期使用、知识、技能应用或症状减轻。此外，作为对学习的评估，没有机会与其他促进学习的应用程序进行比较(例如，不同的技能和心理教育)。其次，这项研究在症状严重程度从缺席到严重抑郁的用户的背景下检查了Thought Challenger，其中大多数在轻度抑郁范围内。目前尚不清楚这些发现如何扩展到患有其他精神或医学合并症的用户。第三，虽然出于多种原因选择了实验室会话而不是现场测试，但会话主持人的存在可能会以一种不同于现场使用的方式影响用户的信心或性能。最后，由于地理位置的限制，样本包括城市用户，主要是年轻用户;目前尚不清楚这些发现在多大程度上适用于不同地理位置和人口群体的用户。

未来的方向

本研究采用可用性方法[27)，借鉴了工程学领域，旨在深入了解用户在与针对抑郁症用户的应用程序的初始互动中所学习的情况。这最终是为了促进治疗应用程序的设计和传播，这些应用程序既能得到提供者的信任，又对患者有用。未来有必要进行研究，评估通过应用程序进行基于技能的学习和实践如何影响长期症状管理。这项工作也应该扩展到抑郁症以外的其他慢性疾病，因为目前可用的应用程序可能无法始终适用于不同的弱势人群[46］．

结论

据我们所知，这是第一次使用可用性测试方法来评估应用程序中的学习，旨在帮助用户学习和练习干预技能。未来的研究需要探索学习在这类应用程序中的作用，以及如何继续改善基于技能的学习，特别是在患有抑郁症的用户中。这将促进此类应用程序的改进设计和传播。临床医生一直对心理健康应用程序的功效持怀疑态度。然而，这项研究的结果表明，用户可以通过单独使用移动工具来有效地学习完成治疗干预技能，而无需参与说教内容。