开发心理治疗中患者激活的自动评估:共同开发方法

介绍

背景

心理治疗师对病人的疗效因人而异[1,2］．此外，心理治疗师个人并不一定会随着时间或经验的增加而提高他们的疗效。3.］．此外，心理疗法的有益效果在许多领域并没有增长，在某些情况下，疗效随着时间的推移而下降[4,5］．鉴于单凭时间和经验似乎并不能提高疗效，目前几乎没有循证手段来帮助心理治疗师提高疗效。这种情况对患者没有帮助，因为他们所见的心理治疗师之间的效果存在显著差异。对于心理治疗师和心理治疗服务来说，缺乏可扩展的、具有成本效益的手段来支持从业人员提高其有效性也是无益的。人们一直呼吁采用系统、客观和常规的方法来衡量心理治疗内容的质量[6,7]，而人工智能(AI)的应用可能会提供部分解决方案，特别是结合文本分类和其他自然语言处理(NLP)技术。

人工智能被定义为一种技术形式:(1)在某种程度上能够感知环境和现实世界的复杂性;(2)收集和解释输入的信息;(3)能进行决策，包括学习和推理能力;并且(4)可以达到预定的目标[8］．在研究中，人工智能越来越多地被用于对心理治疗的内容进行分类和评估。在面对面的心理治疗中，监督学习模型已经实现了心理治疗能力评估的可靠自动化，特别是在动机访谈和最近的认知行为治疗方面的进展[9,10］．在基于短信和互联网的心理治疗中，一种自下而上的无监督学习方法已被用于确定所使用的语言类型，其中临床改善的可能性显著更高，反之，则不太可能[11,12］．

这些方法有几个潜在的好处。首先，心理治疗的自动化评估可以为心理治疗相互作用提供可扩展的常规评估，而人工编码可能过于耗时和昂贵[13,14］．其次，人工智能提供了改善心理治疗内容中预后标记的识别和验证的潜力，为治疗师提供了相关的可培训技能，这可能很难从人类编码中识别出来，或者很难发现重要的标记，因为对人类评分者来说，足够规模的研究是不切实际的。总的来说，这种方法可以为心理治疗师的实践提供持续的反馈，就像常规建议的那样[15］．这将使疗效不断提高，例如，与有意识的练习技术相结合，以增强治疗性微观技能[16,17］．

然而，目前人工智能在心理治疗内容中的应用都没有集中在患有多种共病(或多病)的患者上。考虑到治疗师之间的差异在有更复杂问题的患者中更为明显，并且经历多种疾病的患者通常预后较差，这是重要的[18］．此外，在医疗咨询中更积极地参与和参与，可以对患有多种疾病的患者的长期身体健康、心理健康和服务使用产生特别积极的影响[19］．这一点尤其重要，因为对多病病症的大多数治疗和护理都是由患者自己承担的[20.］．此外，该组患者自我管理护理的能力受到临床医生反应能力和互动方式的高度影响[21,22］．这表明，在心理治疗失败风险较大的患者群体中，特定的会话过程标记可能适合于自动识别和分类，并且交互风格对参与和预后有重要影响。目前的证据也很大程度上局限于面对面的心理治疗或基于信息的治疗。自COVID-19大流行开始以来，人们对视频会议心理治疗的大量和日益增长的使用较少关注[23］．

算法信任和参与式发展方法的重要问题在目前人工智能在心理治疗中的应用中也没有得到充分解决。近年来，算法的日益普及和自动化决策在医疗保健领域的影响，以及在实践中应用人工智能系统的研究不足，引起了人们的极大关注[24］．这意味着人工智能系统的开发没有充分参与或考虑受人工智能决策影响的利益相关者。尤其有问题的是，这些算法系统的开发及其使用缺乏透明度。25］．

在精神卫生领域，已确定并建议主要利益攸关方(包括服务用户)的参与和参与，作为开发可信赖的人工智能应用程序过程的一部分[26,27］．利益相关者参与是负责任的研究和创新的支柱之一[28]并且是这项研究的核心，以提高心理治疗中新兴人工智能应用的可信度和相关性。除了增加对人工智能的信任，利益相关者(包括服务用户)的参与可以帮助解决人工智能系统中的系统性偏见，这些偏见可以在决策中复制人类的偏见[29,30.］．在人工智能用于分析心理治疗内容的初期阶段，建立在这一特定背景下负责任地使用人工智能的方法可能很重要[31］．

最近开发的心理治疗评级工具可能会提供一个机会，以解决目前围绕使用人工智能进行心理治疗评估的证据方面的一些差距。谘询互动编码计划[32基于患者的激活，对个体心理治疗的相互作用进行轮流评估。患者激活在医疗保健中已成为一个重要的、广泛使用的、研究充分的概念，特别是对于患有多种疾病的人来说[33,34］．患者激活是指一个人对自己的健康感到自信并能够积极参与管理的程度[35］．患者激活不同于其他相关的动机和参与结构，因为它更具体地关注参与和动机如何在医疗保健用户和医疗保健专业人员之间的咨询互动中表达[36］．患者激活测量(PAM)是在研究和临床实践中评估患者激活的既定手段[37］．然而，作为一份回顾性问卷，PAM可能无法完全告知旨在增加患者激活的干预措施，这通常涉及在医疗咨询期间调整互动方式[38,39］．因此，对患者激活的评估侧重于咨询中的互动，可能对医疗保健专业人员有指导意义。

CICS将交互分为主题或交互类型(例如，行动计划)，并根据患者的激活程度对每种交互类型进行评级。得分越高，患者的活跃程度越高。CICS评分已被证明与工作联盟、治疗师能力、多种身体和心理健康结果以及通过视频会议接受心理治疗的多病患者治疗中的重要临床变化有关[32,40,41］．CICS可以解决人工智能在心理治疗方面的一些关键差距，特别是在多种疾病患者和远程心理治疗应用方面。因此，它可能为一种可解释的自动心理治疗评级工具提供了基础。

目标

本研究的目的如下:

1. 让最终用户和利益相关者参与应用可解释的人工智能方法的参与性元素，共同生成CICS (autoCICS)的初始自动化版本。
2. 评估自动cics评分的性能与人工评分可靠性的比较。
3. 识别与患者高激活和低激活相关的关键语言特征以及不同的交互类型。

总体而言，参与式方法有助于在利益相关者之间建立信任，应用于自主心理治疗评级系统的负责任设计和开发。

方法

数据源

源数据包括来自53名参与者的128小时远程提供的认知行为疗法(rCBT)音频数据，这些参与者参与了一项随机对照试验，将rCBT与使用紧急护理的严重健康焦虑患者的常规护理进行了比较[42］．参与者被随机分配到rCBT +常规治疗组(n=79)或仅接受常规治疗组(n=77)。78名参与者随机接受rCBT治疗，1名参与者随机接受常规治疗，但提供了错误的rCBT治疗。他们的数据被包括在分析中。因此，总样本为79。随机分配到rCBT的参与者通过视频会议软件(54/ 77,68%)或电话(14/ 77,18%;其余的参与者(11/79,14%)没有参加任何会议)。大多数参与者在招募时没有寻求心理治疗(69/ 79,87%)，大多数报告有多重疾病(75/ 79,95%)。

该随机对照试验招募了156名来自英国初级和二级卫生保健机构的参与者。参与者为成年人(年龄≥18岁)，在过去12个月内曾向任何医疗保健提供者接受过2次以上的计划外或紧急咨询，并被确定为对自己的健康高度焦虑。如果参与者正在经历一种需要持续评估的急性疾病，则被排除在外，但那些患有共病的常见精神健康问题或慢性身体疾病(如抑郁症或慢性疼痛)的人被故意包括在内。

在79名可能的参与者中，包括53名(67%)，(1)参加了≥1次rCBT会议，(2)同意记录治疗会议并匿名报告摘录。《精神障碍诊断与统计手册》第四版的结构化临床访谈[43，参与者在基线时完成，评估精神障碍的标准。长期的身体健康状况也记录在基线患者访谈中。

四名心理治疗师采用既定的治疗方案实施rCBT [42］．4名治疗师中，2名女性，2名男性;2人接受过博士级临床心理学培训，2人接受过硕士级心理治疗培训。

在纳入的128个疗程中，98个(76.5%)是第一次和第二次疗程，30个(23.4%)被确定为潜在的临床重要疗程:直接发生在突然持续改善、突然恶化或退出之前，或者是一系列结果很少或没有发生变化的中心疗程。这组98次会话(总共42,064次演讲)被用于开发和训练初始模型，而其他30次会话(总共9,239次演讲)被用作保留样本，用于测试一旦开发的模型。这种分裂符合早期会话和临床相关的后期会话的分离。它也近似于训练和测试数据集的80:20百分比分割。

伦理批准

从伦敦河滨委员会国家研究伦理服务机构获得伦理批准(14/LO/1102)。

CICS类别

CICS对每个会话中的发言进行分类，并对患者的激活水平进行评级。话语转折被定义为一方在另一方发言之前所说的话;当另一个发言者开始发言时，第一个发言者的发言回合被视为结束。首先，使用可观察的标准为≥1个CICS主题的演讲转向分配主题(文本框1)．

一旦分配了交互主题，就会对该交互中出现的患者激活级别进行评级。得分范围从+2(显示可观察到的、高水平的患者激活和投入)到−2(显示可观察到的低患者激活和脱离的迹象)。分配的CICS评级水平与已建立的患者激活水平相关(表1给出CICS主题和比较患者激活水平的总体水平描述符;表2属性的级别描述符示例自我评估或治疗主题)。患者激活的2个较高水平(3和4，相当于CICS +1和+2)与积极的健康结果相关，而2个较低水平(1和2，相当于CICS−2和−1)与一系列领域的较差的健康结果相关[44］．CICS编码员使用已出版的手册进行培训[45］．

CICS评级是根据治疗师与患者的互动来定义的。本研究旨在解决心理治疗中反应性的关键问题。治疗师反应性被定义为受新出现的情境影响的行为，例如治疗师根据患者表现的变化而改变他们的语言反应[46］．这种反应是治疗师有效性的重要因素[47］．解释这种类型的反应旨在给治疗师在特定患者情境下的行为反馈;例如，之前关于基于文本的心理治疗的机器学习研究已经确定，治疗师的治疗表扬(例如“做得好”)可以预测更好的结果[11］．然而，这些治疗师的话语必须发生在特定的患者互动的背景下，当只考虑治疗师的反应时，这是不考虑的。

所有CICS主题在评分者之间的信度均达到良好至优秀(类内相关系数=0.60-0.80)，大多数主题在认知行为治疗能力和工作联盟方面达到收敛效度(r_年代s = 0.72 - -0.91)。的问题或上下文描述互动主题(评分为存在或不存在)显示出中等至显著的评分者间可靠性(κ=0.54-0.61)，与工作联盟和治疗师能力呈负相关(r_年代=−0.71和−0.47)[32］．

关注问题或背景描述

到目前为止，使用CICS进行预测建模得到的最可靠的发现是，占用的会话比例越大问题或上下文描述互动，结果越差。这样，问题或语境描述在为期12个月的随访中，相互作用可预测较差的广泛性焦虑、健康焦虑、抑郁、生活质量和一般健康状况[41];它们还负向预测整个治疗过程中的幸福感评分，并在突然持续的结果改善之前显著降低频率[40］．尽管与较差的结果有关，问题或上下文描述互动被定义为中性的，而不是消极的互动——描述问题是心理治疗的必要和正常部分;然而，过度关注问题描述可能会挤占其他类型互动的空间，特别是那些需要更高的患者激活和更大的积极参与可能会被刺激的互动。因此,问题或语境描述与其他互动主题的情况不同，互动的评分是存在或不存在，而不是更高或更低的患者激活，总分是该主题评分的会话百分比。

考虑到的中心重要性问题或上下文描述考虑到CICS与预后有效性的相互作用，我们首先将自动CICS分类建模用于识别问题或上下文描述交互作用与其他交互作用。其次，考虑到在其他CICS交互主题中较高的患者激活的重要性，自动CICS分类建模还侧重于识别分类为较高和较低水平的患者激活的交互。

数据预处理

每次会议都逐字记录，在记录过程中删除任何识别信息，然后由评分者检查记录的匿名性。每个转录的语音转向都在NVivo软件中编码(version 12.0;QSR International)由三名训练有素的评级人员使用CICS (SM, CM和NM)进行评估。第三步是在预处理中进行的，为每个演讲回合分配一个主代码，以考虑之前的评分者的决定。在主代码中也删除了重叠代码，因为在autoCICS方法中生成分类模型时，它们不会被有效地处理。CICS上两个可能的正面评级(+1和+2)被分解为一个正面类别(1)，而可能的中性和负面评级(0、−1和−2)被分解为一个负面类别(0)，牺牲数据中的一些粒度来增加用于训练预测模型的数据子组大小。除了语言特征，包括参与者的年龄和性别，以及治疗师的性别，还添加了一般人口统计学特征作为预测变量。还添加了一些特征来表示转录语音的自然分组:来自同一患者的语音，以及在会话开始、中间或结束时发生的交互(将语音的总回合分为三次)。使用最小人口统计特征的目的是解决终端用户对数据安全的共同担忧，特别是在使用此类敏感数据的情况下，并最大限度地减少人工智能系统中传播偏见的可能性[48,49］．如果所有值都为零，则排除语言特征。对于分类交互主题的模型，原始CICS代码转换为问题或上下文描述交互与其他交互主题的组合。

共同制作的语言特征提取

autoCICS开发团队是特意组建的，以确保它包括关键的研究和临床利益相关者，考虑到自动化心理治疗评级工具的特点。该团队包括2名心理治疗师和1名心理治疗助理(分别为SM、NM和CM)，他们提供临床专业知识;3名服务使用者研究人员(MR、FH和DW)，提供患者相关知识和经验;应用语言学家(DH)，在语言功能和模式方面贡献专业知识;AI伦理研究员(EPV);以及一位可解释的AI研究员(JC)，他补充了对参与式方法如何有意义地转化为NLP特征的理解。研究小组成员分别接受了关于患者与治疗师互动中哪些语言标记可能表明患者更活跃的调查，即积极参与、参与和对治疗过程的所有权。研究小组成员还被问及他们认为哪些语言标记可能表明患者脱离和退出治疗过程。确定的特征随后由其他三位团队成员协作转换为NLP特征:一位NLP研究员(YL)和两位数字研究专家(TJ和GF)。表3给出团队中不同学科小组建议的语言特性的示例(请参阅多媒体附件1对于在验证中使用的最终语言功能，删除了不重要的功能)。这个过程旨在为未来产品的最终用户从不同的相关角度生成可理解的语言功能。该方法旨在提高透明度，并让领域专家参与选择输入特征，而不是从数据中进行无监督学习，后者可能更难以解释。语言特征是使用Python自然语言工具包(NLTK项目)和Python库TextBlob提取的。

机器学习

使用袋树算法对患者的激活级别进行分类，即区分被评为积极(+1或+2)的交互作用和被评为消极或中性(−1、−2或0)的交互作用。该模型对级别1的错误分类实例使用恒定权重3，以惩罚不太频繁的类别中的错误分类。训练时通过算法优化达到常数3。采用k近邻算法对交互类型进行分类;具体来说，区分问题和上下文描述相互作用和其他相互作用类型，考虑到这些相互作用的预后重要性。这两个模型都是使用MATLAB开发的(版本2021a;MathWorks公司)。MATLAB的标准实现本质上使用超参数调优。探索性建模还评估了CICS评定的其他不太频繁的交互类型的分类(例如，自我评估或治疗)．合成少数派过采样技术[60]最初用于增强数据，但它并没有显著改善结果;因此，它被删除了，特别是考虑到高度不平衡的数据集和潜在的临床应用。

结果

样本特征

纳入的参与者主要是英国白人(40/ 53,75%)，四分之三(40/ 53,75%)是女性。使用简短的健康焦虑量表，所有参与者都被评估为患有严重的健康焦虑，但所有参与者都报告了额外的合并症。平均而言，参与者符合《精神障碍诊断与统计手册》第四版评估的结构化临床访谈中的7种精神障碍标准(sd3.7)，最常见的是广泛性焦虑障碍。参与者还报告了平均1 (SD 1.15)额外的慢性身体健康状况，最常见的是慢性疼痛(参考表4为参与者的人口统计学和临床特征)。

数据的特点

问题或上下文描述交互是最常见的编码CICS主题，在训练数据集中占54.6%(22967 / 42064)，在测试数据集中占46.8%(4324/9239)。相反，涉及患者的相互作用自我评估或治疗是编码最少的交互类型，分别占训练数据集和测试数据集的2.4%(1010/ 42064)和3%(277/9239)。

交互分类

鉴于数据集是不平衡的，F-分数与准确性分数一起报告，因为他们对班级不平衡不太敏感。对于基于k-最近邻算法的模型，该算法用于识别cics级别的交互主题(正确识别问题或上下文描述交互与其他交互)，总体准确率为73%(精密度=82%，召回率=80%，并且F-score=73%)在测试数据集中观察到。用于分类cics评分的患者激活水平(阳性与阴性或中性)的模型获得了81%的准确性(精密度=87%，召回率=75%，和F-score=87%)在测试数据集中。

探索性模型旨在对较少频繁的交互主题进行分类(行动计划和想法的产生,自我评估或治疗,信息讨论,注意变化或其他,问题分析或理解,结构和任务重点)的成绩低于平均水平F- 20%的分数，因为非常高的阶级不平衡。

讨论

主要研究结果

这项研究表明，协作和透明开发的AI可用于区分心理治疗过程中患者的言语转向的高激活和低激活。使用的语言特征也有区别问题或上下文描述交互以及其他交互类型。然而，该模型不能区分CICS上的其他交互类型(例如，行动计划与问题分析或理解)．应用的共同开发方法可能有助于提高终端用户(包括患者、心理治疗师和服务经理)对自动cics心理治疗评级工具所作决定的信任[31］．该模型还通过将关键利益相关者纳入构成预测模型基础的语言特征的选择而得到了增强，而不是使用专门的数据驱动方法，这种方法可能会导致更不透明和潜在的虚假过程，从而降低对人工智能的信任[48］．当人工智能应用往往缺乏足够的最终用户参与时，利益相关者以这种方式参与也有助于在医疗保健领域开发一个适合目的的系统[61］．总体而言，研究结果表明，应用参与式方法(涉及AI模型开发的关键利益相关者)实现了合理的预测准确性。

与之前工作的比较

通过包括参与性方法来增强信任和可解释性，这项研究建立在现有研究的基础上，其中人工智能已被用于自动化心理治疗评级工具[10,62］．与之前自动化心理治疗逐次评分的尝试相比，本研究与人类评分可靠性的一致性达到了相似的水平[9,63］．这表明为了更大的可解释性而对建模进行的简化并没有对模型性能造成过度的损害。在这项研究中，考虑到治疗师和患者的话语的自动评估也可能有助于在未来建立对与治疗反应性相关的语言特征的更清晰的理解[47］．这一点尤其相关，因为目前许多机器学习模型只关注治疗师或患者的话语[9,11］．尽管大多数以前的监督学习模型都专注于与特定治疗模型相关的会话行为(例如，动机性访谈[10])，本研究中的自动cics评估患者激活-一个可能与心理治疗模型和其他领域的治疗相关的结构[64］．此外，本研究扩大了这种类型建模的患者范围，患者样本在基线时经历多种疾病。鉴于卫生保健专业人员的互动方式和反应能力的重要性，在与患有多种疾病的人进行咨询时，提高患者的积极性，自动化互动评估在改善护理方面具有广泛应用的潜力[21］．通过包括现在经常使用的远程心理治疗模式，本研究还扩大了NLP应用的心理治疗交付模式的范围。

限制

这项研究使用了相对较小的样本量进行机器学习研究。这意味着所使用的交互类型和语言特性的广度可能受到限制，使得结果不太具有普遍性。然而，与以往心理治疗中NLP的研究相比，样本量是典型的[65］．更小的样本量也限制了更复杂的建模方法的使用，这些方法本可以提高分类的精度和灵敏度，特别是在考虑更多关于相互作用类型和患者激活级别的粒度级别时。相关的，有限数量的治疗师被包括在数据集中;一个更具代表性的治疗师样本可能有助于识别和定义治疗师之间的重要差异，这些差异可以包括在模型中以提高准确性。大量的治疗师也可以帮助区分不同的群集治疗师表型，其中不同的交互风格可以归因于特定的治疗师群体。

在探索性建模中，在交互频率较低的类别中，分类器的精度要低得多。这表明要么是没有足够的数据来训练模型，要么是模型中应用的语言特征没有很好地区分这些交互主题。结果是，当前的分类器无法就会话内容的更详细方面向从业者提供细化的、粒度的反馈。分类器在区分不同的交互类型(例如，结构化交互与信息提供)时表现不佳的另一个可能的解释是，相同的语言特征被用于分类患者的激活水平和交互类型。不同的语言特征可能在交互类型上有更明显的区别。

虽然在本研究中用于训练模型的cics标记数据旨在通过治疗师和患者数据的组合评级来解决治疗师的响应性，但这阻碍了了解治疗师或患者对患者激活的个人贡献;例如，患者的互动表明了更大的参与，但治疗师的反应破坏了这一点。目前的分类过程很难识别这些情况，这对治疗师的反馈可能很重要。

虽然这项研究表明autoCICS取得了良好的鉴别效度，但尚不清楚这是否足够准确，可以在临床环境中可靠地使用。此外，在评估显著性之前，分类器的实际临床价值需要在实践中进行评估。因此，需要进一步的模型验证，并且应该评估该工具在临床实践中的可行性和可接受性，因为AI工具在医疗保健中实施失败的目录更广泛[24］．

未来的研究

本文中提出的自动评级需要外部验证，以澄清在患者激活中被评为高水平的相互作用是否与临床实践中使用的患者激活评估相关，如PAM，在同一时间点进行。在进行这种验证之前，自动化评估的临床应用不能得到保证。

更大规模的验证可以使用不同的、更具代表性的患者和治疗师样本来帮助提高模型的泛化性，并解决模型决策中的潜在偏差。未来的研究也可能受益于常规护理数据集的使用(与本研究中的研究试验数据相反)。这可能更接近真实世界治疗中经历的治疗过程，因此增加了更广泛的适用性。在不同的心理治疗模型之间进行验证并提出问题也有助于建立模型效用的可转移方面。未来的研究还应阐明自动CICS的预后价值，不仅要确定是否已达到足够的可靠性以保持CICS的预测效度，而且要评估是否可以使用联合开发方法提高预测效度。

这项研究和以前的大多数研究一样，关注的是心理治疗内容的词汇元素(转录词)，但它没有涉及谈话的非词汇的语音特征(如语调和韵律)，这些特征可能是健康的重要预测因素[66］．因此，未来的研究应该解决心理治疗内容的词汇和语音分析的整合，以更准确地再现会话事件。最后，未来的研究应该在更复杂的人工智能心理治疗内容分析中确定建立和维持共同发展、可解释性和透明度的方法。协作开发的模型可能不能识别与专家设计的模型或无监督学习模型相同的特征，但它们可能更值得信赖，更适合最终用户的目的[29］．在未来，对比参与式方法的结果，例如在本研究中使用的方法，与更多黑盒开发自动分类器的方法将对模型准确性和算法信任之间的权衡给出明智的看法。如果在对更详细的交互类型进行分类时要达到更高的准确性，这将是特别重要的，而目前的方法无法实现这一点。重要的是，所使用的参与式方法并不排除在未来的研究中使用更复杂的算法来开发模型。

临床意义

这项研究提出了一种对患者激活的自动评估的初步发展，可以在心理治疗中常规地轮流评估。与其他进步一起，这种方法可能有助于增强心理治疗中的刻意练习技术。刻意练习旨在识别需要改进的治疗性微观技能，然后通过纠正性练习来改进这些技能[16］．结合进一步发展的自动cics，以及相关的培训和监督，治疗师可以学会更容易地识别有问题的模式，并练习不同的反应。

结论

一种参与式方法被应用于开发一种新的方法，用于评估心理治疗期间的患者激活。这种方法可以通过在最初的开发中建立利益相关者之间的信任来支持心理治疗中自主和智能系统的负责任的设计和开发。

多视角利益相关者协作所识别的语言特征可用于区分心理治疗会话内容中患者激活程度的高低，但其区分不同心理治疗交互类型的能力有限。然而，在评估临床效用之前，还需要更大规模的复制。