应用计算机自适应测试优化自杀行为在线评估:一项模拟研究

简介

背景

自杀意念被定义为一个人想要结束自己生命的想法、计划和愿望[1］．对自杀意念的评估被认为是重要的，因为它可能在企图自杀之前，它可以提供关于自杀意图的严重性和致命性的信息[2］．贝克自杀意念量表(BSS)是自杀意念量表的19项自我报告版本，是一种系统的访谈工具，用于评估自杀意念和未来自杀行为的风险[1，3.］．BSS询问被试的自杀想法和对自杀的态度。由于BSS被广泛接受，并具有很强的心理测量特性，BSS经常被用于研究和临床实践，以评估未来自杀行为的风险[4］．

互联网在预防自杀方面的作用越来越大[5，6］．提供网上自助干预，帮助人们从自杀意念中恢复过来[7]，研究人员通过移动应用程序实时收集自杀行为数据[8，9]，而精神健康机构则透过网上问卷监测病人的自杀行为[10］．在线干预和研究中的人员流失是一个众所周知的问题[11］．为了优化对患者的在线评估，从而限制减员，需要一份更短、更准确的问卷来评估自杀风险。传统的纸笔心理健康问卷有很大的受访者负担，因为它们要求患者回答的问题不能提供任何额外的信息。在我们的例子中，BSS有19个条目，分数范围从0到38。然而，一项前瞻性研究表明，得分为> - 2的受试者未来出现自杀行为的可能性是得分为2或更低的受试者的7倍[2］．似乎在评估未来自杀行为的风险时，如果一个被试得分为>2，就没有必要完成其他项目。计算机自适应测试[12]可以让我们在不失去歧视性有效性的情况下减少问卷中的项目数量。它的适用性已在抑郁症中得到证明[13]和焦虑[14，但尚未在自杀行为风险的评估中。因为在网上回答一些关于自杀行为的问题对患者来说可能是一种负担，尤其是在基线或摄入时[15，16，更可取的是对自杀意念的简短评估。

计算机自适应测验

CAT是可能的，因为项目反应理论(IRT)和互联网的广泛可用性。IRT是基于一个计算机化的迭代过程，对于每个项目，根据潜在的特征评分(theta;自杀意念在我们的例子中)，其估计值使患者反应模式的可能性最大化[17］．更具体地说，病人在网上回答一个问题，根据对这个问题的回答，计算机按照基于irt的算法为病人提供下一个信息量最大的项目。在病人的评分达到预定的精确水平后，不再给药。因此，只向每位患者提供尽可能少的项目，从而减少受访者负担，甚至获得更准确的结果[17］．由于这些优势，IRT和CAT目前正应用于健康结果研究，以开发或改进现有的测量方法。例如，患者报告的结果测量信息系统(PROMIS)是由国家卫生研究所资助的一个大型项目，旨在开发有效、可靠和标准化的问卷来测量患者的结果[12]很大程度上依赖于IRT和CAT建模。

当前的研究

本研究的目的是探讨我们是否可以使用CAT缩短BSS而不失去歧视性效度。我们遵循PROMIS项目中使用的心理测量分析计划的5个步骤[12］．我们提供了描述性统计数据，评估了IRT的假设，为我们的数据拟合了IRT模型，测试了项目偏差，并在我们的数据上刺激了CAT。由于本文首次将IRT和CAT应用于自杀学领域，因此我们对其过程的每一步都进行了深入的解释。本文以一个荷兰版贝克自杀意念量表(BSS-NL)的缩短版的具体例子结束。5个心理测量步骤的概述如下:

1. 描述性统计
2. IRT模型假设的检验
3. IRT模型与数据的拟合
4. 评估差异项目功能(DIF)
5. 计算机自适应测试

方法

测量过程

我们使用了荷兰专业人员停止自杀训练(PITSTOP suicide)研究中基线收集的数据[18］．在这项研究中，心理健康专业人员通过一个电子学习支持的培训师计划接受了指导方针遵守方面的培训。虽然有关措施旨在提高专业人士的预防自杀技巧[19]，该研究的主要结果是用荷兰版BSS (BSS- nl)衡量患者自杀意念的变化。该BSS采用前后翻译法翻译成荷兰语，并于近期用于一项临床试验研究[20.］．患者首选的数据收集模式是通过常规结果监测(ROM)系统，这是一个在线系统，通过该系统系统收集日常临床实践中治疗有效性的数据[3.］．在没有使用ROM的部门，研究生和/或研究助理使用纸和铅笔问卷来收集数据。主要的精神疾病诊断与统计手册(第四版)dsm - iv每位患者的诊断在入院时由心理健康专业人员通过结构化访谈进行评估。

所有符合条件的患者均被告知该研究，并提供知情同意书。

软件

所有分析均在R [21］．描述性统计和主成分分析(PCA)通过心理包[22］．验证性因素分析(CFA)模型采用lavaan包估计[23］．分级反应模型(GRM)采用潜在性状建模(LTM)包拟合[24］．使用mokken包估计单调性[25］．通过lordif包检查DIF [26］．CAT模拟使用了CatIRT包[27］．

我们遵循了引言中列出的PROMIS研究中使用的5个步骤。

步骤1:描述性统计

描述性统计进行了描述。克朗巴赫阿尔法[28]用于检验内部一致性信度，最小可接受值为。8。

第二步:测试项目反应理论模型的假设

在拟合IRT模型之前，对IRT模型的基本假设进行了检验。IRT的假设是单维性、局部独立性和单调性[17］．

对于单维性，我们进行了PCA检验，以检验1维检验是否解释了至少20%的方差，以及第一个因素与第二个因素的解释方差之比是否为4或更高[29］．接下来，我们使用CFA通过使用各种拟合指标来测试单维性[12］．由这个单因素CFA产生的残差矩阵被用来检验第二个假设，局部独立性。相关性>。2were flagged and considered as possible violations of local independence [12］．最后，通过拟合非参数IRT模型来检验单调性，从而得到IRT概率曲线。具有可伸缩性系数<的非单调项。3 (25]被标记[12]并加以描述。

步骤3:拟合项目反应理论模型与数据

有很多不同的IRT模型[30.］．对于按顺序回答的问题，GRM [31的提议。因为BSS有3个有序响应选项(0、1和2;得分越高代表自杀意念水平越高)，我们对数据进行了GRM拟合。

作为对GRM的介绍，我们为BSS的第7项(想到自杀的频率)提供了一个GRM的例子。图1显示每个响应类别(0、1和2)对应于参与者在给定theta分数的情况下选择该选项的机会的函数。由于BSS的每个项目每个项目有3个响应选项(0、1、2)，因此给出了3条曲线。所有3条响应曲线在任意水平的组合概率总是1。换句话说，在图1，如果患者的theta = -2，患者选择选项0的概率约为1。如果患者的theta值为1.5，则他/她支持选项0的概率约为零，支持选项1的概率为0.65，支持选项2的概率为0.35(1 -[0+0.65])。theta评分≥2的患者最有可能选择选项2。每一项都由一个辨别参数(alpha)和2个定位参数(β)定义₁和β₂)．本例的项目参数估计为α=4.117， β₁=0.171， β₂= 1.243。区分参数反映了每项theta的真实差异，与因子负荷相当。贝塔值(阈值参数)表示在潜在连续尺度上的位置，该项目在个体之间最好地区分。

为了评估IRT模型对数据的拟合，每个单一项目的类别响应曲线(CRC)，如在图1，都被绘制出来了。

‎ 查看此图

步骤4:不同项目功能的评估

差异项目功能(DIF)存在于两组患者(如男性和女性)中，如果他们的theta水平相同，但却没有相同的概率认可一个测试项目[32］．与PROMIS研究相似，我们考虑了4个重要的协变量:性别、年龄(18-49岁，50-69岁)、教育程度(低教育水平/大学或高等学位)和管理方法(计算机vs纸笔)。IRT项目参数(区分和阈值参数)被假定为与组成员关系线性不变。在CRC中发现的任何差异都表明，具有相同水平的theta，但来自不同组的患者有不同的可能性支持一个项目。显示DIF alpha水平为0.01的项目被标记。因为统计能力取决于样本量，在我们的大样本中，微不足道但非零的差异很可能被发现是显著的。因此，我们也报告了效应量，以进一步研究DIF的大小。姆法登的伪R²<。13.are negligible, and effect sizes between .13 and .26 are moderate [26］．

第五步:计算机自适应测试

Package CatIRT执行一个事后的CAT。在第3步中获得的IRT参数用于我们的CAT模拟，除非DIF分析建议对亚组患者使用不同的参数。作为起点，我们设置一个入口级别，它通常被选择为0 [13］．选择的第一个项目是在最初的自杀意念水平上拥有最多信息的项目。通过最大费雪信息法选择下一个项目，与根据刚刚选择的项目和对该项目的响应估计的theta有关。最后，我们确定了一个停止规则。作为停止规则，我们使用了反映BSS >2 (θ >-1)的theta值。如果围绕theta的估计的置信区间完全在1个类别内(风险升高/无风险升高)，我们的CAT终止。我们使用了99%的置信区间。因为心理卫生保健问卷往往在相对较高的临床结果水平上达到峰值[13，17，33]，我们还增加了第二个停止规则，以防止没有自杀意念的受试者必须完成所有19个项目。第二个停止规则是最多使用6件物品。我们比较了使用无、1或2个停止规则时的分类差异。

结果

概述

我们将CAT应用于PITSTOP自杀试验中完成19个项目的505名患者。最初，数据是通过ROM收集的。在研究开始后，大多数部门很难通过ROM收集我们的数据。总的来说，只有43%(217/505)的数据是通过ROM收集的。作为替代方案，研究助理和临床医生被指示通过纸和铅笔完成问卷。505例患者中，93例(18.4%)患者BSS总分为0,254例(50.3%)患者BSS总分<8;128人(25.3%)主要诊断为抑郁症，50人(9.9%)有人格障碍。平均年龄42岁(SD 9.2岁)。在基线时，505例患者中有183例(36.2%)表示他们至少尝试过一次自杀。

步骤1:描述

总体Cronbach alpha为。94。BSS的平均分为10.4 (SD为9.4)。作为表1结果表明，删除1项并没有导致内部一致性的显著改善。项目-余数或余数相关性(R_休息)亦令人满意。

第二步:项目反应理论模型假设的检验

当拟合一个单因素PCA时，我们发现50%的比例方差是由第一个因素解释的。1因子模型和2因子模型的比值表明，第一个因子模型解释的方差是第二个因子的14倍。在拟合验证性分析时，我们发现比较拟合指数为0.999,Tucker-Lewis指数为0.989，均方根误差近似为0.045 (90% CI为0.038-0.053)，标准化均方根残差为0.059。

第三步:拟合分级响应模型

概述

表2显示所有19个项目的alpha值都大于1。第7项(想到自杀的频率)似乎在自杀意念水平较高或较低的患者之间有最好的区别，如4.117的高alpha所示。

类别响应曲线

在19个项目中，17个项目显示出预期的CRC图。第11项(想要自杀的原因)和第13项(获得自杀方法的途径)显示了需要额外检查的crc。表3显示了3个不同项目的参与者每个回答选项的平均总theta:项目7,CRC良好，项目11和13,CRC不理想。对于第11项和第13项，第1项和第2项的平均θ的差异很小，而且它们的置信区间重叠，这表明在这些项目中，第1项的得分越高并不一定反映出更高的自杀意念水平。

步骤4:不同项目功能

在分析性别、年龄或教育差异时，没有项目被标记为DIF。在分析管理方法的效果时，标记了7个项目。然而,R²都<.13。

第五步:计算机自适应测试

在给予所有19个项目时，345名患者被分类为有风险(表4)．当允许项目数量在3到19之间变化时，CAT模拟显示，平均而言，10个项目足以满足与第一个模型相同的分类。对于大量自杀意念特征较低的患者，在满足停止规则之前，所有项目都已耗尽(图2)．当使用最多6个项目时，336名而不是345名患者被归类为风险增加(表4)．

‎ 查看此图

讨论

主要研究结果

我们的模拟表明，IRT模型可以拟合到BSS-NL, CAT可以成功地应用于减少BSS-NL的长度，以评估未来自杀行为的风险。主成分分析和验证性因素分析发现量表高度单维。没有发现局部独立或违反单调性。因此，IRT建模的所有假设都得到满足。对于19个项目中的17个，IRT参数令人满意，表明大多数项目非常适合提供关于患者自杀意念水平的差异信息。当使用最多6个项目的CAT时，505例患者中只有9例(1.7%)被分类为不同的类别，而所有19个项目的分类则不同。重要的是，这个模拟表明CAT可以平均只管理4个项目，而不是在不失去歧视性有效性的情况下管理全部19个项目。

改善项目11及13

我们发现第11项(想要自杀的原因)和第13项(获得自杀方法的途径)的项目参数不尽如人意。进一步的调查显示，对于这两项，具有相当自杀意念水平的患者同样可能支持选项1或选项2。例如，考虑第13项。我们的数据显示，自杀倾向较低的患者更有可能支持选项0(没有手段)，自杀倾向较高的患者同样有可能支持选项1(需要时间找到手段)或选项2(我有手段)。由于这种重叠，具有相同自杀意念水平的患者最终可能会得到不同的总分。因此，在使用完整版本的BSS时，我们建议重新措辞两个项目的回答选项，将它们作为二分项目提供或排除它们。

优势与局限

因为这是一个模拟研究，所以需要实时CAT研究来确定最准确的项目参数。很少有临床研究实现了实时CAT，但这些研究显示出与模拟研究的良好比较(例如，[34])。接下来，有必要将当前研究的参数与BSS原始英文版本收集的数据进行比较。对于我们的模拟，我们使用一个固定的theta作为分界点，而不是既定的BSS分数>2。未来的前瞻性研究必须检验最合理的θ截点，以预测自杀行为风险的升高。此外，在评估后，我们没有关于患者是否真的有自杀行为的长期随访数据。因此，我们无法比较CAT的预测效度与完整测试的预测效度。CAT方法的另一个限制可能是CAT数据无法与规范数据进行比较。通过在元分析中标准化结果[35，评估相同结果但以多种方式测量的分数仍然可以进行比较。

通过BSS-NL，似乎很难调查具有低自杀倾向的患者的微小差异。这在心理健康评估中更常见[13，17，33］．混合CAT方法，如Choi等人推荐的2阶段半自适应测试策略[35]，也可能是合适的，并导致更准确的分类。

最后，尽管无线互联网和可靠的硬件广泛可用，但(荷兰)精神卫生保健的ICT现状降低了大规模实施CAT的可行性。即使是我们正常的(非cat)评估，我们研究中的许多研究助理也不得不诉诸于纸笔测试，因为计算机测试在技术上是不可能的。显然，这就排除了CAT。

本研究的优势在于样本量大;505名来自不同精神科的患者完成了BSS。因此，研究结果的外部有效性是相当大的。当前论文的另一个优势是临床心理学/精神病学领域中现代心理测量技术的应用。由于对新技术缺乏兴趣和数学训练不足等原因，心理学/精神病学中新技术的整合至少不是最理想的[36］．通过深入解释我们分析的每一步，并通过关注IRT和CAT在临床领域的实际应用，本文希望促进当代心理测量技术的使用。

计算机自适应测试的具体实例

如前所述，由于数学和计算建模，IRT和CAT对于临床医生和应用科学家来说可能有点令人生畏。因此，我们提供了上次CAT模拟的一个具体示例(theta bound= -1, max items=6) (图3)．在我们的模拟中，所有患者都从第4项开始。根据第4项的答案，选择第2项或第6项，或者该人处于较高的风险(如果参与者回答回答2)。例如，如果患者选择第4项(“我有微弱的自杀欲望”)的回答1，那么下一个最有信息量的项目将是第6项(“思考自杀的时间长短”)。如果患者回答该问题的周期是中等或较长(反应1或2)，则将其归类为高风险。如果患者选择反应0(非常短的时间)，下一个项目将是项目7(自杀想法的频率)。按照这种算法，高危患者只需要1到2个项目就可以被归类为高危患者。

‎ 查看此图

结论

CAT的主要优点之一是减轻了被调查者的负担。在网上回答有关自杀行为的问题对患者来说可能很困难，导致高辍学率。由于流失是电子健康中的一个众所周知的问题，降低自杀行为在线评估的响应负担是重要的。值得注意的是，我们的CAT模拟显示，当使用BSS-NL评估自杀行为风险升高时，项目的数量可以大大减少。我们的模拟表明，平均4个项目就足够了。显然，为了让CAT被广泛接受和实施，还应该进行更多(前瞻性)研究，并且在精神健康或研究环境中应该大幅改善ICT。然而，考虑到在临床和研究实践中对自杀风险的快速而准确的在线评估的需求，我们认为IRT和CAT可能在开发更好的自杀行为风险评估测量方法方面发挥重要作用。