优化现有的心理健康筛查在痴呆筛选和风险因素的应用方法:观察机器学习研究

介绍

抑郁是12修改痴呆风险因素被《柳叶刀》委员会(1]。抑郁和痴呆之间的关系是复杂的,与抑郁症是痴呆的一个危险因素,前驱症状(2),称为假痴呆的鉴别诊断3]。焦虑是一种高度的并发症与抑郁和痴呆的诊断中是一个重要的特性(4]。焦虑有独立对认知的影响5),在驾驶过程中发挥作用寻求卫生保健行为没有赤字的人在(6]。此外,抑郁和焦虑症状是常见的老年人,估计患病率约为13% (7]。因此,适当的筛查抑郁和焦虑是筛查痴呆时的重要性。Mindstep是一个新的应用程序,旨在整体屏幕痴呆认知障碍和痴呆而收集信息的重要危险因素。实现这个重要的风险因素的分析,例如通过对抑郁和焦虑与认知筛查对话界面。重要的是,在这个应用程序使用的方法是准确和易于集成在广泛的应用程序的结构。

9-item病人健康问卷对抑郁症(phq - 9)和15个老年抑郁量表广泛应用在临床设置屏幕老年人抑郁(8,9]。被短,然而,尽管phq - 9执行至少以及老年抑郁量表筛查老年人跨多个人口,因此,我们决定phq - 9合并到应用程序(10,11]。抑郁症的诊断的最佳分界点phq - 9≥10 88%的敏感性和特异性相关(8]。同样,7-item广泛性焦虑量表(GAD-7)已被用于评估焦虑筛选具有高敏感性(92%)和特异性(76%)在工作年龄的截止点从≥7≥10 [12- - - - - -14]。进一步研究建立了有效筛查老年人,切断5推荐更好的敏感度较低(12,13]。

尽管这些调查问卷分别是短暂的,他们可以成为漫长的嵌套在一个应用程序,旨在筛选多个其他危险因素,利用多个测试。长的问卷调查导致较高的疲劳和辍学,因此,我们旨在限制总软件使用的持续时间5分钟(15]。尤其是患有情感性精神障碍的关键是谁可能经历赤字的关注,浓度,动机,和疲劳16,17]。因此我们认为PHQ-4 PHQ-2相结合(由第一个两个问题phq - 9)和GAD-2(由GAD-7)的前两个问题(18]。虽然这缩短了时间花在调查问卷,PHQ-4没有严重的规模,和常用的短裤可以导致优先敏感性和特异性以牺牲其他的(19]。因此,这就要求后续问题;例如,完成整个phq - 9后积极PHQ-2(屏幕上20.]。我们想开发一种方法,既简洁PHQ-4和更长时间的准确性phq - 9 / GAD-7除了严重的规模。为了达到这个目标,我们通过添加问题改编PHQ-4因素通常覆盖在更长的调查问卷。我们训练有素的机器学习模型,使用广泛的附加信息已经在Mindstep收集。因此,本研究旨在评估模型的性能与基准测试时完整的标准化phq - 9和GAD-7问卷。如果性能相当于长的问卷调查,这将使应用程序的筛选方法等价的功效同时最小化完工时间。

方法

应用程序数据收集和用户

Mindstep应用程序的用户的数据被用于这项研究在一个便利样本。应用程序由一个5分钟的谈话风格问卷,常见的痴呆症的风险因素是收集信息。认知能力是评估通过的修改版本2共同的认知测试:Stroop测试和符号位模式测试。查询的痴呆风险因素包括病史、年龄、饮酒和依赖,脑震荡,吸烟,和自我报告的功能障碍。类似于医疗咨询,然后在回答的答案进行进一步筛选,引起关注。只有那些报道感到沮丧或者疲惫筛选phq - 9,而只有那些报道感到焦虑或担心与GAD-7筛选。作为对照组,在很短的时间内,那些回答说,他们觉得好或者伟大的焦虑也会遇到。除了年龄之外,没有其他个人信息从用户收集。

新问题设计

新创建的问题是基于版本的phq - 9和GAD-7时间越长,每个抑郁(心态抑郁问题[最小检测量])和焦虑(心态焦虑问题[MAQ])包含的抑郁和焦虑症状的精神疾病诊断与统计手册通常被排除在缩短了调查问卷。1的问题,用户被要求选择以二进制的方式如果几个选项适用于这种方法收集各种信息以快速的方式。问题如下所示(图1)。分类和连续的混合特性的应用程序使用。无监督的特征选择的递归特性消除。两个模型包括年龄、酒精依赖(如评估笼)(21),和功能障碍的问题。PHQ-2 PHQ模型,最小检测量,酒精/药品/吸烟(现在/过去从来没有),每周饮酒在饮料(< 3/4-7/7-14 / > 14),感觉沮丧/累了,笑话数据(是的/不/没有)被包括在内。迦得的模型、MAQ GAD-2,认知得分(MStroop / MSymbols)都包括在内。

‎ 把这个图

基准

结果感兴趣的比较的长篇phq - 9和GAD-7。对于二进制分类任务,截止值≥10被用在这两种情况下代表常用的筛查有切断这些工具(14,22]。总phq - 9和GAD-7分数也用于全身检查评分预测的回归任务从PHQ-4 +心态特征。

数据预处理和分析

作为预处理的一部分管道,分类的输入是一个炎热的编码。只有自我报告的酗酒者被要求完成笼中的问卷调查,大多数用户不注册一个笼子分数和分数被认为是0。为用户选择不完整的Stroop或符号测试,用于他们的结果平均值。我们将数据分为训练和80% 20%抵抗测试集PHQ (n = 432108)和迦得和10倍交叉验证(n = 408103)。坚持测试集仍然看不见的整个模型训练,hyperparameter调优和模型选择。

机器学习模型

四个不同的机器学习模型训练的分类和回归的任务。使用逻辑回归模型(线性回归是回归任务中使用),支持向量机,TabNet [23),和极端的梯度增加树木。模型评估基于10倍交叉验证分数(曲线下的面积(AUC)分类,R²回归)。较弱的模型被丢弃(AUC < 0.9或R²< 0.7),最终结果是平均合奏的模型。只有整体模型进行了测试在测试集。这个整体的训练集上的性能模型相比,在个体模型表S1中可以找到多媒体附录1。

基准测试

指导解释和基准测试的结果,最后整体模型相比,物流/线性回归模型只使用PHQ-2和GAD-2问卷。这样做是在看不见的坚持置信区间和测试集P价值评估的意义生成差异通过比较模型的性能通过引导测试集的1000倍。

模型Explainability

解释的预测最终的整体模型,模型无关的夏普利添加剂解释(世鹏科技电子)分数计算来确定相对功能重要性(24]。世鹏科技电子分数决定哪些特性是重要的模型在整个测试集和支持等当地解释为什么一个特定的预测了对于一个给定的用户。

伦理批准

本文是强劲的二次数据分析匿名数据以最小的人口统计信息收集(只有年龄)没有与任何个人数据的机会。使用这个应用程序,用户同意透明的条款和条件,包括自己的数据存储和匿名用于进一步的研究。因此,伦理批准这项研究没有严格要求。谨慎的态度,我们申请并获得了回顾性伦理批准使用这些数据进行研究:西米德兰兹郡,Solihull研究伦理委员会参考21 / WM / 0202。

结果

参与者的数据

540 2235 Mindstep用户,完成了PHQ - 511完成了迦得。总Mindstep用户的平均年龄是50 (SD 14.1)年;PHQ子集,是49.3(标准差13.1)年;迦得和用户而言,它是49.1(标准差13.6)年。540年的目标用户选择phq - 9, 233(43.1%)筛选阳性萧条。511年的目标用户选择GAD-7, 173(33.9%)筛选阳性迦得。这些高可能代表用户的丰富选择已经感觉负价的情绪。只有一小部分用户没有完成Stroop(28/2235, 1.3%)或符号测试(26/2235,1.2%)和数据估算。

问卷调查的特点

所有问卷都出色的可靠性以克伦巴赫interitem相关性(25]:phq - 9 (α=点),PHQ-2 (α= .77点),GAD-7 (α= .90)和GAD-2 (α=点)。整体模型的测试集AUC phq - 9(0.90)显著改善PHQ-2基线(差0.04,95%可信区间0.00 - -0.08;P= .02点)。整体模型的测试集AUC GAD-7(0.93)相当于GAD-2基线(差0.00,95%可信区间-0.02到0.03,P=点)(图2)。通过改变阈值,可以优化整体模型的敏感性和特异性为特定的情况。选择最优PHQ模型的敏感性和特异性为88%和85%,分别达到一个不错的折衷办法相比,高度敏感PHQ-2截止≥2(分别为90%和61%)或高度特定PHQ-2截止≥3(分别为68%和93%)。PHQ模型的阳性和阴性预测值分别为78%和92%,分别。迦得的敏感性和特异性模型(分别为95%和78%)实质上类似于临床使用GAD-2截止≥3(分别为92%和75%)。迦得模型的阳性和阴性预测值分别为69%和96%,分别。

‎ 把这个图

回归分析

图3显示了回归模型整体预测phq - 9测试集和GAD-7分数。这两个模型(图3)能够实现良好完整的问卷分数的预测:phq - 9 (R²= 0.655,平均绝对误差(MAE)和GAD-7 (R = 2.267)²美= 1.780 = 0.837)。PHQ模型显示出了极大的提高在美PHQ-2基线(差0.35,95%可信区间0.06 - -0.65,P= R . 01)和一个无意义的改善²(0.08,95%可信区间-0.02到0.21,P= 0。06)。迦得模型显示一个无意义的改进在美GAD-2基线(0.08,95%可信区间-0.10到0.26,P= .20)和R的显著改善²(0.04,95%可信区间0.01 - -0.08,P= . 01)(表S1多媒体附录1)。PHQ,通过将分数分成类别的增加程度(8),0 - 4,5 - 9,10 - 14、15 - 19和≥20组内相关计算是0.76 (95% CI 0.67 - -0.83,P<措施)。迦得、类别的0 - 4、5 - 9,10 - 14,和≥1514]。一个组内相关计算为0.87 (95% CI 0.81 - -0.91,P<措施)。

‎ 把这个图

功能的重要性

图4显示了beeswarm世鹏科技电子总结情节的10个最重要的特性是由世鹏科技电子值预测phq - 9和GAD-7。大世鹏科技电子值的大小,更大的是正数的影响模型,表明用户更可能是条件。在这两种情况下,最重要的特性预测的完整的问卷PHQ-2 GAD-2最小检测量和MAQ紧随其后,分别。功能障碍的问题也被证明是重要的两组模型。年龄和吸烟是重要的抑郁症模型,和焦虑的Stroop测试是重要的模型。

‎ 把这个图

讨论

主要结果

我们已经证明PHQ-4的结合,其他问题和风险因素信息能够准确预测时间越长问题的严重程度评分与R²0.655 phq - 9和R²GAD-7为0.837级。这是一个了不起的新发现,因为之前的研究只有看着协议之间的二进制切断短问卷相比的了。这表明,即使这些超短问卷可能会响应变化,尽管这将在未来的工作需要探索。此外,单独使用PHQ-2相比,我们的模型实现更好的性能分类和回归模型。世鹏科技电子分析表明,方差的最小检测量和MAQ可以捕获一些短PHQ-4错过。我们的模型的好处是不太清楚在焦虑与单独利用GAD-2相比没有什么差别。这可能是在某种程度上,正如GAD-2仅达到很高的性能在二进制分类和回归的任务。这是符合荟萃分析,表明GAD-2实现非常相似的性能GAD-7 (12- - - - - -14]。我们的开发模式对抑郁症的力量不仅仅是一个增强的预测精度也选择任何阈值最好的能力平衡敏感性和特异性。这使我们能够选择一个最佳平衡敏感性和特异性的截止而不必选择PHQ-2截止,重视高敏感性和特异性。此外,我们收集年龄这一事实将使我们个性化截止对证据筛选符合老年人通过更严格的达标灵敏度最大化(12,13]。我们的回归模型具有良好的组内相关性使我们对用户为多个类别进行排序。phq - 9为例,初步验证的研究表明,尽管10代表最好的敏感性和特异性截止,更高的分数有更好的区别的价值观得分高于15非常具体的抑郁症和10 - 15代表一个重要的灰色地带8]。因此,排序等多个类别的用户不太可能(< 10)可能/可能的(10 - 15)/(> 15)抑郁症是可以实现的,并将协助优化建议我们可以提供的准确性。数据表明,长问卷招致更多的疲劳和辍学15]。这是特别重要的,因为我们的应用程序是自行并没有临床医生鼓励用户。使用超短问卷的好处是,它允许很多不同的风险因素都与一个应用程序和一个评估坐在没有显著疲劳和辍学。这使得许多痴呆的危险因素的全面审查。

限制

尽管这些调查问卷填写无人监督的一个应用,计算机化的有效性形式的phq - 9和GAD-7已经证明是有效的在格式类型(26,优秀的可靠性达到本研究否定这是一个问题。本研究的一个限制是使用phq - 9 / GAD-7地面实况。相比,这是一种间接测量clinician-assessed诊断诊断问卷等结构化或结构化临床采访精神Disorders-IV诊断与统计手册(SCID)。这都意味着我们不能训练我们的模型在一个明确的诊断抑郁症的。然而,先前的研究,寻找代理抑郁症的诊断取得了auc的0.77 [26)和0.79 (27相比),低的准确性完全phq - 9 (AUC 0.87) [28]。这表明phq - 9是一个有效的地面实况。额外的使用限制phq - 9 / GAD-7地面真理意味着我们的模型不能超越这些问卷。考虑到我们在更广泛的各种各样的因素,包括收集数据功能障碍,这可能是比较诊断措施将允许增强性能。事实上,通过捕获功能的措施,包括认知能力和自我感觉赤字,我们的应用程序捕获重要元素缺失phq - 9和GAD-7问卷。有趣的是,世鹏科技电子分析表明,这些问题在功能赤字phq - 9模型尤为重要,建议这个信息是很重要的模型的表现PHQ-2孤单。下一步解决这个限制是使用应用程序在一个人口与精神疾病的金标准验证措施如SCID由心理健康专业人士。这将允许细化因素模型中,允许真正的敏感性和特异性评估时的诊断抑郁症。然而,重要的是要注意,应用程序的目的是使用这个函数严格的筛查和诊断的作用,确定个人被标示为进一步评估的初级保健医生。因此,关联到一个已经非常有效的问卷可能会适合它的目的。

由于应用程序需要收集匿名数据,我们没有基本的人口数据,如性别、种族、社会人口状态,或教育背景,这是本研究的一个重要的限制。这使得很难探索模型中的偏见,这可能会导致不同的性能在人口群体。需要做进一步的工作探索算法的性能在各种不同的团体,以防范微分的性能。此外,这种限制使得我们很难概括这些发现特定以外的用户组的应用。然而,MAQ /最小检测量是基于被广泛接受的症状可能会保持这个设置以外的有效性。本研究的另一个局限性是相对较小的样本量;未来的调查可以扩展到更大的数据集。在这种背景下,未来的一个重要步骤是在设置测试该算法的有效性与参与者well-labelled characteristics-an必要的后续初始验证(29日]。未来试验计划评估这一群老年人,一群特别重要,因为评估抑郁和焦虑的上下文中是痴呆风险因素和筛选。

结论

总之,我们的研究结果表明,通过使用PHQ-4,符合Mindstep收集到的其他措施的应用,我们可以实现精度类似于长篇phq - 9和GAD-7问卷。这意味着应用程序可以用来可靠地检测这些条件。进一步的工作人口的数量与验证诊断已知这些模型将进一步加强证据基础。