一个认知能力评估和康复的沉浸式和交互式平台(哦):设计和迭代开发过程

介绍

背景

心理健康问题是增加全球1]。在中等收入国家和高收入国家,全国人口的50%,至少将经历一个心理健康障碍在他们的生活2]。精神疾病影响国家生产力,估计有多达4%的损失以国内生产总值(gdp) (3]。累计经济产出损失相关的精神障碍患者从2011年到2030年,预计将有16.3万亿美元在世界范围内,将其与心血管疾病密切比赛,这是最主要的医疗负担(2]。精神疾病包括许多条件,具有挑战性的人在他们的生活,影响他们的学习能力,建立繁荣的生活,优雅到高级岁(4]。尽管普遍存在心理健康问题,他们仍然难以评估和治疗。

最好的管理精神健康状况,重要的是要理解功能的不同方式是影响个体。精神病理学的一个核心特征是认知功能障碍,障碍可以发生广泛、是非等领域的关注,响应抑制,和视觉记忆,它跨越障碍边界(5]。目前对认知功能的评估,通常包括面对面的临床评估电池组成的手写和2 d计算机认知任务(6,7),可能无法捕捉行为背后的复杂的过程,因为他们是基于一组常见的神经心理评估工具统一的认知结构(8]。另一方面,观察治疗,它变得明显,认知康复已成为一种很有前途的战略。它是基于这样一个前提:反复练习的任务目标赤字会导致改善特定认知领域(9]。然而,目前尚不清楚这些改进是否转化为现实世界的运转。

神经心理学评估目前正在经历一个转变,远离传统construct-driven某月范式向测试,是日常生活的代表,吸引身临其境的使用,或称为扩展现实(XR)技术10- - - - - -12]。特别是,虚拟现实(VR)允许几乎完整的感官沉浸与广阔的设计可能性和严密的实验控制,使其适合评估认知功能性能的模拟现实生活中的任务。虚拟现实交付能力和控制刺激而练习时用高保真捕获响应,提供了一个控制和可重复的工具,不可用在传统的测试方法。虚拟现实提供了评估和康复的机会导致了越来越浓厚的兴趣研究和临床神经心理学社区近年来(13]。使用虚拟现实认知的可行性评估和护理已经证明在不同认知域,如关注(6,14,15),执行功能(16)、内存(11,17,18),和空间能力19]。此外,在一个广泛的评论描述临床VR的地位,Rizzo等研究表明,使用虚拟现实演示了建构效度和歧视理论的认知评估健康对照组的临床组,而虚拟现实认知康复的研究,虽然有前途,产生了不同的结果20.]。在虚拟现实系统回顾认知康复,拉尔森等(21)确定一些随机对照试验证明有效的记忆训练(22- - - - - -24执行功能()25),和视觉注意力26),并得出结论,该领域的进一步研究是必要的。

尽管现有解决方案显示了使用数字认知的巨大希望卫生干预措施,甚至VR干预具体地说,这些干预措施尚未被广泛采用。上述大多数虚拟现实平台组成一个运动适合一个特定的障碍,需要手动重新配置支持重复措施锻炼,和支持有限,通常是特定用户显示和交互硬件(6,21,27,28]。这里,我们概述认知保健合作设计开发框架平台,该平台开发使用这个地址这些限制的过程。开发框架包括一个跨学科的团队比赛临床与运动对刺激和测量软件设计意图,和一组临床合作伙伴配置和验证多用途运动为特定的用例。

客观的

这项工作的目的是创建一个工具箱对临床医师进行评估和康复与身临其境的技术平台启用。因为小说,跨学科性质的开发软件身临其境的认知,次要目的是概述认知治疗的迭代开发过程软件与领域专家合作。

方法

以人为中心的方法和设计思维是用来识别关键需求等提出的平台,它将满足的标准是可取的,可行的,可行的(图1)。当这些组件是均衡的,一个人可以到达一个创新的过程,整合终端用户的需求以及技术的潜力以可持续的方式(29日]。

‎ 把这个图

具体地说,一个跨学科的方法(30.,31日)以前受雇于加拿大国家研究委员会(NRC)杠杆发展哦认知平台。这种方法已成功地应用NRC创建手术仿真平台(30.- - - - - -35),最著名的神经外科,NeuroTouch(现在全球分布式CAE医疗NeuroVR)。一个可行的解决方案,技术是建立在团队的优势在模拟。多年来,这个团队开发了技能和专长组装所需的部分用户交互性在现实的实时仿真,吸引用户通过多种感官(视觉,听觉,触觉)。愿望,或在临床社区平台的必要性,确定了与临床护理提供者通过积极讨论和通过识别的差距在市场上现有的解决方案。的生存能力,在早期,团队建立长期合作研究协议5跨加拿大和世界知名的临床基地1在日本认知保健网络(CCN)。CCN由早期采用者集团提供了特定于域的视角以及反馈迭代交付平台的发展哦。CCN目前推出几项研究调查哦练习的内容,以及它的使用,具体的目标人群。此外,TRL (TRL)框架(36)已经被用于集成和结构内的临床协作阶段技术开发阶段根据成熟度水平(图2)。

‎ 把这个图

结果

技术准备

哦平台的发展始于2017年,迄今为止和活动都集中在研究演示实验室早期定义的技术可行性。在这个阶段的技术发展,4主要活动先进:(1)识别的基本要求和关键区分标准(TRL-1),(2)原型设计和基础研究来实现关键部件(TRL 2 - 3)、(3)测试和验证在实验室设置(TRL 3 - 4),和(4)的建立CCN早期采用者。CCN成立于2019年的准备时,平台将达到一个中间实验室(实验室4 - 6),准备从验证在实验室转向验证在临床的设置。

识别需求和优势

这个工作的根本目的是利用身临其境的相应技术,使评估和治疗,可以有效地结合现实问题的认知功能。通过创建模拟,进行用户通过多种感官(视觉,听觉,触觉),同时允许自然运动,沉浸式VR创建一个意义上的存在(在那里),产生一个真正的反应在一个单独的37]。使用虚拟现实环境中也允许实验控制,这使得它可行的测量和研究日常运作,否则可以非常困难在实际设置。

考虑认知的需要,确定相应的技术和创新的潜力,四个主要需求被确定为哦平台:

要求1:支持多种硬件平台和不同模式的浸泡(完全、半或Nonimmersive)

支持第三方硬件与不同程度的技术成熟度促进临床干预措施的规划和研究不断变化的技术的虚拟现实硬件。此外,不同的沉浸模式允许灵活的内容交付在身临其境的技术的情况下不可用或者一个完全身临其境的环境不是由病人耐受良好。将这种支持也使低成本的使用范围高端临床和家庭消费设备设置。

要求2:一套定制的任务

这种方法允许临床合作伙伴选择可用的任务和选择基于一个特定的病人或临床目标人口的需要(如小儿和老年人患者)。共同核心功能所需的所有任务都是标准化的,使一个更快、更敏捷软件开发过程和开放的可能性增加定制的功能。任务选择地址方面的认知各种常见精神疾病,而不是一个特定的障碍。此外,可配置练习允许配对标准化评估自适应和gamified变体进行相应的治疗,提供治疗,不要站在隔绝的评估。

要求3:Clinician-Facing UI控制任务参数

这个接口包含一个广泛的可调参数,暴露出该平台提供的广泛的设计选择。暴露参数允许临床医生管理和开干预(剂量、持续时间和频率)以及促进审判的监测和控制。

要求4:数据日志记录机制

行为和实验数据记录与精确的计时需要认知过程的研究。使内部和用户响应的主体分析和物理交互,运动数据的记录,用户的性能,和模拟信号和事件也是必需的。

实现

开发一个平台的实现是通过身临其境的技术和翻译需求确定通过积极合作设计过程(上面列出)硬件和软件组件,包括内容的设计。

哦是使用统一的3 d游戏引擎开发,实现与多个组件(图3)。任务是在一个通用的核心定义流程和不同的软件和硬件组件之间的交互。支持各种硬件(XR耳机、移动设备、个人电脑),内部输入管理器了。该组件是一个抽象层,将设备的输入和输出映射到软件的功能。临床医生和患者通过不同的接口与平台交互促进patient-clinician交互。平台启动时,临床医生可以访问nonimmersive用户界面(UI)来配置所需的试验设置自定义为病人干预。病人可以在虚拟环境交互练习使用浸入式硬件的选择。内容组件包含了练习和监控系统。练习包括虚拟环境、任务逻辑(规则和目标),指令,exercise-specific交互。当使用一个身临其境的耳机,病人的观点在他们的头盔显示器(HMD)也显示在第二个屏幕,使监控。 This is the same screen through which the clinician can access the exercise settings. In addition, the clinician can launch a task by clicking on the representative 2D icon in the overlay. The final component concerns the data. Streaming data are used in a closed loop to control the evolution of the exercises based on user performance. Detailed data including motion, key presses, cues, events, and patient performance are also logged into files for post analysis.

‎ 把这个图

开发过程

研究团队使用敏捷软件开发,包括面向功能代码的实现,公共代码库,软件测试,用户测试,缺陷跟踪,频繁的软件版本。标准化的用户测试开发巩固硬件和软件的集成特性。个人新平台是作为测试人员加强可用性和揭示问题,熟悉系统无法识别。此外,帮助保持每个练习的主要功能和核心功能,单元测试与集成开发统一的3 d工具实施自动化这个过程。从领域专家获得主动输入,敏捷方法包括定期交付技术的早期采用者获得迭代反馈。这种反馈通知软件开发的连续的阶段。

原型开发

技术可行性活动哦导致了发展的一个原型TRL-4成熟度级别,已经在实验室环境中测试和验证(图4)。

‎ 把这个图

原型设计是由临床医生在各种临床环境。其架构保持灵活,适应各种输入模式和管理硬件,因为它是确定每个诊所都有不同的硬件需要根据病人的约束或限制,价格、可用性和硬件,他们已经拥有。因此,原型是实现多通道(完全、半或nonimmersive)和多平台(眼睛,HTC万岁,全息透镜,平板电脑(iOS和Android)和桌面)。时自动检测连接设备的执行平台,使其为用户一个无缝的特性,从而促进了长期目标功能的家庭环境与远程监测的临床医生。

练习

原型开发中提供的练习目标认知领域常见的多种精神疾病,包括注意力、内存和执行控制。促进业务和沉浸在模拟练习利用多种感觉的反馈(视觉,听觉,触觉)。一些练习是为了目标感兴趣的一个特定的领域,而有些人则同时参与多个认知域代表的日常任务。总共8演习实施(图5)。

‎ 把这个图

州的关注(蛋)

用户必须首先扫描环境鸡蛋。然后要求他们直接和持有他们的目光在足够长的时间使它破壳而出(注意力聚焦)。音频和视觉干扰环境中挑战用户,和加分授予如果用户反应线索而关注(秘密的注意)。

多任务(实验室)

用户必须完成2配方同时调查完成一系列任务的能力通过他们之间交换战略或规划他们的顺序可以最有效地执行。这需要用户密切关注食谱步骤(监控能力)显示在虚拟的平板电脑屏幕在他们面前。

视觉工作记忆(戏剧)

灵感来自视觉匹配任务和短期记忆,用户提出了目标形状下令从左到右。一组观看时间后,目标是隐藏的。在一个特定的时间(延迟回忆),对象分为视图的用户,其中一些目标和其他不(比较对象)。用户必须选择所有对象并将它们的目标的顺序呈现在一个有限的时间。

反应抑制和认知控制(摩尔)

鼹鼠变化,用户使用一只手一把锤子,已经达到气缸,出现在他们面前。锤子的颜色随时间变化,汽缸也有不同的颜色。用户只能用锤子敲缸相同的颜色(信号)。

自律(蝴蝶)

用户从事电机通过一个活动奖励自制自律。用户要求与净捉蝴蝶,但必须这样做,以温和的方式,因为快动作吓跑他们。运动速度指示器是可见的在网上,促进自我意识。用户可以监控、控制和抑制非生产性电机反应可能会引发附近当蝴蝶。

持续关注(散步)

这是一个身临其境的版本的持续注意反应任务,去或不方便的任务与罕见的事件来衡量用户的关注。用户提供了self-avatar,散步在自然场景。形状不断出现在用户面前,和一个按钮时,必须按每一个新的形状出现,除非它是一个绿色的钻石。

视觉搜索和注意力(云)

这是一个身临其境的视觉搜索和注意力测试的版本,一个网格的橙色和蓝色U图形显示在用户面前。用户必须找到唯一的蓝色U形状点向上或向下和响应与相应的上升或下降的反应在他们的控制器。橙色的形状和蓝色形状指向左边或右边是必须忽略的干扰。

放松(帐篷)

在放松和感官探索,用户沉浸在风景优美的观点和要求看看周围,关注他们的呼吸。有节奏的对象存在来引导他们的呼吸节奏。关闭坚持有节奏的对象应该有镇静效果。用户自由探索的场景或选择一个不同的场景从一组选项提交页的一本书。这个练习也为最终自导的压力管理,设计,未来的工作将包括心率变异性的集成生物反馈基于虚拟自然场景内进行缓慢的呼吸。

临床医生定制和监控接口

clinician-facing UI开发允许定制的运动参数和功能是开启或关闭在练习。一个滚动菜单(图6)提供了访问设置的变体设计给定的运动,或建立的剂量干预,将标准化的评估与相应的适应性和gamified变异为个性化的康复训练。设置可以保存和共享,允许多个临床基地和标准化的配置进行研究。当一个病人参与哦审判HMD,白色覆盖可点击图标可供临床医生协助操作和控制虚拟现实体验收到(图7)。图标允许临床医生启动一个特定的运动(左面板)和干预如果需要,比如开始或结束锻炼,重定位用户在身临其境的环境中,或暂停会议(下半部分)。

‎ 把这个图

‎ 把这个图

任务参数

哦是为了作为一个工具包;所以,任务设计是高度可配置的参数。一些个性化元素包括促进一种体现。self-avatar可以个性化的元素,如性别、肤色、身高、手,可以修改病人settings选项卡添加到clinician-facing UI。哦的设计还考虑潜在的物理限制的用户,让他们玩站立或坐着的选项。病人设置也可以用来调整某些元素的高度在一个练习,如果适合功能是不够的。此外,病人在哦使用多个输入虚拟现实交互类型,如视线方向,传送,抓住或打击对象,以适应参与者的条件限制灵巧手的动作。

任务难度参数配置为允许个性化评估和康复计划。难度级别可以设置在固定水平的临床医生,确保试验再现性进行比较与过去的表现或参与者,或设置配置为使用一种自适应算法实现80%的成功率。内部和intersession困难发展设置也可以。

所有任务参数是使用一个完全自动化的日志记录系统,以促进离线分析。除了记录运动设置、事件订单和难度水平,系统记录时间戳的数组,同步数据,包括运动跟踪、运动事件,线索呈现给用户,和性能的措施。日志,匿名保密,作为JSON和CSV文件输出,兼容标准的数据分析软件。

其他功能包括添加各种游戏,促进重复的任务通常需要在认知康复协议。游戏化元素,如奖励和动画,是综合促进依从性对性能和接触,并提供反馈。视觉线索,音频信号,有时分散元素也被合并。在特定练习,可以探索虚拟环境显示传送功能,或者用户可以选择不同的虚拟环境之间。

干预模式

哦是在三种模式:(1)教程,(2)评估,和(3)康复。每个模式都是针对一个特定的临床需求决定通过早期采用者的反馈。

教程模式

在本教程模式中,参与者从事结构化学习为每个任务所需的行动。这是实现以确保参与者开始评估和康复训练水平相当的熟悉完成所需的操作练习,即使他们有不同的熟悉XR的基线水平。在每个运动的教程,标准化的指令集提出了写作和口头的人形。如果一个动作不是执行指定的时间间隔后,修订版本的说明,提出了增加的可能性参与者正确理解什么是必需的。人形《阿凡达》还提供了关于成功与失败的口头反馈整个教程(图8(左)。通过本教程进步的唯一途径是通过成功地执行所需的特定行为,此时参与者可以继续从事自由练习没有任何指定的目标。临床医生可以从本教程模式过渡到评估通过clinician-facing UI或康复模式。

‎ 把这个图

评估模式

在评估模式中,参与者完成了运动与事件总是发生在相同的顺序和时间(例如,基于一个固定的随机种子)和固定难度水平(38)(图8中心)。种子数决定了事件的顺序和时间可以修改由临床医生这样的评估可以跨会话pseudorandomized或参与者。临床医生配置每个难度的设置最好的满足其评估需求。因为每个用户的报告是一致的,它是可能的评估用户性能对建立或与他人在相同的研究结果。例如,委员会错误(错误的点击)时特别感兴趣的调查认知控制。

康复模式

在康复模式,重点是参数,以参与和促进病人依从性对性能提供反馈。自适应算法调整目前的困难水平基于性能,以确保它不会太容易(无聊)或太硬(挫伤)为用户39]。增强动力,提供实时反馈水平或分数变化以及成功和错误的迹象(图8,对吧)。最后,在恢复模式下,每个会话的一系列事件是随机的,以避免冗余。因此,即使进步是重置会话之间,病人不应该看到两次相同的一系列事件。

可接受性研究结果

作者2进行初步可接受性研究与健康的参与者,描述了他们在先前的报道40,41]。这些研究表明,使用沉浸式VR临床应用也不仅技术上可行,而且耐受性良好,优于传统的2 d等价物。第一个接触的研究表明,主观报告在执行一个任务哦(一个身临其境的环境)高于平板电脑上执行相同的任务时(nonimmersive环境)40]。第二个研究表明,两种类型的被动位移,线性和正弦媒介过程行走,没有增加主观的报道cybersickness在视觉注意力的任务(41]。

这些初步研究的结果证明哦平台的可接受性。小心注意了在设计关于cybersickness表明成功的政府甚至在参与者报告被高度容易晕机。哦在沉浸式VR任务,在静态场景和那些涉及更复杂的用户动作,耐受性良好,参与健康的参与者,提供所需的支持测试在临床人群作为下一个步骤。此外,因为它是确定订婚是相同的沉浸感和nonimmersive交付的练习,完全半或nonimmersive模式可能会导致不同的用户的表现。因此,特别是认知评估,执行的任务结果应该比较在给定的浸没式模式。

尽管哦显示总体可接受性和耐受性,轻度cybersickness少量的用户经验。生物医学数据情报在NRC的团队调查了使用哦环境内的一个化身来监控用户不适。对话框代理提供即时的和互动的形式帮助用户个性化建议缓解症状(42]。结果表明承诺发展的认知自我保健和虚拟代理将进一步探讨使用哦。

认知保健网络

原型目前被超出了实验室和临床设置。提供特定领域的专业知识和临床验证,CCN组装4组成的机构在加拿大和1在日本(图9)。他们专长成瘾、精神分裂症、记忆和轻度认知障碍的老年人,执行能力在儿科人群和重度抑郁障碍与背景在神经心理学,精神病学和临床心理学。

‎ 把这个图

由临床医生评价哦2019年开始提供特定于域的输入整个开发过程哦。哦到目前为止已经安装在4位置,从早期测试和持续的反馈在这些设施已经纳入迭代改进。适应哦练习针对临床人群已经开始。这些活动是根据Birckhead结构化等虚拟试验方法(43),包括合作设计的内容与病人和早期研究(可行性、可接受性、耐受性和初步临床疗效),以及随机对照试验研究的结果哦。随着这些活动正在进行中,他们超出了本文的范围。

讨论

主要研究结果

使用数码解决方案有可能解决当前的精神卫生保健资源的差距。为此,数字疗法已经进入了制药景观(44]。基于网络和移动应用程序的可访问性和可购性可以提高护理和动机可以帮助病人在干预和参与。后者的价值最大化,数码解决方案采取了创造性的方法,使用基于游戏疗法或利用技术来创造更加身临其境的体验45]。XR平台市场上目前包括精神卫生保健行为健康(BehaVR)、自闭症和发育迟缓筛查(Cognoa)和压力管理(Healium)。虽然XR的解决方案目前阶段的展示证据使用的好处,一些手机数码疗法已达到监管机构的批准46]。例如,梨疗法已收到授权从美国食品和药物管理局(FDA) prescription-based数字治疗物质滥用疾病和慢性失眠。此外,2020年,FDA允许市场营销的第一个基于游戏的数字Akili互动改善注意力功能治疗的儿童注意缺陷多动症(47,48]。

使用虚拟现实技术的主要动力是其感官沉浸与严密的实验控制的能力,使其可行的测试或研究认知和感觉功能,通常禁止在现实世界中设置,因为不可预知的和无法控制的事件,发生在日常生活中。身临其境中所选择的和迷人的任务哦,鼓励有意义的用户交互。模拟场景也设计成multisensorial和交互式允许自然运动,增加技能在虚拟现实的可能性将会转移到现实生活中。

另一个司机使用模拟技术是能够同时捕捉丰富的行为数据。当用户在虚拟环境交互,所有的活动都可以记录进行分析。哦是用两个数据与数据流workflows-one实现实时自适应训练和离线分析数据记录。哦,流数据用于闭环实时适应练习,针对特定病人的康复。目前,用户性能数据作为输入用于自适应算法,据此调整练习的难度水平。可穿戴的集成、生理传感器XR场景也使生物反馈目前进展。在这种情况下,实时特性派生从传感器数据作为输入适应练习。作为合作的一部分先进的电信研究所CCN,新的认知训练演习正在开发使用electroencephalography-based脑机接口控制虚拟第三臂(49]。这项工作具有广泛的适用性,因为它提供了一个小说形式的多任务训练老年用户在操作环境中认知负荷的训练。

哦,数据也正在登录离线分析,信息包括运动、按键、VR线索,事件,和病人的性能。在这个工作流,我们的目标是获得从传感器数据特性,无法获得实时处理。例如,用户状态的分类与预测模型可以获得执行离线使用技术,如认知建模和机器学习。与用户状态获得定量措施,如用户反应的增加运动困难或不良反应,VR加上生理传感器可以提供更客观的评估措施的个人功能比传统的自我报告,这是一个不可靠的索引功能的结果(50]。通过收集在精心设计的虚拟现实的干预行为和生理反应,长期愿景是创建闭环自适应数字描述和治疗认知障碍的干预措施,以及使医生能够预测实际的临床结果。

在开发的平台,是两个教训。首先,设计一个通用的核心和为用户提供可定制的选项是一种有价值的方法为各种治疗提供者开发应用程序。为此,哦平台设计目标特定的认知领域,而不是特定的病态。临床医生从可用的选择练习来解决一个特定的病人的需要。这种选择提供了一个机会来解决而不是疾病的症状。治疗提供者可以进一步定制个人练习的选择可配置的设置,使1等三个基本模式(教程、评估和康复)或特定功能或关闭。在认知功能的研究,这意味着,一个是能够设计模式特定的研究问题,通过选择虚拟环境(例如,基于游戏或现实世界的设置),实验刺激的类型(如目标、干扰、提示和反馈),演讲的时间和类型(multisensorial与否),和用户响应的类型(例如,目标是最小化错误或尽快执行)。

第二,避免依赖特定的硬件与XR有利的发展。哦的实现硬件无关,多通道、多平台,容纳的范围规范来自不同潜在的临床应用和增加持久力在快速变化的技术格局。哦的工作集中在使用的情况下,临床医生管理干预。然而,不可知论者的核心硬件平台认为其最终使用由临床医生在家里远程监控。哦的核心也是为了适应HMDs商用的进化。HMDs已经走过了漫长的道路,从笨拙,拴在设备性能和舒适的独立单位针对大众市场。哦的核心还允许内容交付的其他模式,如AR或移动,当沉浸式VR不合适。例如,谷歌基于“增大化现实”技术的眼镜都是有前途的自闭症儿童教学实时识别情绪(51]。鉴于耳机遮住面部表情,使用虚拟现实是不适合在这个上下文。哦,手机应用程序的使用也可能促进国内普遍使用,考虑到无处不在的智能手机。Nonimmersive XR也可能会提供一个选项对于那些容易cybersickness浸入式环境。因此,进一步促进哦计划在这些方向。

结论

哦,由美国核管理委员会,是一种沉浸式和交互式的认知保健平台,提供评估和治疗任务multisensorial体验(视觉、听觉和触觉)。成熟度级别的技术已经达到原型实现和初步验证在实验室进行设置。早期采用者的CCN成立评估系统和访问特定于域的视角。在这个网络中,4哦原型已经完成安装,下一步开始适应系统和合作设计内容针对特定临床人群。此外,我们计划执行验证所需的最终采用临床工具哦。