基于虚拟现实的多模态听觉触觉提示对空间注意缺陷患者的影响:初步可用性研究

介绍

虚拟实境(VR)设备正越来越多地被使用，并可在工业中找到[1，2]和娱乐、军事领域[3.，4]和医药[5-11]。在虚拟现实中学到的技能已被证明可以转移到现实世界[7，12，13]，这带来了广泛的可能性，从训练到康复。虚拟环境具有完全可定制的优点，因此，它们有可能适应不同的情况，甚至不同的用户能力[14，15]。特别是在神经系统疾病的康复领域，VR已被证明是一种很有前途的方法，因为它具有适应性和包含不同的感觉信息[16]。这被认为不仅可以促进皮层重组，还可以促进神经元可塑性的激活[17]。VR在这个领域的一个可能的应用是创造一个可以被操纵的环境，以某种方式帮助那些在视觉注意力的空间分配中受到干扰的患者。这些障碍通常被归为视觉忽视，这是右半脑卒中后常见的情况(高达70%)[18，19]。视觉忽视的特点是无法对来自空间对面的目标做出反应。它对中风后的整体预后是一个负面的预后因素，而且很难治疗[20.]。

改善视觉忽视的一种方法是应用跨模态线索(即，感官模式的线索而不是视觉模式的线索)，以引导视觉注意力转向被忽视的一侧。最常见的是，听觉线索已经成功地应用于忽视患者，以引导视觉注意到对侧[21-24]。虽然很少被研究，但触觉线索(单独或与听觉线索结合)似乎也能改善这类患者的视觉注意力的对偶分配[21，25]。

上述研究的大多数设置都是基于二维屏幕，复杂的扬声器阵列或移动机器人手臂上的扬声器。使用3D VR环境可以降低系统的复杂性，增加其生态有效性，因为它具有更高的沉浸感，更大的视野，并且可以自由移动头部和身体[26]。

事实上，在VR环境中呈现的听觉线索对忽视患者的视觉空间注意力部署的影响已经成功地进行了探索，并显示出令人鼓舞的结果[27，28]。相比之下，据我们所知，迄今为止还没有研究调查VR中的触觉线索对忽视患者视觉注意力空间部署的影响，尽管在健康对照中获得的结果似乎令人鼓舞[29，30.]。最后，先前在2D环境下的结果表明，多模态线索(即同时结合听觉和触觉线索)可能比单一线索产生更好的效果[29，31]。然而，在3D VR环境下，这种组合对视觉注意缺陷患者的影响尚未研究。

因此，本初步研究旨在探讨在3D VR环境(我们的鸟类搜索任务)中对视觉忽视患者实施多模态(听觉和触觉)线索的可行性和可用性，并获得不同类型线索对视觉注意力分配的影响，并将这些患者与无线索情况进行比较。我们假设:(1)对空间注意障碍患者实施一种包括触觉、听觉和听觉-触觉联合提示的新系统是可行的和可用的;(2)不同提示类型对患者的视觉空间注意分配能力有正向影响;(3)多模态线索(听觉和触觉结合)的使用比单模态线索(听觉或触觉单独)的效果更大。

方法

人口统计资料

在2020年6月至2020年11月期间，招募了12名亚急性右半脑卒中后左侧视觉忽视的患者并将其纳入研究。

他们是瑞士因塞尔医院、伯尔尼大学医院或卢塞恩kanton医院的神经康复诊所的住院病人。所有患者视力正常或矫正至正常。患者平均年龄58.2岁(SD 9.70岁)，女性4例。看到表1有关详细资料，请浏览图1查看招聘流程图。

‎ 查看此图

纳入标准为以下3项评估中1项的病理评分:Catherine Bergego量表(CBS) [32]、敏感忽视测验(SNT) [35]、线对分测试[34]。

CBS是一份既定的问卷，可以根据对日常生活活动的观察来检测忽视的存在和严重程度(忽视的截止值:CBS评分>1)。SNT是一个纸笔取消任务。利用消去中心(CoC;截止值:CoC >0.081) [33]。CoC反映了从中心到错过目标的平均位置，并被归一化为从−1到1的值。0表示没有空间偏差，负值表示向左移动，正值表示向右移动。此外，线平分试验[34]是另一种常用的评估忽视严重程度的神经心理学任务，截断值为≥11%的平均相对右偏[34]。

临床评估躯体感觉障碍、听力和听觉消失。通过比较左、右前额和颞头区域的触觉敏感性来评估体感障碍。为了评估听力和听觉消退，我们分别向每只耳朵或同时向两只耳朵发出沙沙声，并比较患者的报告。基于这一评估，患者被分为以下2个亚组:有和没有感觉障碍的患者。由于无患者出现听消失，故不组成听消失组。

伦理批准

该研究得到了伯尔尼和卢塞恩州伦理委员会(ID 2017-02195)的批准，并按照最新版本的赫尔辛基宣言进行。所有参与者在参与前都签署了书面知情同意书。

调查问卷

如先前Gerber等人所述，我们选择了不同的问卷来评估VR任务的可用性和副作用[36，37]。

为评估视觉搜索任务和虚拟现实系统的接受程度、可用性和参与者的感受，系统可用性量表(SUS) [38]被使用。评估副作用和晕动症[39]、模拟器病问卷(SSQ) [40]被使用。

技术设置

VR硬件包括一个独立的头戴式显示器(HMD)和一个手持控制器。在任务过程中，连续记录控制器和头戴式显示器的位置(20 Hz采样率)。

HMD (Oculus Quest, Facebook Technologies)的分辨率为1440×1600像素，水平视场为110度，帧率为72 Hz。为了开发我们的鸟类搜索任务，Unity平台[41]被使用。

为了监测患者在任务期间的行为，患者的视图通过Sidequest的无线流媒体工具投射到笔记本电脑上[42]。因此，实验人员能够实时看到病人看到的东西，并在需要时进行干预。

此外，对于触觉提示的应用，使用了一种特殊的垫子作为HMD的镶嵌件，如Knobel等人所描述的[29]。这个垫子包含6个硬币振动器，对称地分布在额头上。每个硬币振动器可以单独启动。声音通过耳外耳机呈现。

鸟类搜索任务和研究程序

鸟类搜索任务的主要目标是尽快发现出现的鸟类。该任务在虚拟环境中进行，包含3个主要特征(图2)。

‎ 查看此图

首先，有一个平面，看起来像地板，防止病人感觉漂浮甚至下降。其次，在患者的正前方呈现一个彩色固定十字架。患者的初始位置对齐，因此固定十字正前方。第三，有4个呈现角度，刺激(蓝鸟)一次可以出现一个。这些呈现角度在- 70°，- 30°，30°和70°的水平线上，与患者的躯干相关(见4只鸟的呈现角度)图2)。在本研究中，我们将考虑30°和- 30°角作为准心心角，70°和- 70°角作为侧角。

在每次试验开始时(整轮)图3)，患者被要求将HMD指向中央固定十字(红色十字)图2；图3A)，从而使它们的头对准前方的躯干。如果固定十字与HMD对齐，则会变为绿色，从而为正确固定提供反馈(图3B).在中央注视十字上注视2秒后消失，同时出现一只目标鸟(图3C).因此，中央固定交叉的消失是病人开始寻找目标鸟的信号。患者被要求用手持控制器标记目标鸟，以确认是否发现了目标鸟。一只被标记的鸟坠落，从现场消失了。这开始了一个新的试验(即，中央注视交叉2秒，后者消失，同时出现下一个目标鸟;图3D).如果在11秒内没有找到目标鸟，它就会消失，然后开始下一个试验。

‎ 查看此图

每只目标鸟都可以在有或没有额外空间线索的情况下出现。有2种不同的空间线索(听觉或触觉)，导致以下4种不同的情况:None(没有线索)，Audio(只有听觉线索)，tactile(只有触觉线索)和Combo(听觉和触觉线索);要了解更多细节，请参阅下面的“提示”部分)。

在无注视条件下，患者必须在注视交叉消失后立即开始寻找目标，但没有额外的方向提示。在其他3种情况下，患者在目标出现的同时从新出现的目标鸟的呈现角度获得额外的提示。这些提示在3秒后重复，直到最长呈现时间为11秒。

鸟类搜索任务被组织成4个环节，每个环节包含一个空间线索类型(即无、音频、触觉和组合)。在每一阶段，80只目标鸟被呈现(即4个呈现角度中的每一个测试20次)。目标鸟出现的呈现角度顺序是随机的，约束条件是连续2次试验中不能有2只目标鸟以相同的呈现角度出现。4个疗程的顺序是随机的。这4节课在连续的2天内进行(即每天2节课)。第一天向患者解释所有情况，并进行3次实践试验。在实验过程中，每个提示类型和每个呈现角度都被呈现。首先，口头引导患者到目标位置，如果没有正确检测到位置，则重复相应的练习试验最多3次。如果位置检测正确，则显示下一个角度/球杆。完成练习后，进行前2次练习。 On the second day, the corresponding practice trials of the 2 remaining cueing conditions were repeated, and then, the 2 remaining sessions were performed.

提示

这项任务包括听觉和触觉空间线索。听觉提示是一个1秒的500赫兹的音调，0.1秒的声音逐渐消失，以降低声音的清晰度。听觉线索的空间信息是由Unity游戏开发平台的音频空间化软件开发工具包生成的[41]。该空间化器的头部相关传递函数基于KEMAR数据集(一组假头的耳前脉冲记录;麻省理工学院媒体实验室的比尔·加德纳[43])。在这项任务中，如果声源在头部左侧，声音实际上被感知为来自左侧(由于两只耳朵之间的音量大小不同)，如果头部朝向声源，声音被感知为来自前方。

触觉提示(1秒振动)使用来自HMD的特殊镶嵌物的准时振动，该镶嵌物包含6个对称定位的独立可控硬币振动器[29]。硬币振动器的控制方式模仿了声音的空间行为。这意味着，如果头部朝向前方，并且在左侧给出提示，则最左边的硬币振动器被激活，表明提示在左侧。如果病人转过头来面对提示，中间的硬币振动器就会被激活，表明提示现在就在病人的正前方。如果头部转得更厉害，右边的硬币振动器就会被激活，表明球杆现在在右边。

在组合条件下，听觉和触觉提示同时给予，各1秒。

在任务参数

性能

评估的主要参数是标记目标的平均时间，以及在每种呈现角度和条件下发现和标记的鸟类的百分比。根据找到目标的百分比和找到目标的平均时间，我们计算出一个绩效指标[44]。通过将找到的目标的百分比除以标记目标所需的平均时间，计算每个呈现角度和条件的性能度量。因此，该计算结果的值越高，表示性能越好。

这种性能测量允许在单个参数中结合两个行为方面(即反应的准确性和速度)。对于被忽视患者的认知障碍，这种性能测量提供了几个优势。首先，即使被忽视的病人在给定角度/条件下没有找到任何目标，它也可以量化表现。实际上，在这种情况下，不可能计算标记目标的平均时间。但是，当该值乘以公式中找到的目标的百分比(在本例中为0%)时，结果将正确地为0(表明对于特定的表示角度和条件，性能非常低)。其次，这种性能度量对于极值是稳健的。

例如，如果患者在特定的呈现角度/条件组合中仅以非常快的方式找到一个目标，那么如果只分析标记目标的平均时间，则这种低反应时间将被夸大。相反，在绩效衡量公式中，纳入发现目标的百分比降低了该极值的权重[44]。

早期的取向

在任务过程中，HMD相对于躯干的角度位置被连续记录下来，从而反映了头部随时间的旋转。基于这些数据，早期定位[45-47]，即提取刺激呈现后第一次头部旋转运动的方向(向左或向右)。然后，我们使用正确的早期定向实例(即，即使目标出现在右侧，但头部最初转向左侧的实例，反之亦然)的比例;图4)和呈现角度作为游戏中的性能参数。

‎ 查看此图

图4显示早期方向参数的示意图。轨迹(绿线和红线)表示6个目标(蓝鸟)呈现时的头部方向。在这个例子中，当第四个和第六个目标出现时(红色痕迹)，患者首先把头转向右边，尽管目标出现在左边。当进行第一次、第二次、第三次和第五次试验(绿色轨迹)时，方向从一开始就是正确的。因此，右侧的正确早期定向实例的比例为1(即，当目标出现在右侧时，所有的早期定向实例都是正确的)，左侧的为1/3。

通过比较目标出现时的头部角度(中心)和1.5秒后的头部角度来确定早期方位。如果差值(开始角度减去1.5秒后的角度)为负，则患者已将头向右转;否则，病人已经把头转向了左边。

数据收集和统计分析

对所有患者进行一次统计分析，并对有无体感障碍组进行比较(两组均无听觉消失)。

首先，我们通过双向重复测量方差分析分析了不同提示条件和不同空间位置对游戏参数的影响，提示类型(关卡:无、音频、触觉和组合)和角度(关卡:−70°、−30°、30°和70°)是所有参与者的主题内因素。

其次，由于假设听觉和触觉线索需要完整的体感处理才能有效，我们的目的是评估损伤对各自模态的影响。为此，我们根据体感障碍(是/否)和听觉消失(是/否)对患者进行分组，并将组作为受试者间因素(水平:有和没有体感障碍)，线索类型(水平:无、音频、触觉和组合)和角度(水平:−70°、−30°、30°和70°)作为受试者内因素重新进行方差分析。

采用最小显著性差异的事后分析来识别呈现角度内线索的显著差异。研究数据使用Research Electronic data Capture进行管理[48，49]，这是一个支持研究数据处理的基于网络的工具。使用R (R Foundation for Statistical Computing)和MATLAB (MathWorks)进行数据分析。

结果

子组

在神经心理学测量方面，平均结果如下:CBS评分10.0 (SD 4.79)分[32]， CoC为0.30 (SD 0.37) [33]，线对分检验的相对偏右偏差为13.6% (SD 19.0%) [34]。

体感觉损伤分离后，无前脑体感觉损伤7例，有前脑体感觉损伤5例。在比较两组之间的年龄和神经心理指标时，年龄(t_9.94= 0.480;P=.64)和神经心理学测量(CBS:t_10.0= 0.376,P=标识;CoC:t_7.78=−0.289,P=尾数就;线平分测试:t_9.99= 0.343,P= .74点)。

调查问卷

可用性(基于SUS评级)用3个问题(回答范围从0[不可用]到4[高度可用])的总和进行评分，并在12个最大值中达到10.2 (SD 1.85)。两组的评分相似，两组间无显著差异(t_8.95=−1.54;P= 16)。

用SSQ中7个常见项目的总和来评估副作用的发生(回答范围从0[无副作用]到3[严重副作用])，在21的理论最大值中，得分为0.833 (SD 0.834)，表明副作用的发生率非常低。结果各组间无显著差异(SSQ:t_9.86=−1.77;P=厚)。

在任务参数

表现:所有患者

所有患者的结果见图5．双向重复测量方差分析显示线索类型(F_33岁的3= 7.60;P<.001)和呈现角度(F_{19.35, 1.76}= 50.9;P<.001)，但它们的相互作用(线索类型×呈现角度)(F_99年,9= 0.469;P= .89)。

‎ 查看此图

关于线索类型(即不考虑呈现角度)的主要影响的事后分析显示，与没有线索相比，听觉线索或组合线索的表现明显更好，而触觉线索的表现则没有。此外，听觉线索比触觉线索更好。

性能:子组

详细审查结果(图6)包括一个3-way混合模型方差分析，显示线索类型的显著主效应(F_30日,3= 9.863;P<.001)和呈现角度(F_{17.24, 1.72}= 47.609;P<.001)，线索类型、呈现角度和群体之间存在显著的3向交互作用(F_90年,9= 2.057;P= .04点)。没有其他显著的相互作用。

‎ 查看此图

事后分析显示，对于没有体感障碍的患者，任何提示都比没有左侧目标提示的表现更好。体感觉障碍患者在每个呈现角度上，听觉和听觉触觉提示均优于无提示;相反，单独的触觉提示在任何呈现角度上都没有显著影响。

早期导向:所有患者

所有患者早期正确定位的比例结果见图7．重复测量方差分析显示线索类型(F_36岁,3= 26.934;P<.001)，呈现角度(F_36岁,3= 10.207;P<.001)，以及它们的相互作用(F_99年,9= 4.798;P=措施)。在侧面角度有线索可以提高正确早期定位的比例。同一线索在不同呈现角度下的对比显示，在无和音频条件下，旁中央区域(无:P= .002;音频:P=.008)和横向(无:P= .008;音频:P= .047)角度。在触觉和组合条件下没有观察到这种模式，只有侧向(触觉:P=.01)和旁中心(组合:P=.03)角度差异显著。直接线索比较的显著性条没有显示在图7．

‎ 查看此图

早期定位:分组

线索类型、呈现角度和群体的混合模型方差分析显示线索类型(F_30日,3= 32.671;P<.001)和呈现角度(F_30日,3= 13.97;P<.001)，以及以下2个显著的双向交互作用:组×呈现角度(F_30日,3= 6.738;P=.001)和线索类型×呈现角度(F_90年,9= 4.412;P<措施)。其他的相互作用都没有意义。

缺乏显著的三向互动也表明，任何类型的提示(听觉、触觉或组合)都能在两组中触发更好的横向角度定位(图8)。

‎ 查看此图

各组与呈现角度之间存在显著的交互作用，在无体感障碍组中，左中央旁角组与左中央旁角组之间存在显著差异，而在无体感障碍组中，左-右侧角和中央旁角组之间存在显著差异。

讨论

概述

这项研究表明，我们的新多模态VR设置，包括视觉、听觉和触觉线索，是高度可用的，适合为有空间注意缺陷的患者提供多模态空间线索。此外，测量提供了一些重要的信息，关于这种设置在这个群体中应用的特殊性。事实上，所有的病人似乎都从听觉线索中受益;然而，触觉线索对任务中表现的积极影响似乎取决于体感障碍的存在。没有躯体感觉障碍的患者确实受益于触觉提示。然而，在所有患者中，所有提示条件(听觉、触觉和综合)似乎都有一致的警报效果，这可以帮助他们克服最初倾向于向右的倾向，这是在忽视中观察到的一种常见症状。最后，我们没有发现听觉和触觉线索结合在任何测量或组中的加性效应。

可用性

与我们的第一个假设一致，患者对该设备的可用性评价很高，没有报告任何相关的副作用。我们的新虚拟现实环境的高可用性，包括触觉刺激，与之前在中风患者中进行的为数不多的具有类似视觉和听觉环境的研究之一相似，但不需要任何触觉刺激[14，37]。此外，健康参与者使用新的VR工具，包括视觉和听觉刺激，但没有触觉刺激，也报告了类似的可用性水平[36，50，51]。因此，在我们的研究中，额外的触觉刺激不会改变可用性或引起不适。有趣的是，在我们对健康参与者的最后一项研究中[29，触觉刺激，类似于这里展示的，会产生一些副作用。我们假设触觉刺激引起轻微不适的原因之一是触觉刺激的持续时间。事实上，在我们之前的研究中，触觉刺激持续呈现了几分钟，而在这项研究中，它只在很短的间隔中呈现(即每个目标最多4秒)。这项研究和我们之前的研究[29因此在某种程度上代表了触觉刺激的最大和最小使用。因此，未来的研究应该针对最佳的触觉刺激时间，以获得最大的效果，但没有副作用。

在任务参数

我们的第二个假设涉及任务内参数，并假设空间注意力障碍患者将受益于空间线索，通过综合性能测量来评估，考虑到搜索时间和发现目标的百分比。通常情况下，这些线索都是以有限视角呈现在2D屏幕上。我们的VR方法的优势在于，我们可以在虚拟环境中为患者提供更多的横向线索，不仅通过眼球运动，还通过头部运动，支持他们向左转。尽管已经开发和测试了一些工具来检查视觉、听觉甚至触觉线索对空间注意力受损患者的影响[21，52据我们所知，到目前为止，还没有研究使用虚拟现实系统检查触觉线索对被忽视患者的影响。

我们的VR设置的听觉提示对所有患者都有效，提高了表现并证实了我们的假设。在VR中使用触觉提示的新方法也是有效的，只要患者保留了体感处理。这符合单模态或多模态提示的原则，这是一种将空间注意障碍患者的注意力引导到被忽视一侧的常用方法[24，53，54]。

在没有躯体感觉障碍的患者中，触觉提示可以引起积极的影响，这一事实尤其引人注目。事实上，与视觉刺激相比，触觉提示呈现在空间的不同位置;触觉线索呈现在前额皮肤上(即在个人空间内)，而视觉目标呈现在个人周围空间。这种配置与听觉线索的配置不同，听觉线索和视觉目标都出现在周围个人空间的同一位置[55，56]。在这组患者中，这表明空间注意网络的激活不仅通过超模态机制[52，57还包括“超空间”(即包含不同空间参照系)机制。

我们的结果似乎不支持第三个假设，即与单模线索相比，触觉和听觉线索的结合应用具有优势，因为这并没有导致表现的显著提高或更高的正确早期定向率。文献中的一些证据表明，多模态线索的使用可以产生叠加效应[29，31]，而其他研究表明，与单模态线索相比，使用多模态线索没有任何好处[54]。对这些差异的一种可能解释可能与时空匹配水平有关[58，59]和跨模态强度匹配[60需要跨模态线索产生加性效应。在我们的研究中，听觉线索与视觉目标具有高度的时空匹配，而触觉线索则没有。54]。这可能与被忽视的病人更相关，因为他们通常表现出空间转换的问题[61-63]。

除了性能参数(例如搜索时间和找到目标的百分比)，我们还评估了早期定向行为。有趣的是，在这个案例中，所有类型的线索(听觉、触觉和组合)对早期定向都有积极的影响，即使是那些有体感障碍、不能正确定位触觉线索的患者。这可以通过一般的警觉性效应来解释，因为有研究表明，暂时的警觉性增强可以改善被忽视患者的注意定向[64-66]，但这种效果是短暂的[67，68]。因此，我们可以合理地假设，所有类型的线索都可以通过它们的警报效应来改善早期定向，但这种效应的时间不够长，不足以进一步支持寻找目标的表现。

限制

在这项初步研究中，我们旨在展示我们的VR设置在不同和复杂的患者群体中的可行性和可用性。方差一方面增加了任务结果可解释性的难度，另一方面增加了该患者群体的代表性。忽视严重程度显示自发波动和日内变化[69]。我们试图通过在连续的日子里同时进行两场会议来减少这种影响;然而，诸如药物变化和精疲力竭的事先治疗等因素无法控制。未来有更大样本量的研究应该尝试控制或至少评估这些混杂因素

结论与展望

本研究表明，在不同组合的注意力和体感障碍患者中，听觉、触觉和听觉-触觉联合提示的VR新方法的可用性和可行性。我们的数据表明，听觉和触觉提示在改善被忽视患者的注意力表现方面可能同样有效，至少在那些没有躯体感觉处理的患者中是如此。此外，在我们的设置中，听觉-触觉联合刺激没有显示出加性效应。未来的研究需要在更大的患者群体中评估这些初步发现。达到多模态加性效应的一个可能方向是评估在视觉和听觉刺激源“更近”处呈现的触觉提示的效果(例如，手部的触觉刺激，根据患者将手移动到目标的远近而改变呈现方向和强度)。

总的来说，听觉触觉提示似乎是一种很有前途的方法来引导患者的注意力。例如，在未来，它可以作为一种附加方法，在已建立的治疗方法(例如，光动力刺激)中支持注意定向。