发表在10卷第二名(2022): Apr-Jun

本文的预印本(早期版本)可在https://preprints.www.mybigtv.com/preprint/35295,首次出版
虚拟现实工作记忆任务中视觉游戏样特征对认知表现的影响:主体内实验

虚拟现实工作记忆任务中视觉游戏样特征对认知表现的影响:主体内实验

虚拟现实工作记忆任务中视觉游戏样特征对认知表现的影响:主体内实验

原始论文

1东京工业大学,创新研究所/小池吉村实验室,东京,日本

2慕尼黑工业大学,德国慕尼黑

3.东京工业大学,日本东京

通讯作者:

Eric Redlinger

东京工业大学

创新研究所/小池吉村实验室

2-12-1 i3 -20山山校区

东京,152 - 8552

日本

电话:81 3 5734 362

电子邮件:redlinger.e.aa@m.titech.ac.jp


背景:尽管通过工作记忆训练来提高认知功能一直是几十年的研究主题,但最近以游戏化应用程序形式对经典工作记忆任务进行商业改编的增长,值得进一步研究。特别是,虚拟现实作为认知训练平台的出现,为使用新颖的视觉特征提供了机会。

摘要目的:本研究旨在通过研究虚拟现实环境中常见的两种特殊视觉特征的应用,即沉浸式、多彩的背景和3D深度的使用,来增加关于游戏式视觉设计元素使用的知识体系。此外,收集脑电图(EEG)数据,以确定任何观察到的性能变化的潜在神经相关。

方法:研究人员向参与者展示了一个简单的视觉工作记忆任务,进行了几次类似游戏的改编,包括使用彩色的、浸入式的背景和3D深度。使用EEG和绩效评估结果分别评估每种适应的影响,并与未修改的任务版本进行比较。

结果:结果表明,尽管引入这些游戏元素可能会轻微影响准确性和反应时间,但影响很小,不具有统计学意义。脑电图功率的变化,特别是β和θ节律的变化是显著的,但未能与任何相应的性能变化相关联。因此,它们可能只反映了感知层面的认知变化。

结论:总的来说,数据表明,在简单的认知任务中添加这些特定的视觉特征似乎不会显著影响表现或任务依赖的认知负荷。

JMIR严肃游戏2022;10(2):e35295

doi: 10.2196/35295

关键字



认知训练产业的出现

最近广泛出现了类似游戏形式的认知训练产品应用程序在智能手机和平板电脑上,随着公众对认知训练的普遍认识不断增强,这些都促成了一个价值数十亿美元的产业的诞生。1].然而,早在第一个广告出现之前大脑训练应用程序出现在智能手机应用商店,一系列广泛宣传的研究为更广泛的公众接受认知训练奠定了基础。在2003年的一项研究中,Bavelier和Green [2]记录了动作电子游戏玩家注意力的增强。尽管这种差异很容易被认为是先天能力或自我选择的结果(例如,具有这些能力的人倾向于游戏),但作者特别指出,类似的能力也可以通过先前获得nongamer参与者通过同样的游戏衍生出的简单训练方案[2].另一项受到主流关注的早期有影响力的训练研究是Jaeggi等人[3.:“通过工作记忆训练提高流体智力。”作者记录了显著增加流体智力(在使用工作记忆任务进行认知训练后,独立地推理和解决新问题的能力)[3.].这项研究随后得到了《连线》杂志等媒体的广泛报道。最后,一项雄心勃勃的、多地点的纵向研究在2017年成为了更多的新闻头条,它得出的结论是,一种被称为“快速处理”的适应性任务有用视野(UFoV)训练在训练干预后的10年,痴呆症的风险显著降低[4].除其他外,这些研究有助于提高公众对显性培训可能产生认知红利的可能性的认识,并促进了最近的行业繁荣。

持续的争论

然而,在公众舆论之外,认知训练的整体功效仍然存在争议。支持者证明了这些好处,包括在标准认知评估测试中获得更好的分数[56]和驾驶能力测验成绩的改善[7]到记忆力、注意力和视觉空间能力的普遍提高[89].然而,最近也有大量研究表明认知训练(包括基于屏幕的训练)很少或没有益处[10-13].研究结果的差异不同程度上归因于对实验方法、结果评估以及认知训练任务本身的设计和实施缺乏一致意见[1415].即使是对惯例的简单偏差也可能对结果产生重大影响。例如,Linares等人最近的一项研究[16]没有发现a的证据near-transfer效果(即训练后相关任务的表现提高),即使在非常相似的工作记忆任务之间。然而,对他们的方案进行检查后发现,研究中使用的训练任务是非自适应的(即,任务难度没有调整到与参与者的自然能力或先前的训练成果相匹配)。这一细节可能对研究结果产生了负面影响,因为最近的研究认为适应性训练可能是一种影响至关重要的认知训练成功的组成部分[1517].此外,在Linares等人的研究中,环境因素也可能导致没有观察到影响[16由于培训课程没有监督,但评估课程是由研究人员进行的,这是社会压力的一个来源,也是一个潜在的混淆变量[1819].

临床研究与商业认知训练

商业认知训练应用程序的制造商经常把他们的产品宣传为被证明有效而且基于真正的科学20.].有些人甚至授权或改变了在备受推崇的临床研究中使用的任务的用途[21].然而,就像简单地偏离任务设计惯例可能会使临床研究中的训练效果失效一样,必须仔细考虑将有前途的认知训练任务重新包装以用于商业应用,以最大限度地减少引入新的认知需求的风险。

例如,之前引用的2017年研究中使用的一个主要评估结果是UFoV测试。该测试包含几个评估短期记忆和空间记忆的子测试,要求参与者从各种形状相似的干扰物中识别先前显示的刺激。根据子测试,刺激可能出现在中央视觉区域,外围区域,或两者都有。虽然最初的任务于1986年首次开发,被设计为与标准单色计算机显示器一起使用的临床评估工具,但UFoV任务的商业改编通常添加了一些额外的视觉和叙事元素,以使任务更吸引客户。这些元素包括使用类似卡通的图标;色彩丰富,与任务无关的背景图像;主题故事情节;记分牌;及其他(图1).尽管这些元素的使用在商业认知训练行业已经变得司空见惯,但对于这些修改是否会显著影响其核心任务的有效性,人们仍然难以达成共识。

图1。(A)有用视场(UFoV)评估测试与(B)商业认知训练任务双决策(Posit Science Corporation)设计用于训练UFoV能力。右边描述的任务使用了类似的循环任务设计,但包含了彩色图标、记分牌和类似游戏的设置。
查看此图

游戏化任务

游戏化通常被定义为在非娱乐环境中添加游戏元素以增加动机和粘性的过程。22].游戏类元素可以广泛地认为包括视觉元素,如彩色图标或图案、唤起性的图像和有趣的动画,以及主要用于激发动机的元素,如记分牌和实时表现反馈。当与专门为维持或提高一个人的认知能力而设计的认知任务相结合时,这种结果可能被称为“认知障碍”游戏化认知训练.大量研究确实支持将游戏化作为一种提高用户粘性和乐趣的方法。22-25].然而,游戏化对认知的潜在影响的全貌性能不那么有说服力。最近两份全面检讨[2226],研究了游戏化策略在大脑训练中的使用,以及一般认知评估研究,压倒性地发现,尽管游戏化训练似乎提高了参与者的积极性,但研究的异质性阻碍了就表现或生态有效性(即实验结果可推广到现实生活情况的程度)得出明确的结论。例如,第一项研究的作者[26在接受调查的33项研究中,发现了不少于28个类似游戏的元素。这些因素包括积极和消极的任务反馈、时间压力、故事情节或叙事元素、表现状态显示等等。第二次统计调查[22]的研究发现,在研究的49篇论文中,没有一项研究报告了单一元素的单独影响,游戏元素只在组合中进行了研究,因此无法确定单个元素是否具有可测量的影响。

例如,穆罕默德等人2017年的研究[24]比较了n-back任务的两种改编:一种是精简的任务,另一种是包含丰富的视觉显示和多种音轨的任务。尽管作者发现游戏条件下的任务乐趣增加了,但游戏化任务和非游戏化任务在长期结果上没有显著差异。然而,考虑到游戏化版本中包含的复杂功能,他们承认可能需要更细的粒度来完全理解哪些功能可能会比其他功能更成功。24].

另一项有相当规模参与者的研究(n=107)发现某些游戏元素与任务表现之间存在负相关[27].作者推测,不必要的压力和新的认知需求可能是由持续的分数显示等分散注意力的游戏元素引起的,从而导致表现下降。然而,研究设计并不是将单个游戏元素添加到基本任务中,而是从更大的游戏功能组中移除特定的游戏元素。这种方法似乎为剩余的元素保留了补偿删除单个元素的可能性,使得很难确定哪些元素或元素可能特别解释了认知需求[27].

总之,由于游戏化包含了大量单独的元素,研究之间缺乏精确性和同质性,阻碍了就哪些游戏元素可能影响任务表现得出共识结论的能力。此外,尽管记分牌和实时绩效反馈等激励功能已被广泛研究[2527-31尽管在游戏系统和专用虚拟现实(VR)头盔等消费类产品中越来越多地出现,但某些纯视觉功能(如3D深度和丰富多彩的沉浸式背景)的具体影响却鲜有文献记载。

因此,本研究旨在通过具体研究两种特殊视觉特征的应用,即沉浸式、彩色背景和3D深度的使用,来增加关于游戏类视觉设计元素使用的知识体系。之所以特别选择这些功能,是因为它们在以前的研究中代表性不足,而且它们在VR和增强现实技术中的使用越来越多,VR和增强现实技术是一个快速增长的消费市场,其中也包含认知训练产品。我们假设任务表现可能会受到额外视觉处理需求的不利影响,但先前研究人员记录的动机效应可能反过来补偿或逆转这些影响。最后,使用脑电图(EEG)作为额外的定量结果,我们希望深入了解任何观察到的性能影响的可能神经相关性。


研究设计和样本量的考虑

两个主要结果被用来检验视觉游戏化设计元素对认知任务表现的影响。认知活动将通过脑电图(EEG)沿着中线进行广泛测量脑电图数据部分有关脑电图的详细信息)。通过分析任务准确性和参与者响应时间来评估原始任务性能。实验任务是一个简单的视觉工作记忆任务,要求参与者从几个干扰物中挑选出先前显示的刺激。为了更好地控制测试环境,将任务编码为在头戴式显示器(HMD)环境中显示,而不是在传统的监视器屏幕上显示(请参阅实验任务部分)。

使用HMD有两个目的:(1)在参与者和实验条件下精确控制显示亮度和任务视角(VA);(2)最大限度地减少潜在的分散注意力的外部刺激。由于这些和其他原因,最近的几篇论文推荐使用hmd,将其描述为“应用非药物计算机化神经认知评估的最合适的平台”[14]和“神经康复的前沿”[32].

当前的实验任务先前用于探索视觉刺激的大小和位置变化的相关研究,并显示了条件之间的稳健效应大小(>0.5)[33].在这项研究中,我们进行了一些额外的修改,以进一步提高统计能力。首先,为了减少受试者之间的可变性,采用了自适应任务设计,其中任务难度自动调节,以确保最大程度的参与者参与。更详细地描述了精确的方法自适应任务部分。

其次,受试者内部协议设计将每个参与者暴露在所有实验条件下。这使得使用重复测量方差分析和Wilcoxon符号秩和检验成为可能,众所周知,在小n情况下,这些检验在建立显著性方面特别稳健[3435].在本研究设计中,我们使用了G-Power算法[36]以确定n=20的样本量应足以使我们在5%置信水平下获得足够的统计力。

测试环境

测试环境选择了默认配置的独立HMD (HTC Vive Focus, HTC Corp)。认知训练任务是在统一的3 d,一个通常用于为VR头戴设备创建3D视觉内容的编程环境(Unity 3D;Unity软件公司)。

HMD系统通常依靠手持指针进行用户输入。然而,这种输入设备不适合脑电图研究,因为它们可能会引入肌肉相关的伪影。为了解决这个问题,触摸屏智能手机被编程为无线向HMD发送网络命令。与屏幕上虚拟按钮位置相对应的软泡沫覆盖层被添加到屏幕上。有了这种组合,参与者只需用手就能以触觉的方式识别智能手机的控制,而不需要查看屏幕。这一点至关重要,因为参与者戴着耳机时无法看到智能手机屏幕。

在实验过程中,参与者坐下来,并被指示将智能手机控制器放在膝盖上,双手抱着(图2).实验任务是用两个拇指敲击屏幕上的虚拟按钮,同时尽量减少其他身体动作。

图2。智能手机界面与泡沫覆盖。
查看此图

实验任务

为了模拟一个典型的商业认知训练任务,我们设计了我们的核心任务,结合了从游戏研究[237]和认知训练文献[3.438].这些因素包括视觉记忆识别、分散注意力、感知时间压力和避免分心物。实验任务要求参与者专注于位于HMD屏幕中心的一系列刺激。在每次新试验开始时,先前显示的中心刺激被移动到显示的4个角落中的一个,一个新的刺激在其中心的位置。在剩下的3个角落里放置了3张随机选择的图像,使屏幕始终包含1张中心图像和4张外角图像。为了进行下一个试验,参与者被要求识别刺激以前在显示屏的中央。参与者通过轻按智能手机屏幕上与他们想要选择的物体位置对应的虚拟按钮来完成这项任务。一旦参与者做出了选择,答案选项就消失了,当前显示中心的刺激被重新分配到4个角落中的一个。于是,一项新的刺激方案占据了中心位置。图3).如果在作出选择之前已经过了规定的时间,也认为试验已结束。请参阅自适应任务而且试验协议有关审判时间和持续时间的具体细节部分。

图3。显示中心刺激和外围答案选择的样本试验:当前的答案选择(小图像)和下一个刺激(大图像)同时显示。在第一次尝试之前,只显示最初的刺激。参与者在随后的测试中选择正确答案,如卡通手所示。在每种情况下,正确答案都对应于前一张幻灯片中的中心刺激。
查看此图

在每次试验中,软件随机选择中心刺激和错误的答案选项,这样就不会出现重复的图像。这些试验平均持续1.2秒(标准差116毫秒),旨在同时显示当前的答案选择和下面的刺激,从而引发持续的认知负荷。这是为了最小化通常的情况高峰和低谷在认知活动中,通常伴随着在刺激呈现和参与者反应之间交替的任务。

选择这个实验任务的目标是创建一个最低程度复杂的任务,但可以可靠地在很少的事先任务训练的情况下产生足够的认知负荷。虽然基本机制的灵感来自经典的n-back任务,但我们将任务限制为1-back,以最小化通常与较高的度相关的性能能力的个体差异n39].

这些人物来自一组20个卡通动物形象,它们的风格相似,但形状和颜色不同。这些图片是从一家受欢迎的互联网供应商那里获得的非商业使用许可。之所以选择它,是因为它的设计与流行的商业认知产品设计相似,这些设计经常使用类似的卡通设计美学。

自适应任务

为实验任务选择了一个自适应模型,以确保所有参与者的参与水平相似。随着实验的进行,任务难度逐渐增加,直到参与者未能在分配的时间窗口内做出反应或出现≥2个连续错误。任务的难度程度反映在参与者选择答案的时间上。随着难度的提高,这段时间会以50毫秒为间隔减少。相反地,如果难度降低,就有更多的时间(50毫秒)来完成每个试验。主要任务难度对实验的影响有以下两个方面:

  1. 任务区域下方有一个可见的倒数计时器,显示分配给选择的时间。随着测试时间的推移,测试栏的内容从左到右逐渐填满,提醒参与者尽快回答。吧台被有意设计成尽可能不引人注目,以免分散人们对主要任务的注意力(图4).
  2. 如果不能在规定的时间内做出选择,试验将被标记为不正确,并提出下一个刺激。做出任何选择(正确或不正确)都会导致计时器短暂暂停(200毫秒),然后重置为下一次试验。

在每次试验结束时,记录反应(或反应失败)、反应速度和准确性。只有参与者主动做出选择的试验才被纳入反应时间评估。

图4。自适应任务倒计时计时器。
查看此图

试验协议

研究人员从东京工业大学的学生和工作人员中招募了20名参与者,年龄在21岁至48岁之间(平均28.6岁,标准差7.7岁),并在签署知情同意书后同意参加实验。20名参与者包括6名(30%)女性和14名(70%)男性,都是右撇子,没有色觉障碍史。此外,所有参与者都报告有使用HMD的经验。

该方案按照以下顺序执行:任务训练、EEG基线活动测量和实验条件。脑电图基线测量阶段(60秒)包括睁着眼睛观察黑色背景,在没有视觉刺激的情况下记录名义上的认知活动。

实验条件包括相同核心任务的4种不同视觉表征:未修改的(刺激被简单地放置在黑色背景的平面上),背景干扰物(刺激+无关的背景图像),3D深度干扰物(刺激呈现在与参与者不同的虚拟距离),游戏干扰物(除了前两种干扰物之外的动态动机特征;图5).

图5。四种实验条件:黑色背景上的未修改任务;在一个无关紧要的彩色背景上进行的任务;在3D空间中执行的任务;还有带有背景和深度干扰的任务,以及交互式记分牌和用户反馈。核心任务的水平尺寸限制在20º视角。
查看此图

的图像背景错误选择条件是一个卡通森林场景从同一供应商获得的刺激图像。颜色、细节水平和视觉风格与刺激相似;然而,没有其他明显的上下文联系。游戏条件的动态特征包括计分板和实时性能反馈。性能反馈实现如下:不正确的用户响应导致所选答案选项简单地来回摇晃以指示没有而正确的选择则会使物品向外轻轻跳动。这些动画恰好持续了200毫秒。此外,显示器顶部的计分板显示当前的准确率和当前试验集的总分。

所有实验条件按随机顺序重复两次,每位受试者共8组。每组试验50次,持续约60秒。30秒的休息时间(黑屏;没有视觉刺激)被施加在训练和基线阶段之间。这样做是为了防止训练中挥之不去的唤醒污染基线脑电图数据。在每组试验之间,有额外的10秒休息时间。

所有条件的任务VA设置为20º,对应于答案选项的外边缘,水平测量。VA的计算采用以下标准公式:

Va = (s × 57.29) / d(1)

在这里,年代是物体的大小,和D是到观察者的距离。

在之前的实验中,这种VA被证明是最大化任务训练表现的最佳方法[33].除了三维深度干扰器而且游戏错误选择条件下,所有视觉任务元素都被精确地放置在距离用户2米的虚拟距离上,就像在HMD中看到的那样。在使用3D深度的条件下,答案选项(和彩色背景)保持在2米的虚拟距离上;然而,主要的中央刺激向前移动,出现在距离使用者1米的地方。在Unity 3D编程环境中,1单位空间相当于1米的感知距离。为了设定每个实验条件下的VA,我们指定了期望的VA,并求解上述方程年代.的价值年代在第一个任务试验呈现前,由软件对每个新的实验条件自动应用到视觉任务中。

身体运动,特别是眼球运动,极有可能在脑电图数据中引入运动伪影。因此,研究人员要求参与者在休息时眨眼并根据需要调整姿势,但在实验期间不要这样做。

屏幕上显示的可视文本信息宣布了这些休息时段的开始和结束。后一条消息在下一组消息开始前2秒闪过。完成每组试验所需的总时间根据参与者的能力(由自适应任务的规则决定)而有所不同,但平均持续约60秒(SD 7.49)。这导致总体实验协议持续时间为11至12分钟(图6).

图6。方案流程:在训练和脑电图(EEG)基线记录后,进行8个实验阶段,每个阶段包含50个试验。每个实验阶段之间休息10秒。实验阶段的内容从4种条件类型(未修改的任务、背景干扰物、3D深度和游戏干扰物)中随机选择,并进行平衡,使每个参与者经历两次每个条件。除非另有说明,所有时间均以秒为单位;训练和实验阶段的完成时间是近似的。每位参与者完成该协议的总时间从11分钟到12分钟不等。
查看此图

培训

在方案开始之前,任务规则被解释了,每个参与者都有时间练习任务,直到他们能够在至少10次试验中达到75%的平均正确率。一些参与者比其他人更快地掌握任务,例如训练时间持续30到90秒,平均44秒(SD 17)。由于在训练过程中也使用了适应机制,训练过程也为参与者确定了接下来实验试验集的启动难度。

脑电图数据

使用无线8通道脑电图放大器(OpenBCI 32位板套件,OpenBCI, Inc),采样率为250 Hz,从额叶、中央、枕叶和顶叶区域采集脑电图信号(微伏)。电极位置为Fz, Cz, Oz和Pz,根据国际10到20系统放置,并特别选择沿中线捕捉广泛的活动范围。特别是,我们对电极位置Fz和Cz感兴趣,因为它们经常被引用与注意力和认知负荷的关系,而选择Oz和Pz是因为它们靠近视觉皮层,并且与注意力和复杂的视觉解码都有优先关联[40-43].使用导电凝胶将金杯电极连接到头皮和耳垂上,并确保所有电极位置的初始阻抗<5 kΩ。额外的电极被贴在参与者眼睛的上方和下方,以记录由眨眼或其他面部运动引起的眼电图信号,以供以后用于降噪和信号优化[44].

脑电图数据在整个实验过程中都被记录下来,但每个阶段只分析了最后30秒的活动。这是为了确保任务自适应算法在到达分析时间窗口之前有足够的时间来调整每个参与者的难度级别。利用实验任务生成的实时网络包,将时间标记直接嵌入脑电图数据流中,以确定分析周期。通过使用这一机制,我们希望精确测量每个参与者相似的认知投入水平。

任务绩效

计算每个阶段的总体反应时间和任务准确性,并在给定的实验条件下对所有试验进行平均。

分析方法

脑电图数据预处理和分析使用的软件为MATLAB R2019b (MathWorks, Inc)。在MATLAB中使用内置的Butterworth和带通滤波器对原始EEG数据进行陷波滤波(50 Hz)和高通滤波(4 Hz)。如前所述,眼电图数据与每个参与者的脑电图同时记录。这使我们能够创建自定义的工件识别例程,在数据预处理阶段为每个参与者单独应用这些例程。在分析之前,从EEG数据图的视觉检查中识别出的其他肌肉伪影也从时间序列中完全去除。

计算了以下光谱范围的快速傅里叶变换:theta (4- 8hz), alpha (8- 13hz),低beta (13- 20hz)和高beta (20- 28hz),实验的每个阶段都有30秒的窗口。每个范围的功率值之和除以脑电图数据样本总数。通过减去总体平均值(所有参与者脑电图数据之和除以参与者数量),再除以SD,得到功率指数,将所得分数归一化。使用内置的MATLAB函数进行快速傅里叶变换和统计分析。

夏皮罗-威尔克检验表明,我们不一定可以在正态分布数据的假设下进行操作。因此,采用重复测量方差分析(repeated-measures ANOVA)来确定统计学显著性,然后采用非参数Wilcoxon符号秩检验(signed-rank test)来确定实验阶段之间功率变化的显著性。之所以选择Wilcoxon检验,是因为在参与者之间观察到的表现存在较大的个体差异,数据分布非正态分布,以及研究的受试者内部性质。

对任务表现数据进行平均,以获得每个任务条件下每个参与者的整体准确性和反应时间值。对个体结果进行平均,并进行相似的Wilcoxon符号秩检验。

在查看初步数据时,很快就可以明显地发现,参与者之间的表现水平差异很大。有些人能够快速准确地完成任务,而另一些人则很难做出反应,并经常出错。这导致总体结果存在很大的偏差,这可能会使得出有意义的结论变得复杂。为了解决这个问题,参与者被进一步细分为高- - - - - -而且-性能组,以便进一步分析。选择标准是基于每个参与者完成的平均总体任务难度水平。

伦理批准

实验方案得到了东京工业大学伦理委员会的批准(2019059)。


脑电图数据

游戏化视觉特征的存在导致所有EEG位置的光谱功率发生可观察到的变化。特别是枕部和顶叶区域在3D深度干扰条件下的beta EEG功率显著增加,在背景干扰条件下的θ节律显著增加。总体而言,单向重复测量方差分析显示,所有测试电极的高β范围存在显著差异(Fz:F3, 76= 3.75,P= .02点;Cz:F3, 76= 4.09,P= . 01;Pz:F3, 76= 2.82,P= .046;奥兹:F3, 76= 2.97,P= .04点)。事后Wilcoxon符号秩检验显示,除游戏在Fz条件下,所有个体在未修改条件和实验条件之间的高β节律的增加都在5%的置信水平上显著。但各实验条件间差异不显著。

相反,对于theta范围,只有Oz的结果显示出显著的变化(F3, 76= 3.20;P=.03),只有一个单独的实验条件,即背景干扰被证明是显著的(n=20;Z=−2.81;P=.00495)。在任何电极位置,α节律的变化均不显著(图7).

值得注意的是,游戏条件,包括3D深度干扰,没有达到相同的认知活动水平,只有深度条件的测试范围。这可能表明,游戏条件中额外干扰的存在抑制了3D深度效果的整体影响。然而,在θ范围内,背景和游戏条件下的背景干扰都会导致类似的认知反应。

图7。脑电图位置Fz, Cz, Pz和Oz按条件和频率划分的频谱功率;n = 20, SE;采用Wilcoxon符号秩检验(*P< . 05)。
查看此图

性能数据

比较4种条件的单向重复测量方差分析显示,两项任务的速度均无显著性(F3, 72= 1.21;P=.31)或准确度(F3, 72= 0.143;P= iseq指数)。一般来说,彩色的、与任务无关的背景会导致准确性略有下降,但对性能速度影响不大。相反,三维深度线索的存在似乎对反应时间有轻微影响,但对准确性没有影响(图8).

如前所述,我们采取了额外的步骤,根据能力(在所有试验集中达到的平均最大任务难度)将参与者分为高绩效组和低绩效组,作为补充分析。这是因为在性能数据中观察到一个大的SE,我们认为它有可能掩盖潜在的趋势。虽然由此产生的子组太小,无法提供有意义的统计力量,但结果揭示了一些细微差别,并为后续调查提供了一个潜在的有趣方向。

就任务准确性而言,在多重分心游戏条件下出现的额外视觉干扰似乎对高表现者产生了累积的负面影响。然而,在低表现组中观察到一个看似相反的效果,在这种情况下累积达到了最高的准确性。

就任务完成速度而言,我们的结果在不同条件之间没有显示出任何显著差异,即使只观察内部更同质的高性能亚组(图9).

图8。按条件和组别划分的平均任务表现(反应时间和准确度);SE;用Wilcoxon符号秩检验计算差异有统计学意义(P< . 05)。
查看此图
图9。平均任务表现(反应时间和准确性)按条件和高和低表现子组;SE。
查看此图

性能与脑电图比较

也许是因为在实验条件之间缺乏显著的性能差异,将脑电图谱功率回归到性能结果上对整个组或任何一个子组都没有产生有意义的相关性。参与者表现的巨大个体差异也可能导致缺乏显著的结果。


主要研究结果

本研究的目的是考察视觉工作记忆任务中视觉游戏元素对任务表现和认知活动的影响。在反应时间和任务准确性方面,没有明显的差异。然而,可以观察到某些表现趋势,似乎存在这样一种可能性,即特定类型的视觉干扰可能会影响认知表现的某些方面,而其他方面则不受影响。例如,我们的数据显示,视觉分散的背景对反应速度没有明显的影响,但对准确性有轻微的影响。相反,3D深度解码似乎略微影响了处理速度,但不会影响任务的准确性。

同样,脑电图功率分析显示Fz的关键额叶θ波节律没有显著差异,这通常是参与者注意力和任务投入的代表[4143].相比之下,枕电极的β带和θ带在不同条件下观察到显著差异。虽然如果使用Bonferroni或类似的方法进行多次比较,这些结果就会回归到不重要的程度,但问题是,是什么导致了这些在β和θ节律中观察到的影响,特别是考虑到与性能缺乏相关性。例如,在Oz观测到的更高的theta功率实际上伴随着轻微的减少背景干扰条件下的准确度。Oz靠近枕骨区和视觉皮层,这表明,θ波节律与与任务相关的认知努力并没有直接联系,也许只是对这种情况下丰富的视觉背景所要求的某些潜在的视觉过程更敏感。

例如,虽然目前的实验任务被设计成通过要求参与者持续专注于一个中心刺激来禁止随意的眼球运动,但刺激的存在和频率非自愿的不幸的是,像扫视这样的眼球运动并没有作为当前实验设计的一部分被记录下来。事实上,有证据表明,在记忆编码期间,扫视可能与θ功率高度相关[45].其他研究也同样观察到与记忆任务相关的认知压力增加与眼跳频率和持续时间增加之间的联系[4647].因此,背景条件可能引发了不成比例的眼部活动,并随之增加了θ功率,这是对观测结果的一种假设。

同时,在3D深度条件下,高beta (20-28 Hz)光谱功率的增加通常伴随着较慢的反应时间。尽管之前的研究表明β节律在视觉感知方面具有多种辅助作用[48],专门研究3D解码的研究则没有那么有说服力。例如,尽管一些研究人员发现3D环境比2D环境激发了更多的认知活动,特别是在β范围内[49], Dan等[50发现一个减少在涉及学习任务的实验中,在3D条件下和在2D条件下的脑电图功率[50].然而,后一项研究涉及复杂世界视觉上,专注于脑电图特征分类的Fz theta/Pz alpha比值,而不是广谱分析,并且没有专门针对beta范围。因此,与θ带一样,与视觉过程相关的潜在认知需求可能掩盖了与任务相关的认知活动的可能性仍然存在。如前所述,所使用的认知任务包含了几个认知过程,包括视觉工作记忆和分散注意力。当试图确定意外脑电图结果的确切原因时,这种多模态提出了进一步的挑战,因为很难确定对所观察到的影响负责的认知过程。

对参与者能力表现的补充分析,虽然在统计上没有意义,但在任务准确性方面揭示了一个意想不到的趋势。高强度组的表现结果似乎被连续的干扰层累积地降低了,游戏条件引发了最低的平均准确性水平。矛盾的是,表现较差的人在这种情况下表现最好。但是,必须注意的是,在平均精度上所获得的集团整体表现仍远低于平均水平组。

我们提出了两个假设:在整个实验过程中,低绩效组可能经历了某种形式的绩效焦虑,导致决策速度普遍较慢,整体准确性较低。然而,在游戏条件中出现多个额外的视觉元素可能会提供一定程度的安慰和鼓励,这是之前研究人员记录的游戏化设计的效果[1425].类似地,在每次测试后加入记分牌和积极和消极的反馈可能有助于重新集中参与者的注意力,并鼓励经验不足或容易分心的参与者提高他们的表现。

最后,值得注意的是当前结果的局限性。首先,由于本研究的背景是商业认知训练产品的潜在用户,我们在参与者选择时采用了广泛的包容性标准,这导致了年龄范围大,性别比例不平衡。这可能以意想不到的方式影响了结果。其次,尽管所有实验条件在高beta范围内都与未修改的任务有显著差异(除了在Fz的游戏条件),但它们彼此之间没有显著差异。这种精确度的缺乏强化了一种可能性,即任何视觉上的新鲜感,无论是3D深度的存在还是彩色背景的存在,都会在高β范围内引发更高的认知反应。更大的脑电图通道密度和将多模态任务分解为其组成的认知过程可能有助于分离和区分观察到的反应。

结论

单独来说,包含彩色的、与任务无关的背景和使用3D深度元素会对性能产生较小的影响。然而,对一些参与者来说,这种影响在与激励实时反馈和记分牌等功能。总的来说,这项研究的主要发现是,在商业认知训练应用程序中经常出现的简单记忆任务的表现,并没有受到视觉分散注意力的背景或3D深度或常见的激励游戏元素(如记分牌和实时表现反馈)的显著影响。特别是考虑到之前研究人员记录的游戏化的用户粘性和动机优势,观察到的影响可能不足以保证特定的设计模式或重新设计现有的游戏化认知任务,除非特定的目标是最大化速度和准确性,在这种情况下,当前的发现可能提供一些有用的指导。

致谢

如果没有东京工业大学的小池康春博士的支持,这篇论文是不可能发表的。作者想对他的建议、物质支持和对我们研究的帮助表示感谢。作者得到了东京工业大学各自实验室主任Tohru Yagi博士和Takako Yoshida博士的额外指导和支持。

作者的贡献

ER和BG有助于概念化和方法论;ER和YR帮助开发软件;ER, BG和YR有助于验证;ER进行形式化分析并协助调查。ER, BG和YR帮助提供资源;ER和YR进行数据整理;ER准备了初稿;ER和BG进行审查和编辑;ER参与监督、项目管理和资金获取。所有作者均已阅读并同意该手稿的出版版本。

利益冲突

没有宣布。

  1. 认知评估和培训市场按组成部分、组织规模、应用(临床试验、学习和研究)、垂直领域(医疗保健和生命科学、教育和企业)和区域-到2025年的全球预测分列。《市场与市场》,2020。URL:https://www.marketsandmarkets.com/Market-Reports/cognitive-assessment-market-1039.html[2020-07-09]访问
  2. Green CS, Bavelier D.动作电子游戏改变视觉选择性注意。自然学报2003年5月29日;423(6939):534-537。[CrossRef] [Medline
  3. 王晓明,王晓明,王晓明。通过工作记忆训练提高流体智力。美国国家科学研究院2008年5月13日;105(19):6829-6833 [免费全文] [CrossRef] [Medline
  4. Edwards JD, Xu H, Clark DO, Guey LT, Ross LA, Unverzagt FW。处理训练的速度可以降低患痴呆症的风险。阿尔茨海默氏症(N Y) 2017年11月;3(4):603-611 [免费全文] [CrossRef] [Medline
  5. Wolinsky FD, Vander Weg MW, Howren MB, Jones MP, Dotson MM.一项使用视觉处理速度干预中老年人认知训练的随机对照试验。PLoS One 2013 5月1日;8(5):e61624 [免费全文] [CrossRef] [Medline
  6. Turunen M, Hokkanen L, Bäckman L, stiggsdotter - neely A, Hänninen T, Paajanen T,等。老年人基于计算机的认知训练:坚持的决定因素。PLoS One 2019 7月10日;14(7):e0219541 [免费全文] [CrossRef] [Medline
  7. 李文杰,李志强,李志强。加工训练速度对老年司机筛选措施的影响。前沿衰老神经科学2017年10月17日;9:338 [免费全文] [CrossRef] [Medline
  8. 张志刚,张志刚,张志刚。开发严肃游戏,提高老年人的认知能力。见:IEEE第五届严肃游戏与健康应用国际会议论文集,2017年发表于:SeGAH '17;2017年4月2-4日;澳大利亚珀斯,p. 1-8。[CrossRef
  9. Conklin HM, Ashford JM, Clark KN, Martin-Elbahesh K, Hardy KK, Merchant TE,等。计算机化认知训练在儿童癌症幸存者中的长期疗效:一项单盲随机对照试验《儿科心理杂志》2017年3月1日;42(2):220-231 [免费全文] [CrossRef] [Medline
  10. 凯布尔JW,考菲尔德MK,法尔科内M,麦康奈尔M,贝尔纳多L,帕萨萨拉提T,等。商业认知训练对大脑活动、选择行为或认知表现没有影响。中国神经科学杂志2017 Aug 02;37(31):7390-7402 [免费全文] [CrossRef] [Medline
  11. Sala G, Gobet F.认知训练不能增强一般认知。科学进展2019年1月;23(1):9-20。[CrossRef] [Medline
  12. Stojanoski B, Lyons KM, Pearce AA, Owen AM。有针对性的训练:收集证据,反对在线大脑训练对认知功能的可转移好处。神经心理学2018年8月;117:541-550。[CrossRef] [Medline
  13. Souders DJ, Boot WR, Blocker K, Vitale T, Roque NA, Charness N.老年人短期认知训练后窄转移的证据。前沿衰老神经科学2017年2月28日;9:41 [免费全文] [CrossRef] [Medline
  14. García-Betances RI, Cabrera-Umpiérrez MF, Arredondo MT.脑训练争议背景下的计算机化神经认知干预。神经科学2018年1月26日;29(1):55-69。[CrossRef] [Medline
  15. Edwards JD, Fausto BA, Tetlow AM, Corona RT, Valdés EG。有用视野认知训练的系统回顾与元分析。神经科学生物行为学,2018年1月;84:72-91。[CrossRef] [Medline
  16. Linares R, Borella E, Lechuga MT, Carretti B, Pelegrina S.工作记忆训练的最近转移效应:两个专注于工作记忆更新的项目的比较。PLoS One 2019 Feb 13;14(2):e0211321 [免费全文] [CrossRef] [Medline
  17. Ross LA, Webb CE, Whitaker C, Hicks JM, Schmidt EL, Samimy S,等。有用视野训练对大脑活动和连通性的影响。《老年医学杂志》2019年9月15日;19 (7):1152-1162 [免费全文] [CrossRef] [Medline
  18. 李志强,李志强,王志强,Spüler王志强。基于脑电信号的工作记忆负荷与情绪效价分析。前哼哼神经科学2017年12月19日;11:616 [免费全文] [CrossRef] [Medline
  19. Mühl C, Jeunet C, Lotte F.基于eeg的工作负荷估计。前沿神经科学2014年6月12日;8:114 [免费全文] [CrossRef] [Medline
  20. Lumosity手机版。荧光闪烁实验室,2021。URL:https://www.lumosity.com/en/[2021-08-06]访问
  21. 有效的大脑训练。BrainHQ。2020.URL:https://www.brainhq.com/[2020-07-09]访问
  22. Vermeir JF, White MJ, Johnson D, Crombez G, Van Ryckeghem DM.游戏化对计算机化认知训练的影响:系统回顾和元分析。JMIR严肃游戏2020年8月10日;8(3):e18644 [免费全文] [CrossRef] [Medline
  23. Boendermaker WJ, Veltkamp RC, peters M.用严肃游戏训练青少年的行为控制。游戏健康杂志2017年12月;6(6):351-357。[CrossRef] [Medline
  24. 张文杰,张文杰,张文杰,等。实施动机特征以提高认知训练结果的好处和挑战。J Cogn增强版2017年12月;1(4):491-507 [免费全文] [CrossRef] [Medline
  25. Mekler ED, Brühlmann F, Opwis K, Tuch AN。积分、关卡和排行榜是否会损害内在动机?游戏化常见要素的实证分析。第一届游戏设计、研究和应用国际会议论文集,2013年10月发表于:Gamification '13;2013年10月2-4日;加拿大多伦多,第66-73页。[CrossRef
  26. 卢姆斯登J,爱德华兹EA,劳伦斯NS,科伊尔D, Munafò先生认知评估和认知训练的游戏化:应用和功效的系统综述。JMIR Serious Games 2016 7月15日;4(2):e11 [免费全文] [CrossRef] [Medline
  27. 王志刚,王志刚,王志刚。基于动机特征的学校认知训练效果研究。前哼哼神经科学2014年4月24日;8:242 [免费全文] [CrossRef] [Medline
  28. 兰德斯RN,兰德斯AK。游戏化学习理论的实证检验:积分排行榜对任务时间和学习成绩的影响。Simul Gaming 2015年1月26日;45(6):769-785。[CrossRef
  29. Lumsden J, Skinner A, Woods AT, Lawrence NS, Munafò M.游戏性特征和测试位置对认知测试表现和参与者享受的影响。PeerJ 2016 7月6日;4:e2184 [免费全文] [CrossRef] [Medline
  30. Ninaus M, Pereira G, Stefitz R, Prada R, Paiva A, Neuper C等。游戏元素可以提高工作记忆训练任务的表现。国际严肃游戏2015年2月10日;2(1):3-16。[CrossRef
  31. Lumsden J, Skinner A, Coyle D, Lawrence N, Munafo M.基于网络的认知测试:游戏化技术的重复测量比较。J Med Internet Res 2017 11月22日;19(11):e395 [免费全文] [CrossRef] [Medline
  32. 李志刚,李志刚,李志刚。阿尔茨海默病非药物治疗的研究进展。神经科学2017年7月26日;28(6):587-597。[CrossRef] [Medline
  33. 张晓明,张晓明,张晓明。基于HMD的认知训练任务测试研究。中华心理医学杂志2021年8月;166:166-173。[CrossRef] [Medline
  34. 小是美丽的:为小n设计辩护。Psychon Bull Rev 2018年12月;25(6):2083-2101 [免费全文] [CrossRef] [Medline
  35. 诺曼德MP。少即是多:心理学家可以通过研究更少的人学到更多。前沿精神2016年6月17日;7:934 [免费全文] [CrossRef] [Medline
  36. 傅福荣,李志强,李志强,李志强。使用G* power 3.1的统计功率分析:相关性和回归分析的检验。行为研究方法2009 11月;41(4):1149-1160。[CrossRef] [Medline
  37. Boot WR, Kramer AF, Simons DJ, Fabiani M, Gratton G.玩电子游戏对注意力,记忆力和执行控制的影响。精神学报(Amst) 2008 11月;129(3):387-398。[CrossRef] [Medline
  38. 鲍尔K,爱德华兹JD,罗斯洛杉矶。处理速度训练对认知和日常功能的影响。J老年B心理科学社会科学2007年6月;62规格No 1:19-31。[CrossRef] [Medline
  39. 基什内尔工作。年龄差异对快速变化信息的短期记忆。心理医学杂志,1988,4(4):352-358。[CrossRef] [Medline
  40. 张晓明,刘志刚,张晓明,于东。工作记忆与大脑皮层激活相关的高分辨率脑电图映射:任务难度、处理类型和练习的影响。大脑皮层1997年6月;7(4):374-385。[CrossRef] [Medline
  41. 在VDT任务和视频游戏期间的额中线θ节律和眨眼活动:人体工程学中心理生理学的有用工具。人机工程1998 5月;41(5):678-688。[CrossRef] [Medline
  42. 索森P, Klimesch W, Stadler W, Schabus M, Doppelmayr M, Hanslmayr S,等。视觉空间注意力的转移与人类脑电图α活动有选择性地相关。中华神经科学杂志2005 12月;22(11):2917-2926。[CrossRef] [Medline
  43. Ewing KC, Fairclough SH, Gilleade K.自适应游戏的评估,使用在设计过程中验证的EEG测量作为生物控制回路的输入。神经科学2016年5月18日;10:223。[CrossRef] [Medline
  44. 使用噪声辅助的多元经验模态分解从EEG信号中去除EOG伪影。见:第二届电气、计算机与电信工程国际会议论文集。2017年发表于:ICECTE '16;2016年12月8-10日;孟加拉国,Rajshahi, p. 1-5。[CrossRef
  45. 佐藤,山口勇。基于眼动的人类情景记忆表现的计算模型预测。IEICE跨界通讯2008年7月1日;E91-B(7):2142-2143。[CrossRef
  46. Zargari Marandi R, Madeleine P, Omland Ø, Vuillerme N, Samani a .视力测量在精神要求任务中的可靠性在年轻人和老年人。IEEE Access 2018 3月26日;6:17500-17517。[CrossRef
  47. Di Stasi LL, McCamy MB, Catena A, Macknik SL, Cañas JJ, Martinez-Conde S.微扫视和漂移动力学反映心理疲劳。中华神经科学杂志2013年8月;38(3):2389-2398。[CrossRef] [Medline
  48. Kloosterman NA, Meindertsma T, Hillebrand A, van Dijk BW, Lamme VA, Donner TH。人类视觉皮层自上而下的调节预测了知觉错觉的稳定性。J neurophysil 2015 Feb 15; 13(4):1063-1076 [免费全文] [CrossRef] [Medline
  49. 张志刚,张志刚,张志刚。三维虚拟环境下脑电信号的研究进展。见:2019年IEEE系统、人与控制论国际会议论文集。2019年发表于:SMC '19;2019年10月6日至9日;意大利巴里,页2833-2838。[CrossRef
  50. Dan A, Reiner M.在3D虚拟世界中处理事件的基于脑电图的认知负荷低于在2D显示中处理事件。国际心理医学杂志2017年12月;122:75-84。[CrossRef] [Medline


活动:独立而有活力的长者高级认知训练
脑电图:脑电描记器
头盔显示器:头戴显示设备
UFoV:有用的视野
弗吉尼亚州:视角
虚拟现实:虚拟现实


N Zary编辑;提交01.12.21;V Verma, P Wang, AM Bezabih, L Martinez同行评审;对作者05.03.22的评论;修订本于08.03.22收到;接受25.03.22;发表28.04.22

版权

©Eric Redlinger, Bernhard Glas,杨蓉。最初发表于JMIR Serious Games (https://games.www.mybigtv.com), 28.04.2022。

这是一篇开放获取的文章,根据创作共用署名许可协议(https://creativecommons.org/licenses/by/4.0/)发布,允许在任何媒体上不受限制地使用、分发和复制,前提是正确引用最初发表在JMIR Serious Games上的作品。必须包括完整的书目信息,https://games.www.mybigtv.com上的原始出版物的链接,以及此版权和许可信息。


Baidu
map