正常与虚拟现实条件下学生的生理状态与学习能力:基于复杂性的分析

介绍

虚拟现实是指沉浸在计算机媒介世界中的主观感官体验。积累证据[1，2指出了将虚拟现实技术整合到教育环境中的令人兴奋的机会和潜力，它可以添加现实元素来提高对复杂学科的理解，如生命科学(如生物学和解剖学)，而传统课程中，学生必须想象结构才能理解。此外，研究表明，当学生与讲师进行直接目光接触时，他们会更加关注讲师[3.]。然而，在讲课过程中，讲师一次只能看一两个学生。因此，向学生展示讲师的虚拟形象可能会增加他们的注意力，从而提高他们的学习能力，这可以应用于电子学习环境。

随着越来越多的经验证据表明虚拟现实是一种有价值的学习工具，如何使用虚拟现实来提高学生的学习能力还需要进一步的调查研究。此外，很少有研究关注生理信号的变化，以了解虚拟现实对人体的影响。该领域之前的研究比较了焦虑参与者在休息和虚拟现实条件下的大脑反应[4]，比较了虚拟现实和传统显示条件下的脑电图信号[5]，分析了大脑活动对虚拟现实中不断增加的任务复杂性的反应[6]，采用深度学习方法将兴奋率提高到远高于90%的准确率水平[7]，并分析了不同虚拟现实环境下心脏和大脑的反应[8]。

本研究的目的是探讨使用虚拟现实技术的学生的注意力和学习能力。我们还研究了虚拟现实条件下学生生理状态(面部反应)的变异性。为了研究学生的注意力和学习能力，我们记录了他们的大脑信号(即脑电图信号);为了研究他们的面部反应，我们记录了他们的肌电信号(EMG)。为了比较，我们还记录了学生在传统课堂学习条件下的大脑信号和面部反应。肌电图用于捕捉视觉感知过程中面部肌肉的参与，我们预计在虚拟现实条件下面部肌肉的参与会受到更强烈的影响。

由于脑电和肌电信号都具有复杂的模式，我们采用复杂性理论进行分析。换句话说，复杂性的概念被用来定义脑电和肌电信号的结构。复杂性理论可以帮助描述一个有许多部分以高度可变的方式相互作用的系统的行为[9]。具体来说，我们使用分形理论分析了记录的EEG和EMG信号，该理论可用于量化系统的复杂性(在本例中为EEG和EMG信号)。分形是具有复杂结构的自相似或自仿射物体[10]。自相似分形在各个尺度上的标度指数相同，而自仿射分形在不同尺度上的标度指数不同。脑电和肌电信号是具有非线性结构的自仿射分形。具有更大分形维数(作为复杂性的度量)的物体具有更高的复杂性[11]。到目前为止，有几项研究使用分形理论分析了不同类型的生理信号，包括脑磁图分析[12]，皮肤电反应[13]，心率[14]，呼吸[15]，言语诱发的听觉脑干反应[16]，眼球运动[17]和人类DNA [18]。同样，许多研究应用分形分析来研究不同条件下脑电信号的非线性结构，包括听觉[19，20.]，嗅觉的[21]和视觉[22，23]刺激;脑部疾病[24];身体动作[25，26];衰老[27]。

先前的一些研究也应用分形理论来分析肌电信号，包括一个解码的手指[28，29]，手[29-31]，以及功能运动和力量模式[29]，同时分析了在小路上行走的复杂性对腿部肌肉反应的影响[32]。然而，据我们所知，迄今为止只有一项研究使用分形理论来分析面部肌肉反应[33]。

为了分析和比较虚拟现实与传统课堂条件下受试者的生理状况，我们使用分形分析将脑电图和肌电信号的复杂性与所观看视频的性质联系起来。

方法

研究设计

我们旨在分析学生在三维(3D)虚拟现实条件下的生理状态和学习能力，并与传统二维(2D)条件下的记录进行比较。为了分析生理状态，我们选择脑电图和肌电图信号分别作为大脑和肌肉反应的指标。由于受试者使用视觉刺激，因此选择肌电图信号用于面部肌肉反应。为此，我们运用分形理论对面部肌电信号和脑电信号的复杂性进行了分析。分形维数作为分形理论的主要定量度量，表示过程的复杂程度，分形维数越大，反映对象的复杂性越大。

计算分形维数的方法多种多样，主要是基于熵的概念。在本研究中，我们使用盒计数法来计算分形维数[34]。在盒子计数算法中，感兴趣的对象被相同大小的盒子(ε)覆盖。箱子的数目(N(覆盖物体所需的)，然后计算。这个过程重复了几次，而盒子的大小在每一步都在变化。最后，拟合到盒子数相对于尺度的对数对数图上的回归线的斜率被计算为所考虑对象的分形维数的估计[35]：

式(2)定义了所谓的有序广义分形维数c［35]：

在哪里是秩序熵吗c，以及发生的概率(r_j)定义为:

在式(3)中，信号值在第j个值区间内出现的总时间表示为t_j,而T表示录制信号的总持续时间[36]。

在本实验中，我们向学生展示了6组视频(3组2D视频和3组3D视频)，然后利用分形理论研究了学生在2D和3D条件下大脑和面部肌肉的反应，以评估学生对视频的注意力。

此外，为了考察学生的学习能力，我们根据每个视频的内容设计了3个问题(3个视频共9个问题)，分别在每个条件下观看完每个视频后向学生提问。这个问卷可以用来评估学生保留和学习视频内容的程度。

数据收集与分析

从招募受试者到进行实验的所有程序都由莫纳什大学人类研究伦理委员会(MUHREC;批准号20965)。这项研究是按照批准的指导方针进行的。

我们与来自马来西亚莫纳什大学的9名健康学生进行了实验。我们向参与者解释了这个实验，然后问了他们几个关于健康状况的问题。由于精神障碍、某些药物以及饮用含有酒精或咖啡因的饮料会影响大脑活动并导致不一致的结果，我们排除了这些类别中的潜在参与者。此外，如果参与者在实验前24小时内饮用了含酒精或咖啡因的饮料，则被排除在外。被认为适合实验的学生签署了同意书，并被纳入研究。

我们在一个安静的房间里进行实验，以隔离可能影响记录的脑电图和肌电图信号的其他外部刺激。在实验过程中，参与者被要求舒适地坐在椅子上，并被指示专注于观看视频，而不参与任何其他任务。

如上所述，我们选择了6组视频(3组2D视频和3组相同的3D视频)进行实验。我们从YouTube上选择2D视频，然后将其转换成3D视频用于我们的实验。第一个和第二个视频(内容相同)是关于生物学的(多媒体附录1和多媒体附录2)、第三及第四个短片(多媒体附录3和多媒体附录4)是关于建筑的，第五和第六个视频(多媒体附录5和多媒体附录6)都是关于太空的。这些视频的一些截图显示在图1。

‎ 查看此图

这些视频通过手机显示给参与者。参与者用肉眼观看2D视频，而3D视频则通过VeeR MINI VR眼镜(VeeR, Atlanta, GA, USA)观看(见图2)坐在手机前。我们使用EMOTIV EPOC+ 14通道移动脑电图耳机(EMOTIV, San Francisco, CA, USA)和Shimmer EMG设备(Shimmer, Ireland)，采样频率分别为128 Hz和256 Hz，无创记录参与者的脑电图和面部肌电信号。如图所示图2将EEG装置置于受试者的头部，将EMG装置的5个电极连接到面部肌肉。

‎ 查看此图

首先，我们记录了参与者观看第一个2D视频时2分钟的EEG和EMG信号。当视频完成后，我们问参与者三个与视频内容相关的问题。休息1分钟后，参与者在3D条件下再次观看第一个视频2分钟。该视频的内容与2D视频相同，只是以3D模式呈现。然后问三个关于3D视频内容的问题，然后再休息1分钟。在观看第三、第四、第五和第六个视频(每个视频持续2分钟)时，我们继续收集参与者的脑电图和肌电图信号(以及对内容相关问题的回答)，并在观看视频之间给参与者1分钟的休息时间。在第二阶段对每个参与者重复数据收集，以验证结果的可重复性。

首先，我们对原始数据进行预处理以去除噪声。为此，我们在MATLAB (MathWorks, Natick, MA, USA)中基于Butterworth滤波器编写了一组代码。选取1 ~ 40 Hz和25 ~ 125 Hz频段分别对脑电和肌电信号进行滤波。值得注意的是，在数据采集过程中，脑电装置的两个电极存在一定的断开问题;因此，我们只对另外12个电极采集的数据进行处理。

初步滤波后，通过计算记录的脑电和肌电信号的分形维数进行分析。分形维数的计算基于盒数算法，以大小为1/2、1/4、1/8等的盒为比例因子。虽然我们在观看2D和3D视频的每个时间段记录了120秒的数据，但我们只分析了每个数据集的118.2秒。之所以这样选择，是因为设备并不总是有一致的采样频率，这导致数据记录的时间少于2分钟，导致一些参与者收集数据的持续时间相差几秒。

在确认数据的正态分布后，对脑电和肌电信号的分形维数进行统计分析，采用单向重复测量方差分析(ANOVA)来评估刺激对脑电和肌电信号分形维数变化的影响。我们还组织了学生活动t比较二维和三维条件下脑电图或肌电图信号均值的差异。P<。在我们的分析中，05被认为是具有统计学意义的差异。

结果

脑电信号分形维数在第一到第六视觉刺激下的变化如图所示表1。如上所述，第一、第三和第五刺激是指所述2D条件，而第二、第四和第六刺激是指所述3D条件。

基于方差分析(F= 7.6334,P<.001)，刺激(2D和3D)对脑电信号分形维数变化的影响是显著的。如图所示表1，对于所有刺激，参与者在3D条件下记录的脑电图信号与在2D条件下记录的信号相比具有更大的分形维数。由于分形维数反映了信号的复杂性，因此该结果表明脑电信号在三维视觉刺激下的响应比二维视觉刺激更为复杂。换句话说，与2D条件相比，当刺激在3D条件下呈现时，人类的大脑会更专注于刺激。第一次和第二次刺激的脑电图信号均值之差(P=.001)和从第五和第六刺激(P<.001)大于第三和第四刺激之间的差异(P=标识)。这表明，与第三种刺激相比，参与者的大脑更专注于第二种和第六种刺激。这一结果是合理的，因为第二和第六刺激主要包含动画场景，而第四刺激包含更多的照片和较少的动画场景。因此，在第三和第四刺激条件下脑电信号的分形维数差异小于其他条件下的差异。

总结了第一到第六视觉刺激时肌电信号分形维数的变化表2。

基于方差分析(F= 0.2468,P=.94)，刺激(2D和3D)对肌电信号分形维数变化的影响不显著。在接受视觉刺激(2D或3D)后，大脑处理刺激，然后将脉冲发送到面部肌肉。因此，刺激对大脑的影响应该大于对面部肌肉的影响，这就解释了为什么刺激对脑电图信号的变化有显著影响，而对面部肌肉没有显著影响。

如图所示表2在所有刺激下，3D视频响应的肌电信号分形维数值均大于2D视频，说明3D视频响应的肌电信号比2D视频更为复杂。换句话说，面部肌肉更容易受到3D而非2D的刺激。此外，第一次和第二次刺激的肌电图信号平均值的差值(P=.43)和第五及第六刺激(P=.56)大于第三和第四刺激(P= iseq指数)。这表明，与第三种刺激相比，参与者的面部肌肉对第二和第六种刺激的反应更强烈。如上所述，这种差异可以用视频的内容来解释，与第四个视频相比，第二个和第六个刺激包含了更多的动画场景。

尽管视频之间存在这些差异，但每对刺激之间肌电信号的分形维数没有显著差异。这表明，虽然以3D方式播放视频会引起肌肉反应的一些变化，但这些变化并不明显。肌电和脑电信号的对比结果表明，将视觉刺激从2D转换为3D会引起脑电信号复杂性的显著变化，但肌电信号的复杂性没有明显变化。因此，当视觉刺激从2D变为3D时，大脑状态的变化更大。

此外，评估脑电图和肌电信号变化之间的关系可以提供进一步的见解。大脑控制着人体的所有部分，包括面部肌肉的反应。当看到2D或3D视频作为视觉刺激时，大脑会向面部肌肉发送脉冲。因此，当大脑更专注于刺激时，肌肉的反应也会更强烈，这体现在肌电图信号的分形维数变化更大。

观看3D视频后问题的正确率为92.60%，高于观看2D视频后问题的正确率80.87%。这种差异表明，3D视频使学生更加注意视频的细节，从而提高了学生的学习能力。

讨论

在本研究中，我们通过观看三组分别以2D和3D形式呈现的视频，比较了虚拟现实对学生学习能力和生理状态的影响与正常2D条件下的影响。同时记录受试者在刺激过程中的脑电图和面肌电信号。总的来说，3D视频条件下的EEG和EMG信号具有更大的分形维数，表明大脑和面部肌肉对3D视频的反应比2D视频更大。此外，观看动画场景较多的视频时，脑反应明显大于观看动画场景较少的视频，这可以从二维和三维条件下脑电信号的分形维数没有显著差异中体现出来。在肌电图分析中，虽然3D条件下面部肌肉的反应更大，但与2D条件下记录的反应没有显著差异。

我们还通过问学生几个与内容相关的问题来考察学生观看完每个视频后的学习能力，结果显示观看3D视频后的学习能力比观看2D视频后的学习能力有所提高(正确率分别为92.60%和80.87%)。这些结果清楚地表明，当视频以3D形式呈现时，学生对视频的注意力更加集中。与之前只分析学习能力或大脑反应的研究相比，目前的研究向前迈出了一步[4-7在虚拟现实条件下，不考虑面部肌肉的反应，也不调查这种反应与大脑活动的关系。

本研究采用的分析方法可以扩展到研究虚拟现实条件下学生的其他生理信号。例如，我们可以分析在3D条件下与在2D条件下心率的变化。我们还可以通过应用其他类型的刺激来扩展这项工作，包括嗅觉刺激，当学生在虚拟现实条件下观看视频时，研究这些额外的刺激对他们学习能力的影响。开发输入(视频)和输出(人体生理信号)之间的模型是这方面未来工作的另一个重要方面。为此，我们可以从不同的工具中获益，例如机器学习[37-39]和基于分数的数学方程[40]。这种分析可以预测暴露于不同刺激之前的人类状况(生理信号)，为最有可能引起学生注意和促进学习的视频类型和视频特征提供指导。因此，这些努力对推进学生学习能力的研究具有重要意义，并可以为教育机构提供强有力的建议。