个性化虚拟形象和动作同步对化身和用户主观体验的影响:实证研究

简介

最近科技的发展使人类成为虚拟世界(被广泛称为“元宇宙”)的公民。人们使用包括头戴式显示器(hmd)在内的虚拟现实(VR)设备在数字世界中漫游。此外，人们使用虚拟现实中的虚拟化身等实体来克服他们的身体无法达到的限制。然而，人们很难感觉到他们是这个新创造的身体的主人。这种拥有身体的感觉被称为化身[1］．具身包括三个组成部分:身体所有权(感觉正在经历某种体验的身体从属于自己[2)，能动性(感觉“我”是身体运动的原因[2])，以及自我定位(“我的视图位于它应该在的位置”[1])。

以前的研究发现，人有可能对外部物体形成一种具体感，比如橡胶手[3.]，虚拟手臂[4]和虚拟体[5］．为了诱导这种虚幻的化身感，几项研究[1，5-8他们使用动作捕捉装置来测量身体运动，并使用HMD以第一人称视角观察虚拟化身的动作，使人类活动与虚拟化身的运动同步。这些研究表明，运动同步增加了代理的程度，并发现人们对实验中使用的虚拟身体有一种所有权。此外，增强的代理能力可以让人们在虚拟现实中感受到更强的存在感，减少模拟疾病[7］．各种研究都使用运动同步方法来诱导大小知觉[6]和情感[5]，以及减少种族偏见[9］．

其他研究开发了一种通过增加真实身体和虚拟身体之间的外观相似性来增强体现的方法[10-12］．例如，Kim等人[11]演示了一种身体尺寸匹配的方法，使用4种测量身高、肩宽、腹宽和臀宽。同样地，Gorisse等人[10]试图通过将3d扫描的头部连接到虚拟身体来增加外观相似性，此外，Waltemate等人[12通过将3d扫描的头部连接到参与者大小的身体上，展示了一个“个性化的化身”。这些研究发现，虚拟化身的身体越像人类，人们就越觉得自己拥有虚拟化身的身体。10-12］．所有权的增加导致了更高的存在率[11，12]和减少模拟器疾病[11，这可以增加人们的虚拟体验。与此同时，Jung等人[8的研究表明，通过使用与个人身体特征相似的虚拟身体来测量一个人的身体感知是可能的。

虽然运动同步性(因子1)和外观相似性(因子2)可以增强体现，但很少有研究发现这两个因素之间的相互作用。金等[1]证明了这两个因素会独立影响身体所有权，使用了一个点状头像和一个身体大小匹配的头像。此外，他们发现影响体现子组件的因素可以相互促进，这对VR的未来应用是有益的。我们可以使用3D扫描等技术来创造更多个性化的虚拟形象。12-14]，这两个因素之间的促进作用是否会在更多个性化的化身中保持，值得研究。

本研究旨在检测运动同步性和外观相似性两个因素对体现的影响及其对虚拟体验的次要影响。我们的第一个假设是，动作同步会增加对虚拟身体的代理感和身体所有权。第二个假设是，外观相似性会增加对虚拟身体的所有权。我们还推测这两个因素之间存在潜在的相互作用。第三，在更高的身化条件下，参与者对VR的主观体验更积极，包括临场感、模拟病和情绪。

方法

参与者

24名参与者(年龄:平均23.29岁，SD 1.97岁;女性:n= 12,50%)被招募参与研究。使用PASS功率分析和样本量软件进行功率分析(2019版;NCSS)以确定样本量。所有参与者提供书面知情同意书，并获得40美元的合作报酬。

伦理批准

所有实验方案均由汉阳大学机构审查委员会(HYUIRB-202107-014-1)批准。图中被拍照的个人提供了书面知情同意，以公布案件细节。

硬件设置

为了在参与者和角色之间产生同步，一个动作捕捉系统(Motive;版本2.0.2;使用了Natural Point)和18台Flex 13摄像机(Natural Point)。参与者穿着带有37个反射标记的全身动作捕捉服。为了生成3d扫描的面部，参与者的面部图像使用移动设备(iPhone SE2;苹果(aapl . o:行情))。利用捕获的图像，通过Metashape (Agisoft LLC)和Blender (Blender Institute)软件生成参与者的3D面部模型。实验虚拟环境采用Unity软件(2018.3.0f2版本;Unity Technologies)。该软件运行在桌面PC (Windows 10操作系统; Microsoft) with Intel Core i7-6700 (Intel) CPU, 16GB RAM (Samsung), and NVIDIA GeForce GTX 3070 (Nvidia) GPU.

虚拟环境

参与者穿着动作捕捉服和HMD (HTC Vive Pro眼;HTC)来体验虚拟环境。虚拟环境为一个约4米(宽)× 4米(长)× 2.5米(高)的小房间，在参与者位置前面设置了一面虚拟镜子。参与者可以直接通过第一人称视角观察虚拟化身的身体，也可以通过照镜子观察。给出了虚拟环境和实验设置图1．

‎ 查看此图

程序

头像创建阶段

在这一阶段，通过3D扫描参与者的面部来创建个性化的头像。在扫描之前，每个参与者都完成了人口统计信息的调查问卷。在完成问卷调查后，实验者测量了参与者的身高、肩宽、腹宽和臀宽。然后他们进行了面部扫描，实验人员记录下参与者的面部，同时以不同的角度围绕他们旋转大约1分钟。共选取了300帧不同角度的参与者面部图像(分辨率为3840 × 2160像素)。随后，通过Metashape程序对图像进行处理，构建3D点云数据。然后，点云数据被简化为每个参与者面部的3D几何和纹理，然后他们的3D面部模型与现有的虚拟化身身体合并。最后，参与者的体型被应用到虚拟化身的身体上，从而产生一个个性化的化身。图2显示了头像创建的过程。

‎ 查看此图

实验阶段

这个实验有一个2(运动;同步vs异步)× 2(外观;个性化vs一般)受试者内设计，以检查运动同步和外观相似性的主要影响以及它们之间的交互作用。在运动“同步”条件下，虚拟化身的身体根据参与者的运动而移动，而在运动“异步”条件下，虚拟化身根据预先录制的运动而移动，而不管参与者的运动。为了获得外观相似性(或个性化外观)，研究人员使用了一个由参与者的3d扫描头部和大小和性别匹配的身体组成的虚拟化身。在一般外观条件下，只使用性别匹配的头像。图3显示用于男性参与者的个性化和通用头像的示例。

在实验阶段，参与者经历了4个区块的VR体验(即同步个性化、同步通用、异步个性化和异步通用);用拉丁方法平衡方块的顺序。参与者被要求自由移动，并在每个街区观察一个虚拟形象5分钟。在每个单元之后，参与者完成了以下所列的相似性、体现性和虚拟体验问卷。在积木之间，参与者休息，直到他们觉得准备好开始下一个积木。整个过程持续了大约90分钟。

‎ 查看此图

相关的措施

相似的问卷

最近一项研究的相似度问卷[13]用于本研究。该问卷由4个李克特7分制问题组成，评估参与者对虚拟化身的身体部位与自己相似程度的感觉。评分范围从-3(完全不同意)到+3(完全同意);表1详细展示了这4个问题。以问题的平均分作为相似度评分。

体现调查问卷

最近研究的化身问卷[1，5，6，8，11]被修改并用于本研究。情商由三个7点李克特量表问题组成，分别是代理、身体所有权和自我定位。情商等级范围从-3(完全不同意)到+3(完全同意)。每个问题都在表2．

虚拟体验问卷

虚拟体验问卷包括3种主观虚拟体验:临场感、模拟器病和情绪。参与者的临场感通过临场感问卷进行评估[15，该问卷由21个问题组成，采用李克特7分制，从1(完全没有)到7(完全没有)。参与者的模拟疾病评定采用模拟疾病问卷[16]，其中有16个问题用于检查症状。每个问题都使用李克特4分制进行评分，从0(完全没有)到3(严重)。参与者的情绪由自我评估模型评估。17］．它包括唤醒和效价两个分量表。用一个具有不同情绪表达水平的人体模型的视觉表现来评估参与者的情绪唤醒，从1(非常平静)到9(非常兴奋)，以及从1(非常消极)到9(非常积极)。

数据分析

所有数据采用SPSS统计软件(27.0版;IBM公司)。采用偏度、峰度和Kolmogorov-Smirnov检验进行正态性评估。对所有相关测量进行2(同步vs异步)× 2(个性化vs通用)重复测量方差分析，以检查运动同步、外观相似性和2变量之间的相互作用的影响。然后进行事后分析。水平有统计学意义P值设置为0.05。

结果

相似

来自SQ的平均相似分数没有显示出运动的显著主效应(F_1、23= 1.448;P= .24点;同步平均。14;异步平均-.01)，而外观表现出显著的主效应(F_1、23= 32.920;P<措施;η²= .589;个性化平均。92;一般平均值-.79)。2因素间交互作用不显著(F_1、23= 1.178;P= 29)。

体现

实例化结果示于表3．

机构

代理评分显示运动有显著的主效应(F_1、23= 91.653;P<措施;η²=.799)和外观(F_1、23= 4.442;P= .046;η²= .162)。两个因素之间存在显著的交互作用(F_1、23= 5.867;P= .02点;η²= .203)。事后分析显示，参与者在同步条件下比异步条件下报告了更高的代理，无论外观如何(个性化同步vs个性化异步:P<措施;generic-sync generic-async:P<措施)。尽管在异步状态下，虚拟头像的移动与参与者的身体运动无关，但参与者对个性化头像的移动感到更高的代理(P= .02点)。

身体所有权

身体所有权得分对运动表现出显著的主效应(F_1、23= 22.876;P<措施;η²=.499)和外观(F_1、23= 10.047;P= 04;η²= .312)。2因素间交互作用不显著(F_1、23= 1.078;P=。31)。

Self-location

自我定位评分显示运动有显著的主效应(F_1、23= 31.306;P<措施;η²= .576);然而，没有发现对外观的主要影响(F_1、23= .416;P= 53)。两因素间无显著交互作用(F_1、23= .358;P= 56)。

虚拟体验

虚拟体验问卷的虚拟体验结果见表4．

存在

临场感评分显示运动有显著的主效应(F_1、23= 40.126;P<措施;η²=.636)而不是外观(F_1、23= .009;P= iseq指数)。此外，两因素间的交互作用不显著(F_1、23=对于brute;P= .57)。

模拟器病

运动的主要效果(F_1、23= .247;P=.62)和外观无显著性差异(F_1、23= .608;P=无误)。另外，两因素间的交互作用不显著(F_1、23= .269;P=收)。

情感

觉醒对运动没有显著的主要影响(F_1、23= 0;P=.88)或外观(F_1、23= .495;P= 49)。两因素间无显著交互作用(F_1、23= .016;P= .90)。

配价对运动有显著的主效应(F_1、23= 6.111;P= .02点;η²=.210)，对外观无主要影响(F_1、23= 1.325;P=点)。两因素间无显著交互作用(F_1、23= 3.524;P= . 07)。

讨论

主要研究结果

本研究探讨了运动同步和外观相似度对虚拟现实中参与者的体现、感知相似度和主观体验的影响。结果表明，当参与者的身体动作同步、外形相似时，他们会有更高水平的代理和身体所有权。令人惊讶的是，在动作和外观同步的情况下，参与者报告说，即使虚拟化身独立移动，虚拟化身的身体运动也是由他们驱动的，这表明虚拟化身身体的个性化外观可以对虚拟化身的运动产生一种虚幻的代理，而这种代理不是由参与者执行的。此外，我们的研究结果表明，动作同步有助于更高的存在感和诱导更积极的情绪。

从本研究的结果可以列出两个关于体现的新发现。首先，动作和外观在代理上存在统计上显著的交互作用(代理中异步个性化和异步通用条件之间存在显著差异)。先前的研究表明同步运动[1，5-7可能有助于形成一个更高层次的机构。本研究的结果支持了先前的研究结果，证明了满足本体感觉的视觉-运动同步的整合[18，形成一种“我是化身身体运动的唯一原因”的感觉[1］．除了这一发现之外，这项研究还表明，能动与不是由参与者引起的身体运动有关;因此，当虚拟化身与参与者的外形相似时，身体的运动可以被感知为参与者的运动。这种行为对自己的归因已经在之前的几项研究中得到了证明。例如，Aymerich-Franch等人[19报道称，参与者对类人机器人的不当行为感到羞耻和内疚，而他们并没有这样做。同样，Jun等人[5报道称，根据虚拟化身的情绪状态，参与者的情绪会转变为快乐、中性和悲伤。此外，这项研究扩展了之前的发现，即身体运动可以归因于个性化的虚拟形象。然而，在动作同步条件下，个性化和普通头像之间的代理差异不显著。我们推测，这一发现背后的原因是较高的代理得分(平均得分为2.31分，总分为3分)，这可能导致了天花板效应。目前的研究结果可用于认知行为治疗领域，比如行为建模，即通过观察他人来学习想要的行为。在行为建模中，使用个性化的虚拟形象比使用一般的虚拟形象更有效，这有助于对虚拟形象的行动进行更多的代理。

其次，很明显，本研究中的2个因素(即运动和外观)独立地影响了身体所有权。之前的研究发现同步运动[11]和个性化头像[1，10-12可能有助于形成更高水平的身体所有权。目前的研究结果支持了之前的研究，表明运动同步的整合[1]和具有更高保真度的视觉方面[10形成一种身体是自己的感觉。先前的研究表明，视觉保真度随点光化身的增加而增加[1]、机器人化身[10]，人类化身[5，大小匹配的头像[11]，以及3d扫描的头像[12］．这项研究扩展了之前的发现，揭示了拥有3d扫描的面部和尺寸匹配的身体的化身可以进一步增加身体所有权。

此外，主观虚拟体验因素(即临场感、模拟器病和情绪)明显受到运动同步性的影响。这一结果支持了之前的研究，证实了更高的存在[1，11]和积极情绪[1，5运动同步。此外，外观相似度(个性化vs普通)与动作同步度(同步vs异步)在情感效价上存在中度交互作用(个性化头像的同步与异步差异显著，而普通头像的状态在效价上没有差异;表4)的研究表明，与普通的虚拟形象相比，与个性化的虚拟形象进行动作同步可以引发更多积极的情绪。相反，对唤醒和模拟器疾病的影响不显著。在各种条件下，低唤醒分数表明参与者在实验任务期间处于平静状态。我们推测，低唤醒可能会影响模拟器疾病，导致在各种条件下的地板效应。

除了上面提到的主要发现之外，值得注意的是我们在这项研究中用于生成个性化虚拟形象的方法。事实上，许多先前的研究都试图通过3D扫描参与者的面部和身体来创建个性化的化身[2，10，12，14］．然而，由于复杂的设置，如红绿蓝深度相机[14]或多个时间同步红绿蓝相机[12，13]，使用这种方法构建个性化的虚拟形象具有挑战性;因此，它不适合一般使用。受Gorisse等人的启发[10]及荣格等[8]，我们的研究提出了一种更方便的方法来创建一个个性化的头像，使用一个智能手机和身体尺寸测量。SQ的结果表明，我们的方法可以增强人与虚拟形象之间的外观相似性。因此，在未来的元宇宙应用中，每个用户都可以使用智能手机轻松生成自己的个性化头像，从而深入到VR中。

这项研究有一些局限性。首先，参与者仅限于健康的年轻人。未来的研究应考虑招募不同年龄段和健康状况的参与者。其次，由于异步条件下预先录制的动画由参与者可以轻松完成的简单身体动作组成，因此在后续研究中使用“不可能”完成的身体动作来概括外观相似性对代理的影响将是令人兴奋的。第三，本研究要求参与者在主要任务中自由活动，并测量唤醒和效价作为情绪变量。虽然外貌相似性不会影响参与者的情绪，但未来的研究应该考虑那些对自己的身体有负面感觉的参与者，比如饮食失调的人[20.］．在未来的医疗应用中，应该考虑对自己身体的态度。

结论

这项研究提出了一种使用单个智能手机摄像头和虚拟化身的体型控制来创建个性化虚拟化身的方法。此外，这项研究的结果表明，参与者认为虚拟化身的外观与他们相似。此外，参与者对虚拟化身的身体建立了更高的体现感，这与他们的身体动作和外观相似。此外，我们还发现，外观的同步可能会让玩家对角色的移动产生一种代理感。我们希望目前的研究结果能对促进身体活动的领域有所贡献[21]、社会认知训练[22]，以及疼痛干预[23]，表明匹配身体动作和外观可以增强VR体验。