虚拟现实听力学测试的可行性:前瞻性研究

介绍

听力损失因其对个人生活的负面影响而成为全球社会关注的主要健康问题。这些后果包括但不限于沟通、就业、认知能力下降、社会参与和生活质量[1-5]。听力损失主要影响沟通，对于那些被诊断为感音神经性听力损失的人来说，助听器的处方通常是听力康复过程的第一步[6]。助听器可以放大声音，并提供各种功能(即降低噪音)，通过改善可听性，大大减轻听力损失的负面影响。然而，即使有了这些进步，临床评估和实际表现之间仍存在差距[7-13]，例如佩戴者抱怨在嘈杂的环境中听力持续困难[14-17]。

造成这个问题的一个因素可能是当前测量工具的局限性。泰勒(18]提到了在构建一个与现实环境紧密复制的实验室环境和测量个体独特的听觉环境方面的困难。在临床实践中，辅助阈值和言语感知测试通常用于评估助听器提供的益处。辅助阈值测试包括在声场内透过扬声器播放颤音(250赫兹至8000hz) [19]。病人被要求作出回应(例如，“说”)是的或按下按钮”)，当他或她听到的声音，即使声音很软。语音测试亦会在声场中使用一个或多个扬声器进行[19]。单词和句子可以作为测试材料，并要求患者听并重复单词和句子给测试者。一些结果测量包括噪音和多说话者条件来模拟现实世界的听觉环境，但它们缺乏人们用于交流的重要信息:视觉线索。在现实世界的对话中，非语言暗示，如嘴唇运动，很容易获得，并且它们对语言感知的重大影响已经在先前的研究中得到证实[20.-25]。•萨默菲尔德(21研究了10名听力正常(NH)的听者在噪音中语音感知准确性的变化，这取决于视觉信息的数量。参与者共听了125个句子，其中包含100个关键词，并在不同条件下重复这些关键词。当参与者能够看到说话者的整个脸(65.3%)时，他们的整体演讲表现最好，其次是嘴唇(54.0%)、四个点(30.7%)、什么都没有(22.7%)和一个圆圈(20.8%)。最近的一项研究调查了77名NH参与者的语言感知表现，他们被分为五个年龄组，在三种条件下:听觉、视觉和视听。视听条件下的准确率最高，其次是纯听觉和纯视觉条件[26]。视听整合的好处在文献中得到了很好的说明，然而，没有使用视觉线索的听力学评估工具。因此，即使有精心设计的设备和良好的测试结果，助听器佩戴者通常也不会在现实世界中感受到这种好处。这种不匹配降低了设备的满意度，最终可能导致助听器停止使用[7-9，11-13，27，28]。由Sergei Kochkin于2000年进行的MarkeTrak调查显示，效益不佳是不使用助听器的十大原因之一[27]。先前的研究结果强调需要缩小临床评估和现实表现之间的差距。

随着第四次工业革命的出现，研究人员和工业界一直在努力融合技术和医疗保健。在这些技术中，虚拟现实(VR)不仅应用于游戏，还应用于教育和医疗保健。VR系统有五个关键组成部分:虚拟空间(VS)、沉浸感、交互性、创作者和用户[29]。更具体地说，有一个想象的地方，VS，通过互动和沉浸，个人感觉更存在，或连接到VS, VR的最大优势是听觉和视觉信息同时提供，以产生逼真的环境。有研究显示VR在某些领域的疗效，如疼痛管理、中风康复和慢性主观性耳鸣[30.-34]。在听力学方面，VR已经被用于声音定位的研究，但关于VS对语音表现影响的研究却很少[35-37]。

Ahrens等[37]在八种条件下测试了10名NH听众的声音定位能力，包括蒙眼、头戴式显示器(HMD)、虚拟和真实环境、扬声器、声音或视觉刺激以及模拟激光笔。结果显示，耳机对个体的声音定位能力有负面影响，因为佩戴耳机时，声音定位的重要线索——耳间时间和水平的差异更大。当参与者在虚拟和真实环境中都能看到源位置时，方位角和仰角误差减小。Sechler等[38探讨了VR在双侧人工耳蜗使用者声音定位测试中的潜在应用。共有12名NH听众和4名双侧人工耳蜗使用者在为研究创建的VR环境中进行了声音定位测试。总共出现了13个声音提示，参与者选择他们在VR环境中听到声音提示的位置。双侧人工耳蜗使用者在第一次人工耳蜗、第二次人工耳蜗和两种情况下完成测试。与双侧人工耳蜗植入者相比，双侧人工耳蜗植入者在反应时间、左右分辨、正确率和均方根误差方面表现更好。植体条件下和仅植体条件下的声音定位性能较好。总的来说，这两项研究都表明VR在临床听力学中的应用潜力。

本研究的目的是探讨VS对噪声中语音性能的影响及其在临床实践中作为一种可行的语音测试工具的可行性。这项研究的结果将揭示VR克服当前评估工具局限性的潜力，并最终应用于临床实践，这是听力学领域尚未探索的领域。

方法

参与者

样本量是根据先前的研究确定的，该研究考察了自闭症患者和非自闭症患者在听觉和视觉条件下的反应时间和准确性差异。39]。结果样本量为45，使用Stata version 14 (StataCorp LP)，功率集为0.9，α集为0.0167(经过多次比较校正)。共有30名NH患者和25名听力受损(HI)患者参加了这项研究(图1）.NH组的平均纯音阈值低于25 dB听力水平(HL)，在250 Hz、500 Hz、1000 Hz、2000 Hz、4000 Hz和8000 Hz的听力阈值低于10 dB的听力阈值不对称。HI组的平均纯音阈值高于25 dB HL，整个测试频率的听力阈值低于10 dB不对称。在HI组中，有10个人是助听器使用者。在1米距离内无法交流和理解电视的个体以及患有神经和精神障碍的个体被排除在研究之外。所有的实验程序都得到了三星医疗中心机构审查委员会制定的规定的批准，并按照批准的指导方针进行。在测试前从参与者处获得一份知情同意文件。还获得了演员的知情同意，以便在在线出版物中发布这些图像。

‎ 查看此图

传统纯音测听法

根据2005年美国语言听力协会指引[40]，使用GSI 61测听仪(Grason-Stadler)和TDH-39耳机(Telephonics)在录音棚中进行常规纯音测听。

虚拟空间

在三星昌原医院虚拟现实实验室的协助下，利用三星360 Round虚拟现实相机(三星电子)制作了一个虚拟现实咖啡馆。然后使用Adobe系统的商业编辑工具对电影进行编辑:Adobe Premiere Pro, Adobe After Effects和Adobe Audition(2018-2019版本)。之所以选择咖啡馆作为实验环境，是因为咖啡馆是听力障碍最常见的场所之一。41，42]。该系统设计了一个场景，即用户与对话伙伴进行一对一的对话，对话伙伴说的是韩语版的“噪音听力测试”(K-HINT)中的句子，而其他“客户”在背景中说话(图2）.对话对象记录了K-HINT句子。

‎ 查看此图

K-HINT

由亚洲大学的Sung Kyun Moon和他的同事以及House Ear研究所开发的K-HINT在韩国被广泛用作噪音中的语音测试[43]，做一个听和重复的任务。K-HINT由12个列表组成，每个列表有20个句子。研究使用K-HINT句子，呈现水平为65 dBA (a加权dB)。每个列表被分成两组，以便参与者完成所有测试条件:(1)常规K-HINT (cK-HINT);(2) VS on PC (VSPC)， VS显示在显示器上;(3) VS头戴式显示器(VSHMD)，其中VS在头戴式显示器上以-10、-5、0和+5 dB信噪比(SNRs)显示。对于VSPC和VSHMD条件，显示相同的VS，所有参与者都有10秒钟的时间来熟悉虚拟环境。每个参与者的测试条件是随机的。正确百分比分数是根据在10个句子中正确重复给测试者的句子数量来计算的。助听器佩戴者使用自己的助听器在独立和辅助条件下完成测试。 No adjustments were made to the participants’ hearing aid settings, as the authors wanted to simulate as natural an environment as possible. Testing was performed in a semianechoic chamber with sentences being presented through a loudspeaker in the front. Making the testing more realistic, café noise was obtained from YouTube and normalized to the average level of the sound file using Cool Edit Pro 2.1 (Syntrillium Software Corporation). Then, sound levels of speech as well as the café noise were measured using a sound level meter for the four SNRs. The noise was presented from speakers located at 45, 135, 225, and 315 degrees for all test conditions. A Samsung Notebook Odyssey laptop and a Samsung Odyssey VR headset with controllers (Samsung Electronics Co) were used to display the VS. The Samsung Odyssey laptop was used, as testers can see the screen that participants are seeing during the VSHMD condition. This allows individuals who are unfamiliar with VR technology to easily complete the task with assistance from the tester. A practice test was run before the experiment to familiarize the participants with the listen-and-repeat task in the VS.

问卷调查

测试后进行问卷调查，以评估测试的各个方面(表1）.问卷包含4个领域:头戴式头盔、VSHMD状况、测试、cK-HINT与VSHMD的对比。关于耳机的项目包括设备的物理舒适度和重量，视听同步，录音K-HINT句子的音质。在VSHMD条件下，评估沉浸感、听力努力、现实反映程度、将VR纳入听力学测试的必要性、VS的充分性、测试结构和趣味性。关于沉浸感和听力努力的问题，助听器用户在无辅助和辅助条件下完成了两次。参与者还选择了最喜欢的测试方法和需要最大听力努力的测试，鼓励使用助听器，并更好地评估沟通困难测试域。最后一个域比较了cK-HINT和VSHMD条件。参与者被要求写下这两种情况的优点和缺点。就两种情况之间的差异而言，参与者可以选择多个回答immersiveness，现实的反映，方便,其他人。如果他们选择其他人，他们被要求提供具体的回应。中的问题HMD耳机和VSHMD条件使用10分视觉模拟量表(VAS)回答域，并给出以下回答:0(差，非常不同意或非常重)，5(中性)和10(极好，非常同意或非常轻)。的测试Domain包含多项选择题。参加者必须从以下选项中作出选择:cK-HINT，VSPC,VSHMD。

统计分析

采用SAS version 9.4 (SAS Institute Inc .)进行统计分析。我们使用了非参数检验，因为我们的结果没有通过正态性检验。为了比较各组测试条件和信噪比的K-HINT性能，进行Friedman检验。本研究的主要结果是个体的K-HINT表现，而视觉线索的可用性是兴趣暴露。为了比较各组之间K-HINT的表现，曼-惠特尼U采用测试方法。一个P值小于0.05被认为具有统计学意义。

结果

参与者的特征

参与者的年龄范围为18至75岁。NH组患者平均年龄为29.7岁(SD 10.4)， HI组患者平均年龄为53.0岁(SD 14.0)。NH组右耳平均纯音6.3 dB，左耳平均纯音5.5 dB。HI组右耳平均纯音49.2 dB，左耳平均纯音47.2 dB。HI组共有10名参与者是助听器使用者，右耳和左耳的纯音平均分别为56.5 dB和54.2 dB。HI组非助听器使用者的右耳和左耳纯音平均值分别为37.0 dB和34.9 dB。

NH组与HI组K-HINT性能比较

两组在所有测试条件下K-HINT性能的比较见图3。对于助听器使用者，他们在助听器条件下的正确百分比分数被用于比较。当有视觉提示时，两组的表现都更好。对每组进行Friedman测试，以检查提供视觉信号是否有益。NH组-10 dB信噪比差异有统计学意义(P= 0.004)和-10 dB (P=.01)， -5 dB (P= 0.01)， 0 dB (P= 0.045)。使用Mann-Whitney进行组间比较U检验显示有统计学意义(P< 0.05)，其中P取值范围为0.001 ~ 0.004。总的来说，NH听众在噪音中表现出比HI组更好的演讲表现。

‎ 查看此图

HI组助听器使用者与非助听器使用者的VR K-HINT表现

助听器用户和非助听器用户的K-HINT性能如图所示图4。使用助听器使用者的辅助评分进行性能比较。非助听器使用者的平均正确率得分较高，表明他们在噪音中比助听器使用者更能理解言语。这与非助听器用户和助听器用户的纯音测听数据是一致的:除了左耳4000 Hz和8000 Hz外，非助听器用户在所有测试频率上都有更好的听力学阈值。的Mann-WhitneyU在-5 dB (P=.04)和0 dB (P=.02) cK-HINT条件下和-10 dB (P=.007)和0 dB (P=.04)非助听器使用者与助听器使用者在VSPC条件下的信噪比。

‎ 查看此图

助听器使用者的非辅助和辅助VR K-HINT表现

图5显示助听器用户使用助听器和不使用助听器的K-HINT性能。这一结果与之前的研究结果一致，即佩戴助听器的人在噪音环境下的言语理解能力更好。cK-HINT条件下+5 dB信噪比也有统计学意义(P= .02点);- 10db (P=.04)， -5 dB (P=.02)， +5 dB (P=.02) VSPC条件下信噪比;-10分贝(P=.04)和-5 dB (P=.002)通过Wilcoxon符号秩检验得到VSHMD条件下的信噪比。

‎ 查看此图

问卷调查

通过问卷调查收集各组对耳机、VSHMD状况、听力努力和在VS中的存在的主观意见(图6）.对于HMD头戴设备，评估了以下项目:佩戴设备时的身体舒适度，设备的重量，音频和视觉信息之间的同步，以及录制句子的音质。使用VAS对项目进行评分，10分为强烈同意或优秀的。除了设备的重量外，所有项目的反应都是积极的;耳机很重，但戴起来很舒服，音质和视听同步都很好。对VSHMD的真实反映程度、临床试验中使用虚拟现实的必要性、虚拟现实的充分性、测试结构、趣味性进行评价。使用VAS对项目进行评分，10分为强烈同意或优秀的。结果显示，通过VS的现实模拟效果非常好，参与者觉得测试很有趣。咖啡馆是一个合适的测试场所，参与者先完成练习，然后进行实验测试，这种测试结构也被认为是好的。VR在听力学中的必要性很高。最后，对沉浸和听力努力进行了调查。由于助听器使用者在无辅助和辅助条件下完成了测试，因此对这些条件下所需的听力努力进行了两次评估。NH听众和非助听器使用者的回答在所有项目上都相似;Wilcoxon sign -rank检验显示沉浸性(P= 0.36)和听力努力度(PNH组和HI组=.49)。对于使用助听器的人来说，沉浸感得分较高，而使用助听器的听力努力得分较低，这意味着通过助听器和视觉线索整合听觉和视觉信息对噪音存在下的言语理解有积极影响。沉浸性的显著差异(P= 0.047)和听力努力度(P=.04)，并通过Wilcoxon符号秩检验观察。

两组人都喜欢包含视觉线索的测试;NH组和HI组分别有50%(15/30)和32%(8/25)的参与者选择VSHMD。VSHMD也被各组选择最多，因为它可以更好地评估沟通困难(NH组为67% [20/30]，HI组为52%[13/25])，并鼓励使用助听器(NH组为50% [15/30]，HI组为44%[11/25])。根据NH组(22/ 30,73%)和HI组(20/ 25,80%)的报告，不提供任何视觉信息的cK-HINT需要最大的听力努力。NH组共有97%(29/30)的参与者和HI组88%(22/25)的参与者表示，如果在临床实践中可用，他们愿意完成测试。

‎ 查看此图

cK-HINT和VSHMD条件的差异

模拟现实和沉浸是各组报告的主要差异。对于这个问题，个人可以选择多个选项。在NH组中，共有63%(19/30)和83%(25/30)的参与者分别选择沉浸和模拟真实世界环境作为条件之间的差异。对于HI组，72%(18/25)和52%(13/25)的参与者分别选择沉浸和现实模拟作为条件之间的差异。其他回答包括“测试很有趣”、“在测试过程中能够集中注意力”和“视觉线索(即嘴唇运动)可用”。这增加了VR的优势和参与者关于测试偏好的主观反应的价值，以及更好地促进助听器使用和评估听力问题的测试。

cK-HINT和VSHMD条件的优缺点

绝大多数参与者报告说，cK-HINT将是一个更好的评估工具来衡量听觉表现，因为它不提供任何视觉线索:他们只有听觉信息来理解语音。测试的便利性是该条件的另一个优势，因为它不需要参与者佩戴额外的设备。另一方面，这种条件的缺点包括无聊、没有提供视觉信息、不现实的测试环境和噪音。由于没有视觉线索作为测试条件的一部分，参与者认为该测试无法准确评估他们在现实世界中的噪音语音表现。对于VSHMD情况，两组都报告了以下优势:较少的听力努力，出色的音频和视觉质量，出色的现实反映，在环境中感觉存在，并且在测试期间注意力更加集中。在测试中使用视觉线索有助于参与者在有噪音的情况下减少理解语音的努力。出色的音视频质量和现实反映使他们在测试过程中感觉存在于VS中。然而，耳机戴起来很重，参与者认为这可能会影响测试结果。在弱点方面，他们提到不熟悉HMD系统的人可能难以执行测试(即佩戴该设备并在测试中导航)，并且作为该条件的一部分提供的可视化可能会分散个人的注意力。

讨论

在我们的研究中，语音识别随着视觉信息的提供而提高，而不考虑听力损失的存在。助听器帮助佩戴者以更低的听力努力更好地识别语音。所有这些发现都与以前的文献一致[44-49]。在总结了参与者的主观反应后，我们看到VS的质量非常好，在视听同步、录制句子的音频质量、沉浸感和VS中反映的真实性方面得分很高。咖啡馆是一个合适的地方，因为VS参与者对新的测试方法(即VSHMD)感兴趣，而且很高比例的参与者表示，一旦在诊所可用，就会倾向于完成测试。

我们的研究在被试特征的多样性、相对简单的测试环境和更自然的刺激方面具有重要意义。大多数利用虚拟现实技术研究言语表现的研究招募了患有NH和HI的个体[36，50-52并且涉及一种可能难以在临床环境中建立的测试设置。例如，在Salanger等人[50]， 40名患有NH的儿童和8名年轻人参加了这项研究。声学处理(即隔音墙和天花板瓷砖)和物体(即黑板)被包括在内，以创建一个VR 3D教室。研究人员向参与者展示了谈话者的录像，这些录像不那么自然。Hendrikse等[51]还招募了14名年轻的NH听众，以动画角色作为测试刺激，进行定位和语言表现测试。使用16个扬声器阵列和投影仪来呈现听觉和视觉刺激，并使用由布覆盖的金属框架来减少环境声音，光线和房间反射[51]。在临床实践中建立这样的测试环境可能是具有挑战性的，因为它们需要大量的扬声器、大空间和其他必要的材料来创造一个真实的环境。另一方面，我们的研究是第一个将助听器使用者纳入更自然的刺激和潜在的更可实施的临床实践测试设置的研究。在本研究中呈现的VS是使用真实的角色和演员而不是虚拟人物创建的。测试使用了相对较少数量的扬声器(五个)，然而，结果与之前的研究结果相当。

将视觉信息纳入语音测试对患者和专业人员都是有益的。由于沟通需要视觉和听觉信息，这种类型的测试可以更准确地评估沟通困难与语音识别性能。患者会更投入到测试中，因为测试更有趣，正如问卷所报告的那样。对于助听器用户来说，现实反映的测试结果可以培养现实的期望，听力损失的所有权，更好地优化设备。这将增加对设备的满意度，减少助听器的返回和中断率。如果助听器佩戴者体验到更高的设备满意度和感知到助听器的好处，那么为了进一步调整而去诊所的次数也会减少，这对于居住在远离医院和诊所的个人来说可能是一个关键问题。

虽然在本研究中显示了VS对噪声环境下的语音识别是有益的，但仍需要大量的工作来解决我们研究的一些局限性。每个K-HINT列表被分解成两个单独的列表，以便助听器用户可以在无辅助和辅助条件下完成测试。在这个过程中很可能会影响音素分布，因此需要使用更多句子列表的测试材料进行后续研究。耳机的重量也需要改进。作者认为，不仅要检查视觉线索对语言表现的影响，而且要测试将要使用的设备，这是至关重要的，因为这可能是专业人员和患者在诊所使用和执行测试之前会考虑的众多因素之一。据报道，该系统的权重在问卷上很重，并被提及为VSHMD条件的一个弱点。使用更轻的设备可能会解决这个问题。另一个担忧是，不熟悉HMD系统的人可能难以进行测试。设计易于使用的用户界面，并在测试前和测试期间提供有关HMD系统的测试人员协助，可以解决这个问题。值得一提的是，有必要深入研究每种感官方式对噪声中语音表现的贡献。 Gonzalez-Franco et al [53研究了当视觉和听觉线索不同步时，选择性注意对个体言语感知的影响。两名说话者同时说话，参与者被要求回忆由8个单词(“Arrow”、“Baron”等)组成的“目标CALL”，并在四种条件下记住目标句子的内容(即同步的视听提示;只有听觉，没有视觉信息;异步视觉和音频提示，其中目标说话者的嘴唇与另一个说话者的声音相匹配;以及不同步的视觉和音频提示，其中目标说话者的嘴唇与任何说话者的音频都不匹配)。当听觉和视觉信息同步时，参与者能够更准确地识别“目标呼叫”。在记忆句子内容方面，使用非同步信息会出现更多的错误，尤其是当目标说话人的嘴唇与另一个说话人的声音相匹配时，这表明视觉线索占主导地位[53]。测量一个人对每个感觉系统的依赖程度，可能会让研究人员认识到，包含视觉线索的测试是否反映了一个人在真实环境中的语言表现;如果一个人的交流实际上受到了现实生活中自然出现的视觉信号的干扰，而考试成绩很差，这可能意味着考试反映了他或她在现实生活中的表现。此外，在测试之前没有进行视力筛查。尽管作者确保所有参与者都能清楚地看到VSHMD条件下的VS，但由于实验背后的基本原理是视觉和听觉输入代表了现实世界的条件，因此有必要包括视力筛查。不同的助听器设置可能会影响HI组的言语表现。如前所述，作者没有对助听器设置进行任何更改，因为这些设置是助听器用户在现实世界中使用的设置。然而，一些特征，如降噪，可能影响了HI组的结果。值得注意的是，有必要深入调查VR听力学测试在临床实践中的实际影响。例如，技术接受模型通常用于以实现为中心的研究，通过评估个人使用技术的意愿、感知的易用性等来检查用户对信息技术的接受程度[54]。重要的是不仅要比较性能，还要评估终端用户对VR听力学测试的接受程度，以充分了解VR听力学测试的工作原理以及与其他测试方法的比较。进一步研究更大的样本量，更多样化的参与者特征，以及在视觉线索和标准化助听器问卷下的言语表现之间的相关性分析将是有益的。开发适合于虚拟现实的句子并检验它们的效果，对于发展和标准化反映现实的测试方法和材料是有价值的。总之，我们希望我们的发现为未来的研究开辟了机会，并支持VR在听力学领域应用的必要性。建立一个与个人日常听力环境非常相似的测试环境，并准确评估一个人独特的听力困难和需求，可能仍然具有挑战性。然而，VR听力学测试将是专业人员更有效地为不同临床人群服务的另一种方式。