面向中风后失语症患者的基于移动的虚拟现实语音康复应用:开发和试点可用性研究

简介

背景

失语症是继获得性脑损伤(ABI)之后的一种获得性语言障碍，影响部分或全部语言模式，包括说话、阅读、写作和手势的表达和理解[1］．ABI是一种迅速增长的公共健康问题，由创伤性脑损伤、中风、心脏骤停后缺氧缺血性脑病和脑肿瘤引起[2］．中风导致的残疾调整生命年损失是所有疾病中最高的，中国每年新增病例超过200万例[3.］．据估计，中国每年有110万人死于中风，而且这个数字还在增加[3.］．在全球范围内，预计到2030年中风死亡人数将增至780万[4］．

大约三分之一的中风患者有失语症[1］．失语症患者无法重返工作岗位的风险高于非失语症患者[5］．一个人中风后无法重返工作岗位很可能是由于失语症的存在[5］．年轻患者的中风发生率明显低于老年组;然而，它仍在上升[6]，康复需要值得关注[5］．据报道，94%的人被诊断患有认知或交流障碍。然而，只有45%的人转介接受言语语言病理学服务[7］．电脑和平板电脑为失语症患者的语言康复提供了创新和强化的治疗方法[8-10］．接受训练的患者的命名能力得到了改善，而口头沟通技能则没有明显改善[8，10］．一篇评论总结说，许多从谷歌Play Store、苹果应用商店和网络搜索中识别的应用程序都可以用于患有沟通障碍的成年人的言语语言治疗。然而，很少有人专门设计来满足这一弱势群体的参与度、功能、美学和信息质量[11］．

机械训练限制了对病人的帮助。现实环境中的沟通活动对患者提高沟通能力更有效[1］．无论是智能手机还是电脑，都无法让患者感觉自己身处现实环境中。虚拟现实(VR)技术的发展通过视觉、听觉和触摸模拟创造了交互式计算机生成的世界。这使患者更有热情，更愿意说话。在虚拟现实技术中，患者将比在医院中更容易接触到危险的、昂贵的、不可控的和难以接近的环境，并能够尝试新的治疗策略[12］．研究表明，基于虚拟现实的语音治疗是有效的。全新的虚拟现实平台EVA Park是一个在线虚拟岛屿，包含了各种模拟地点，包括房屋、cafés、餐厅、健康中心、发廊、热带酒吧和迪斯科舞厅。13］．它的设计目的是使失语症患者能够使用耳机和麦克风实时通过语音与1个或多个对话伙伴成功交流[13］．镜像神经元康复训练软件配合4通道VR全景头盔和z通道独立训练设备，包括名词、动词、短语、句子听读等训练内容，对Broca失语症患者有效[14］．此外，由于VR系统几乎完全屏蔽了外界的干扰，患者更加关注语音治疗[14］．然而，这些系统是半沉浸式的虚拟现实环境，需要合作伙伴和治疗师的帮助。

目标

本研究旨在为集成VR应用提供一个框架，并对其可用性和安全性进行初步测试。很少有应用能够明确地满足用户粘性、功能、美学和信息质量的要求。11］．因此，我们打算通过为患者提供与虚拟环境互动的机会，并在现实场景中练习口语，来增加互动和吸引人的元素。

方法

第一阶段

基于虚拟现实的语言康复教学内容设计:Delphi研究

为开发基于VR的脑卒中后失语症患者言语康复内容，进行了2轮德尔菲(Delphi)研究(图1)．德尔菲法是利用一系列问卷，在专家小组中取得最可靠的共识[15，16］．专家可根据需要修改、添加或删除内容[17］．我们列出了每个Delphi轮中的模块名称、子模块名称、具体内容以及培训模式的简短描述。在两轮之间，我们根据专家的反馈修改了内容。除了书面描述外，草稿还包括图片和视觉图像。

‎ 查看此图

伦理批准

中南大学护理学院护理与行为医学研究伦理审查委员会批准了该研究(E202118;批准日期:2021年4月21日)。

程序及参加者

在Delphi研究的第一轮之前，我们于2020年9月和10月通过万方数据库、中国知网(CNKI)、PubMed和Web of Science进行了一项文献综述，使用搜索词“失语症”、“言语”、“言语治疗”、“语言治疗”、“沟通”和“康复”，找出与语言康复相关的可用内容和模式。我们通过学习认知沟通能力模型来开发内容[7］．它包括7个功能领域:个人、背景或环境、认知、沟通、身体/感觉、情感/社会心理和沟通能力。该模型提供了跨越言语病理学、心理学、神经科学、康复和教育领域的证据，并关注认知、交际、情感和身体因素之间的复杂相互作用。康复平台，如“恒疗”[18]及网上失语症治疗[19]，被检索到。此外，我们还了解了现有的基于计算机或平板电脑的语音康复系统。

2020年11月，我们与湖南省脑科医院和湖南省肿瘤医院有经验的康复医生和职业治疗师进行了分组讨论，确定大脑区域与语言产生的关系，语言的康复过程，以及他们对目前语言治疗的意见。2020年12月，我们与香港理工大学计算系的两名专家举行了一次在线会议，就基于VR的潜在内容产生想法。根据收集到的信息，我们开发了一个包含6个模块的20个子模块的初稿。我们设计了一份问卷供专家审阅，并使用李克特5点量表来评估应该包括哪些部分。每件作品都有名称、具体内容和对训练模式的简短描述。

该小组由具有理论和实践背景的专家组成，从研究人员那里获得了各种见解。具有理论背景的专家均在语言治疗或康复领域发表过论文。根据实践经验和发表的著作选择具有实践背景的专家。此外，我们联系了我们的网络，并请回应的专家提供该领域的重要专家的名字，例如雪球抽样技术。参加第一轮德尔菲的专家也在第二轮进行了接触。总共有21位专家通过电子邮件、微信或面对面会议的方式被邀请参加两轮德尔菲研究。它包含了研究目标、研究过程、第一轮问卷、专家的人口统计信息以及他们对相应领域的判断和熟悉程度等详细信息。在21名专家中，有15人(回复率71.4%)回应了邀请。

第一轮

问卷调查

第一轮问卷根据文献综述和小组讨论确定的内容组成。问卷由6个结构化模块和20个子模块组成。专家们被邀请用李克特5分制对这些内容进行评分，从1(完全不重要)到5(极其重要)。他们被要求根据需要修改、添加或删除内容，并提供他们认为合理的建议。需要专家的人口资料以及他们对相应领域的判断和熟悉程度。我们每隔2-3周通过微信或电子邮件提醒那些在最初邀请后没有完成调查的人。

数据分析

采用Microsoft Excel 2003和IBM SPSS Statistics(26.0版本)进行数据分析和处理。专家的回答由两名研究人员独立分析，数据被重复输入以减少打字错误。我们列出并结合了类似的建议。计算均值、SD和变异系数(CV)。CV定义为SD除以用于描述专家对项目重要性评价的相对分散程度的均值[20.，21］．CV值越低，代表专家意见的协调程度越高[21］．在计算了内容应该包含的平均值(SD)和CV之后，我们去掉了所有平均值小于4.0,CV大于0.2的能力。采用肯德尔系数W检验评价专家之间的共识。它指专家内部对所有指标的一致程度[22］．统计显著性考虑在二尾P<的值。05年(21］．Cs表示专家对研究领域的熟悉程度，Ca表示专家所依据的判断标准[21］．中列出了定义的值表1而且2．Cr表示专家的权威系数，是熟悉的Cs和Ca之和的均值[23］．然后我们制作了第二轮问卷。收集了21名小组成员中的15名(71.4%)的完整数据，并将结果用于修改内容和建立第二份问卷，用于Delphi练习的第二轮。

第二轮

问卷调查

2021年2月，在第二轮之前，我们与2位VR领域的专家举行了线上会议，讨论了基于VR的内容。完成第一轮问卷的专家被邀请参加第二轮问卷。我们再次通过微信或电子邮件提醒那些在最初邀请后没有完成调查的人，间隔2-3周。专家们再次对每个修订的部分进行打分。他们被要求在多大程度上同意每个元素可以被使用，并对每个部分进行评论。关于他们认为合理的内容的额外建议是需要的。

数据分析

第二轮之后的分析旨在确定对内容的任何共识，并确定是否需要再进行一轮。采用Microsoft Excel 2003和IBM SPSS Statistics(26.0版本)进行数据分析和处理。我们预定义的平均分不低于4分，简历不超过0.2分，2尾P专家肯德尔系数W检验值不大于0.05，认为应纳入内容。计算每个部分的平均值、SD值和CV值。当问卷中所有项目都符合上述标准时，德尔菲调查完成。

二期

基于虚拟现实的语音康复App开发

在2020年11月和2021年2月，我们与两位VR领域的专家举行了在线会议，讨论了这个项目。各种各样的设备和组件可以提供VR体验，主要类别包括智能手机VR头盔、基于个人电脑(PC)的VR头盔(如HTC Vive)或独立的VR头盔(如Oculus Quest)。HTC Vive和Oculus Quest通过分辨率、帧率和足够的输入机制，创造了比智能手机VR更沉浸式的体验，为用户提供了更强的存在感[24］．为了给经济压力大的患者提供另一种选择，我们选择了使用智能手机VR，并开发了一款基于手机的VR语音康复应用。智能手机VR耳机通过安装在耳机上的智能手机来提供VR体验，就像最初的谷歌Cardboard一样简单。这些类型的VR应用程序价格实惠，性价比高[24］．此外，患者还可以使用现有的智能手机。

使用谷歌Cardboard VR插件在手机上部署VR场景。将谷歌Cardboard设备与手机相结合，使其成为大多数患者都能负担得起的便携、廉价的VR设备。该软件可以随时随地进行语言康复。整个VR场景是使用Unity游戏引擎开发和构建的，使用Adobe Photoshop制作2D资产。Unity是连接人工智能平台、VR场景和后端数据存储的桥梁。将设计好的文字内容上传到百度AI平台，获得合成语音。合成的语音在虚拟现实场景中作为语音指令来引导用户。Cardboard VR为患者提供图片、文字、视频和合成声音，取代了传统治疗方法中的治疗师。患者将在VR场景中看到设计的问题和相关材料，并使用手机麦克风记录自己的语音回答，或注册头部旋转作为多选择题选择答案的输入。Unity将根据他们的头部旋转记录他们的反应，或将录制的声音发送到百度AI平台，以获得识别的文本。 The results will be stored in an Excel sheet and sent to the therapist's email address with the patient’s name.图2详细阐述了基于虚拟现实的失语治疗过程。

‎ 查看此图

应用程序的试点应用和可用性测试

我们对5名失语症患者、5名健康志愿者、5名医护人员和2名VR专家进行了app可行性练习，年龄在25 - 65岁之间(平均39.53岁，标准差16.54岁)。5例失语症患者均接受言语康复治疗2周，均发生缺血性脑卒中。经过2周的面对面训练，中国版西方失语测验的失语商(AQ)在58 - 75之间。这个可行性练习让我们更好地理解和潜在地减少失语症患者的不良影响的可能性，这些失语症患者可能对感觉影响更敏感(例如，晕动病和不适)。访谈是实验中使用的测量方法。在参与者体验了手机VR语音康复app后，访谈问题的提纲如下:(1)您认为这款手机VR语音康复app适合哪些人群?(2)基于手机的VR语音康复app与面对面的语言康复有何不同?(3)在使用了基于手机的VR语音康复应用后，什么会鼓励或阻碍应用的采用?(4)您对这款基于移动设备的VR语音康复应用的总体评价是多少?所有的采访都使用数字语音记录仪记录，并在24小时内逐字转录。 The researcher explored participants’ feelings about the app by asking questions in a private environment, and they were encouraged to put forward new questions and content.

结果

德尔菲研究的结果

专家小组

表3列出参加第一和第二轮Delphi的21名专家中的15名(71.4%)的主要特征。15名专家的学术背景包括康复医学或康复治疗。其中，来自三甲医院的14人(93.3%)，在学校担任职务的5人(33.3%)，教授2人(13.3%)。德尔菲面板的详细人口统计特征在表3．给出了专家的可靠性表4．专家权威系数(Cr)均值为0.84。专家们的权威很高;因此，本研究结果是可信的。

第一轮

肯德尔一致性系数(W)为0.204 (P<措施)。在第一轮评审小组评审的6个单元及20个子单元中(表5)，删除了两个子模块(音节和带有动词、名词和形容词的命名)的CV和不符合标准的算术治疗模块的CV (表6)．另外，2位专家建议删除算术治疗模块。根据3名小组成员的建议，添加了描述日常生活的图片和视频。此外，根据2名小组成员的建议，命名疗法与口头表达疗法相结合。此外，2名小组成员建议可以删除单个字符，因为它们不像短语那样容易表达，所以我们删除了这些字符。一些受访者建议进行额外的执行功能、阅读和写作训练。但这款应用是为了提高患者的口头表达能力，所以阅读和写作超出了我们的考虑范围，尤其是执行功能和写作。由于智能手机VR和技术的限制，我们无法将写作训练添加到VR中。修订内容包含4个模块和17个子模块。

第二轮

第二轮的结果载于表7而且8而且图3．重要性平均分均在4.00以上，cv均小于0.20。肯德尔一致性系数(W)为0.335 (P<措施)。最后就4个模块和17个子模块达成共识。一位专家建议患者应在规定的时间内完成回答。一些受访者建议进行额外的执行功能、阅读和写作训练。但这款应用是为了提高患者的口头表达能力，所以阅读和写作不在我们的考虑范围之内。修订内容包含4个模块和17个子模块。

‎ 查看此图

应用的可用性测试

所有17名(100%)参与者都可以打开应用程序。以用户为中心的设计理念被实现，以创建额外的交互式和可定制功能，表明失语症患者的高度可用性。根据访谈提纲收集参与者的评论并进行描述性分析。根据他们的反馈对这4个回答进行了分类。图4展示了基于虚拟现实的失语治疗应用程序的功能。

在回答问题1时，“您认为这款基于移动设备的VR语音康复应用适合哪些人群?”， 17名参与者中有12人(70.6%)建议，用户组可包括已出院或目前住院的患者。参与者表示，有了这个应用程序，他们可以纠正和提高自己的语言技能，17名参与者中有5人(29.4%)建议用户群体应该包括人，特别是那些有巨大的经济压力，不容易获得医疗，但更希望有机会学习的人。

‎ 查看此图

在回答问题2时，“基于移动设备的VR语音康复应用与面对面的语言训练有什么不同?”，所有17名(100%)参与者都提到了家用应用的优势。参与者表示，这款app减少了去医院的难度，也更方便了，因为他们不用担心天气和交通。此外，17名参与者中有15人(88.2%)表示患者的沉浸感和参与度都很高，认为患者在使用这款应用程序时可以完全享受其中，而不会受到他人的评判。此外，没有必要担心因为不能流利地说话而自卑。此外，17名参与者中有4人(23.5%)对该应用的有效性提出了批评，因为患者无法立即得到反馈，使用效率无法保证。

在回答问题3时，“在使用了基于移动设备的VR语音修复应用程序后，什么会鼓励或阻碍您使用该应用程序?”， 17名受访者中有15人(88.2%)提到设计和安排满足患者的日常沟通需求;由于训练内容是由专业康复团队设计的，他们感到更有安全感。此外，15名(88.2%)参与者提到该应用程序易于使用，3名(17.6%)参与者报告晕动病水平较低。

在回答问题4时，“您对基于移动设备的VR语音康复应用的总体评价是什么?”，所有17名(100%)参与者表示该应用程序很新颖，17名参与者中有5名(29.4%)给出了一些建议，如考虑不同的训练难度和增强功能。所有患者都表达了对使用新技术进行语言康复的兴趣。

讨论

主要研究结果

本研究开发了国内首个可访问的、高性价比的移动VR语音康复应用。通过2轮德尔菲研究，小组成员在4个模块和17个子模块上达成共识，有助于患者获得基本的日常沟通语言技能和日常生活中的各种技能。患者有机会与虚拟环境互动，并可以在任何时间练习。一篇综述系统地识别和评估了一系列用于言语治疗的移动应用程序，发现这些应用程序缺乏互动和吸引人的元素，无法让患者自我管理[11］．我们基于VR设计的内容强调用户体验、参与和视觉吸引力，以提高患者依从性。我们为VR环境开发了现实场景和游戏元素。患者有机会与虚拟环境互动，在虚拟现实的自然语境交流设置中练习语言。我们相信康复内容将为患者回归社会和工作提供坚实的基础。

我们通过学习认知沟通能力模型来开发内容[7］．语言加工是认知的核心，需要其他非语言认知功能的参与[25，26］．左半球脑卒中导致的语言处理障碍往往会影响其他认知功能，如执行功能、注意力、视觉空间感知、逻辑思维和记忆[27，28]，它们在失语症的康复和康复中起着重要作用[29-31］．由于复杂的神经生物网络，患者的语言和非语言认知功能无法分离[32］．脑卒中后失语症患者非语言认知功能对语言康复的影响[33］．

语言康复结合认知康复可提高患者的沟通能力[34］．认知领域包括加工、注意、工作记忆、社会认知、推理和解决问题[7］．因此，为了提高患者的口头表达能力，我们设计了与推理、记忆、注意力、视觉空间感知和逻辑思维相关的认知训练。一系列的大脑区域与认知有关，这些非语言域在慢性失语症患者的能力中发挥着作用[29］．

为了强调个人生活中的沟通需求，语境领域被置于认知沟通能力模型的顶部[7］．Cochrane的一篇评论总结说，在现实环境中的交流活动，或功能性交流，可以提高交际能力。1］．传播实践应该在生态环境中进行。因此，我们设计了5个虚拟场景任务，专注于日常交流活动和实用对话技能。患者可以在虚拟现实的自然语境交流环境中获得语言练习的机会。这些任务是对患者的综合练习，整合了日常活动的不同短沟通对话和认知练习，包括口头表达、命名、计算、注意、记忆和推理任务。虚拟现实技术是一种很有前途的康复工具，可能是替代传统训练的有效方法[35，但VR中的场景是不准确的。然而，我们可以在虚拟现实中创造几乎所有的东西，患者将其体验为真实的情况，这使得尝试新的治疗策略变得容易。所有在VR中的学习都可以转移到现实世界中[12］．随着临床医生短缺和失语症患病率上升，虚拟现实并不意味着要取代熟练的治疗师，而是为了减轻临床医生的负担。

限制

这项研究有一些局限性。首先，一系列大脑区域与注意力和执行功能有关，这些非语言域在慢性失语症患者的能力中发挥着作用。29］．由于智能VR的局限性，我们无法设计一些日常指令(如洗衣服、切菜、做饭)。VR可以提供丰富的环境，让患者掌握在医院无法完成的日常生活相关技能。在虚拟现实中学习可以转移到现实生活中。第二，中国不同地区的方言各不相同。然而，我们没有涉及来自中国不同地区的方言，为那些理解和表达普通话有困难的人提供选择。在失语症康复中，有一些非语言能力值得考虑，如发音的韵律和情绪语调。然而，在应用程序中实现这些是困难的。此外，应用程序的可用性评估只有17个人，这可能有偏见的可用性结果。在未来，我们将设计一个更有意义的多中心试验，并进行长期随访。另外，这款app是为了提高患者的口头表达能力，所以阅读和写作不在考虑范围之内。 In particular, owing to the current limitations of technology, we cannot plug writing training into VR.

结论

我们进行了一个Delphi研究，并开发了一个基于移动的VR应用程序。这项研究构成了向健康和VR结合发展的一步。我们相信未来我们的应用程序有很大的潜力成为家庭应用程序，有助于康复管理的自动化。但是，我们的app的可行性和有效性还需要进一步的研究来评估。我们希望我们的研究能够为其他医疗领域的人提供指导和参考。