消费者数字健康任务中语音识别对问题解决和回忆的影响:受控实验室实验

简介

自然语言处理和人工智能的最新进展导致了语音识别技术的改进和广泛采用[1］．语音识别是一种将人类语音转换为计算机文本的输入方式[2］．在消费类应用中，语音识别通常用作与会话代理交互的一种方式，会话代理是使用文本或口语模仿人类对话的系统[3.，4］．消费者会话代理(如Amazon Alexa和谷歌Assistant)可以通过允许患者呼叫护士来改善患者的工作流程[5］．在医疗保健中，会话代理已被用于各种目的，包括数据收集、决策支持和患者监测[5-8］．

在文献中，使用数字健康技术的问题是一个有据可稽的安全问题[9，10］．然而，与会话代理相关的问题所知甚少，这些问题对消费者构成了实际或潜在的伤害风险[9］．在一项研究中，参与者被要求与对话代理互动，发现在回答与健康有关的问题时所提供的信息的质量引起了重大的安全问题[11］．例如，会话代理在回答有关服用羟考酮时可以摄入多少酒精的问题时提供的不正确信息可能导致严重的伤害，包括死亡。然而，很少有研究评估消费者手中的会话代理[3.，4］．

在其他面向消费者的工具中，认知负荷已被观察到是影响语音识别技术使用的重要因素。用户报告说，与打字、指向和点击相比，同时思考和说话更困难。12，13］．然而，在执行健康任务时使用语音识别对认知负荷的影响尚未被探索。认知负荷是施加在大脑工作记忆或短期记忆上的工作量，而大脑的工作记忆或短期记忆的容量有限[14，15]和短时间[16]，尤其是在执行需要解决问题和回忆的任务时[14，17］．解决问题任务的一个例子是使用基本的算术来计算营养信息，而回忆则包括记忆和报告锻炼信息。由于认知负荷，某些任务可能更难完成，因为说话与解决问题和回忆(即工作记忆)所需的认知资源在大脑中是相同的[12］．因此，使用语音识别可能面临的挑战是，它会增加需要更多问题解决和回忆的任务的认知负荷。

虽然其他领域的研究已经调查了语音识别使用对认知负荷的影响，但据我们所知，还没有研究测量过它在数字健康任务中的影响[12，18，19］．因此，本研究的目的是评估语音识别在消费者数字健康任务(如记录饮食和运动信息)中的使用情况，与使用传统键盘和鼠标进行比较。测试了以下假设:(1)在需要更多解决问题和回忆的复杂任务中，语音识别的认知负荷高于键盘和鼠标的使用;(2)在需要更多解决问题和回忆的复杂任务中，语音识别的错误率高于键盘和鼠标的使用;(3)语音识别的任务完成时间比使用键盘和鼠标完成简单任务所需的解决问题和回忆时间短;(4)语音识别在简单和复杂的任务中都不如键盘和鼠标有用，这些任务需要更多的问题解决和回忆。

这些发现将揭示消费者数字健康任务的特征，使其最适合使用语音识别作为输入方式。

方法

参与者

52名大学生和工作人员参与了这项研究(参与者人口统计摘要见结果)。参与者要么是学生，要么是工作人员，他们的英语水平达到了进入大学课程或工作场所的最低要求。这些参加者还具备学位或专业所需的计算机技术和系统的工作知识。因此，对纳入的英语语言水平、卫生素养或技术熟练程度没有要求。参与者通过电子邮件或刊登在大学通讯上的广告做出回应。年满18岁的成年人自愿参与。麦考瑞大学人类研究伦理委员会批准在医学和健康科学学院招聘人员。没有向参与者提供任何报酬或礼物来激励他们参与。

实验设计与任务

该研究包括两个受试者内部因素:人机交互模式(语音识别vs键盘和鼠标)和任务复杂性(简单vs复杂)，提供了四个实验条件(图1)．

‎ 查看此图

每位参与者被要求完成四项消费者数字健康任务，以记录营养和运动信息:两项简单任务和两项复杂任务，使用语音识别和键盘鼠标与模拟对话代理交互(图1)．对于每个文档任务，参与者被要求在一个假设的场景中采用一个人物角色，专注于身体活动和饮食，并回答对话代理的问题(参见多媒体附件1)．这些任务旨在评估问题解决能力和使用场景中提供的信息进行回忆。

复杂性是通过参与者需要在工作记忆中操作的信息项的数量来衡量的。工作记忆中需要操作的信息项数量与认知负荷之间的关系已经在文献中得到了很好的证实[20.];也就是说，当认知负荷过高或超过工作记忆的极限时，人类的表现就会受到影响[21，22］．对于简单的任务，会话代理将假设场景与问题显示在同一屏幕上。复杂任务的设计是通过增加计算和记忆所需的信息片段来施加更高的认知负荷(简单任务总共6个项目vs复杂任务总共17个项目;看到多媒体附件1)．简单任务要求参与者使用5项信息来解决问题，包括5天，20分钟，排舞，上午10:00-10.50，而复杂任务要求参与者回忆同样的5项信息，并提供12项信息来解决问题。在弹出式模式窗口中显示场景也会增加认知负荷，要求参与者在窗口之间转换时将场景中的关键信息提交到工作记忆中[23］．参与者不能复制和粘贴他们的答案。

这些任务是在与健康信息学研究员(DL)和初级保健医生(LL)协商后制定的。通过要求7个人使用系统原型完成任务并提供反馈，进行了试点测试。任何问题都在下一次试点测试之前被迭代修正。这一试点测试确保了规定的任务和系统是可理解的和功能性的。协助试点测试的个人被排除在实验之外。任务的正确答案由健康信息学研究人员预先确定并验证。

模拟会话代理

参与者参加了大学的计算机实验室，在那里有一个工作站，任务在一个连接键盘、鼠标和麦克风的网络应用程序上运行。根据实验条件，用户的回答可以通过键盘和鼠标输入，也可以通过语音识别转录出来(图2)．参与者可以在提交之前查看他们的回答。Web Speech API是一个基于javascript的通用语音识别应用程序编程接口，用于实现该系统的实时音频转录功能[24］．为了使用语音识别激活语音到文本，参与者被指示按下“记录”按钮。系统在本地机器上使用谷歌Chrome浏览器启动。

‎ 查看此图

过程

在获得知情同意后，参与者完成了一份关于语音识别技术使用情况的简短调查，并提供了人口统计信息。在开始实验之前，他们被告知任务包括解决问题和回忆，并被告知如何使用语音识别界面。训练继续进行，直到参与者清楚地理解执行实验任务所需的所有方面;没有进行任何实践任务。参与者完成两项简单任务和两项复杂任务，其中一半被随机分配使用语音识别(图3)．在每个任务结束时，评估认知负荷。为避免顺序影响，两种模式的简单和复杂任务分配及任务顺序均为随机。所有语音识别任务的录音都是独立采集的，以确定错误。在所有四个任务的最后，系统可用性量表(SUS)问卷[25]，然后进行反馈访谈。

‎ 查看此图

结果测量与分析

参与者对使用语音识别和键盘鼠标的生活方式管理任务的反应进行了比较，使用了从计算机日志中提取的数据、参与者反应的音频记录和书面调查。

认知负荷使用认知负荷量表进行测量，该量表采用经过验证的仪器，以反映本研究中任务的性质[26) (多媒体附件2)．使用此清单的自评显示它是可靠的，不引人注目的，并且对微小差异敏感[23］．此清单已被广泛使用[23，26，27]，包括临床决策的对照研究[28］．在每个条件结束时，在纸上进行清单管理。

任务完成时间以秒为单位，从计算机日志中计算出任务开始和结束时间的差值。

给定任务的错误率定义为失败回忆和解决问题反应的数量，以任务最高得分的百分比计算。参与者被要求通过回忆信息或解决数字答案来正确回答对话代理的每个问题。每个任务都有预先定义的正确答案，以及与正确解决问题和回忆反应相关的数字(多媒体附件1)．例如，如果一项任务的正确答案是“排舞”和“50分钟”，那么最高得分是2分。如果一个参与者错误地回忆了“排舞”，但正确地回答了“50分钟”，那么错误率将计算为50%。为了确保转录错误不会被错误地归咎于参与者，每个回答的语音记录被用来验证用语音识别完成的任务的答案。

可用性评估使用SUS，一份经过验证的10项问卷[25]，从而得出总体可用性分数和子元素(可用性和学习性)的分数。

统计分析

使用重复测量分析来控制个体差异，测试语音识别对认知负荷、任务完成时间、错误率和SUS评分的影响。由于结果非正态分布，故采用Wilcoxon符号秩检验。我们比较了语音识别和键盘鼠标在两个复杂度级别上的差异。科恩准则用于计算和解释效应量(r)，其中0.1表示影响较小，0.3表示影响中等，0.5表示影响较大[29］．我们估计，对于功率为90%的所有任务，需要42个样本量来检测每个结果测量值的25%的差异和20%的标准差P<。05年(30.］．从文献中无法得出基线措施。描述性统计被用来总结人口信息。所有统计分析均采用SPSS v24.0.0.0软件进行(IBM公司，Armonk, NY, USA)。

结果

参与者

52名大学教职员工和学生参与了这项实验。一名参与者没有完成实验，另一名参与者的数据由于技术错误而丢失，总共有50名参与者被纳入分析。参与者年龄18-64岁，30%(15/50)为25-34岁，54%(27/50)为女性。超过一半的参与者(56%，28/50)报告从未在日常生活中使用语音识别，28%(14/50)报告每周使用一次或两次，14%(7/50)报告每周使用多次，4%(2/50)每天使用多次语音识别。

语音识别对认知负荷的影响

在使用语音识别执行指定任务时，参与者经历了明显更高的认知负荷(表1)．这些发现在两种任务复杂性的水平上是一致的，尽管在简单任务中，效应量从中等增加到复杂任务的高。

任务完成时间和错误率

参与者使用语音识别完成任务的时间明显长于使用键盘和鼠标完成复杂任务的时间;然而，在简单任务中没有观察到差异(表2)．对于复杂任务，在中等效应量下，任务完成时间有统计学上的显著增加(r= 0.36);然而，在简单任务上没有差别。

简单任务和复杂任务的错误率没有差异(表2)．对于复杂的任务，我们根据它们的类型检查了错误率，并发现两者在解决问题(Z= -1.96,P=.05)和召回错误率(Z= -1.55,P=点)。

语音识别的可用性和参与者感知

参与者发现语音识别的可用性明显不如键盘和鼠标。这与SUS因子分析是一致的，该分析显示，在中等和较大的效应量下，语音识别被认为明显不太有用，更难学习(表3)．

总体而言，参与者评论说，模拟会话代理使用起来“非常简单”。一些人报告说，无需考虑拼写和语法是语音识别的一个优势。尽管参与者发现语音识别可能是输入自由文本信息的一种更方便的方式，但许多人注意到语音识别的主要缺陷是软件产生的转录错误，一旦说出一个句子，就无法收回和编辑答案，以及在回答中出现不必要的填充性话语，如“嗯”和“呃”。参与者还评论了检查和纠正语音识别输出转录错误所花费的额外时间，而这些错误本来可以通过使用键盘和鼠标来防止。还有一些人提出了隐私问题，因为他们对陌生人偷听他们的回答感到不安。

在评论困难时，一些参与者表示，他们曾努力为场景制定答案，并同时通过语音识别构造句子向对话代理口述。他们还评论说，这个操作消耗了更多的时间来完成任务。相比之下，打字被认为更容易，因为它是“我们每天都在做的事情”。这也允许使用文本框输入来记录答案，而不是在认知记忆中存储信息时“在大脑中保留更多”。语音也被认为是一种新鲜事物，因为许多人熟悉使用键盘和鼠标，并将其视为人机交互的标准模式。

讨论

主要发现

当使用语音识别时，参与者报告说，与使用键盘和鼠标相比，他们在简单和复杂的任务中都有更高的认知负荷。一些参与者报告说他们在说话时无法思考，这与之前的观察结果是一致的。12，13］．一个可能的原因是在处理信息时引入了一个额外的步骤，然后在说话之前必须形成完整的句子。这个额外的处理步骤发生在参与者开始对模拟对话代理的问题做出回应时，可能涉及工作记忆，并导致参与者在使用语音识别时经历更高的认知负荷。

更高的认知负荷也为使用语音识别时完成复杂任务所需的更多时间以及被认为不太有用提供了一个潜在的解释。参与者还注意到语音识别处理响应所需的时间延迟。因此，额外的时间可能是由系统引入的，参与者花在检查语音识别提供的实时转录上的时间。如果这是真的，那么在所有条件下，时间都将持续增加。然而，在完成简单任务时，没有发现明显的时间差异。这可能意味着，这种差异更可能是由任务特征本身引起的。型态和任务复杂性对认知负荷的交互作用有待进一步实验验证。

尽管之前有报道称，语音识别在临床文档任务中的错误率较高[31，我们发现在简单和复杂的任务中，两种模式的错误率没有差异。第二个假设不被支持的一个可能的原因是，大多数参与者在使用语音识别时都会仔细检查他们的答案，从而谨慎地制定他们的回答。对于简单的任务，这意味着查看同一屏幕上的场景部分。对于复杂的任务，参与者反复点击“回顾场景”按钮，直到他们对自己的答案满意为止。

语音识别被认为不如键盘和鼠标好用，因为它更难学习。造成这种影响的一个主要因素是，许多参与者报告说打字更舒服，因为打字是日常的人机交互，尤其是在他们的职业中。此外，56%的参与者在日常生活中没有使用语音识别，这可能意味着他们对语音识别的使用不太熟练。另一个可能的因素是对话代理被故意设计为不允许用户纠正转录错误来限制参与者。这可能是影响会话代理可用性感知的常见挫折来源。然而，错误率没有受到影响，因为我们使用独立的语音记录来确定错误，并且对可用性的影响在总分中得到了体现。

一些参与者报告说，缺乏隐私是语音识别不如键盘和鼠标可用的另一个主要因素。打字的一个主要优点是第三方无法窃听与会话代理的交互。因此，与键盘和鼠标相比，使用带有语音识别的会话代理的信心较小。虽然错误率没有差异，但认知负荷和任务完成时间的增加也可能影响用户体验。

影响

我们的研究结果表明，语音识别可能并不适用于不同的医疗保健环境。一个重要的启示是，系统设计师在选择人类与计算机交互的方式时，应考虑任务特征及其对认知负荷的影响。一般来说，更低的认知负荷、更少的错误、更少的时间和更好的可用性是可取的。语音识别可能更适合于电子健康记录(EHR)中记录笔记等频繁任务，这通常不涉及问题解决和回忆(例如，当医生在咨询患者时已经确定了诊断，并使用EHR记录他们的笔记)。然而，它可能不适合偶尔的任务，如事件报告，这涉及到问题的解决和回忆，要求临床医生回忆事件的顺序，并确定导致事件的问题[32］．对于这样复杂的文档任务，使用语音识别需要更高的认知负荷和更多的时间，以及较低的可用性，这表明键盘和鼠标可能是更好的输入方式。相比之下，语音识别对于需要使用手和眼睛的环境可能是必要的。

对于设计师来说，评估语音识别是否适合作为一种输入方式的一个实际策略是在原型阶段用认知负荷清单测试用户界面，这很容易适用于不同的方式和系统。重要的是，在繁忙的医疗保健环境中使用语音识别时，设计人员需要考虑隐私要求，特别是在处理敏感的健康信息时。我们的研究结果还表明，隐私要求可能会对语音识别在某些情况下的使用构成障碍，例如要求用户记录个人健康信息的健康应用程序。这些考虑将需要在个案基础上加以评估。

与文献比较

据我们所知，之前没有研究测量过语音识别在消费者数字健康任务中的效果。在临床应用中，研究发现，在受控实验室环境中，使用语音识别进行临床文件会增加错误率和任务完成时间[31，33，34］．与我们的结果不一致的一个可能的原因可能是复杂性来源的差异。在之前的研究中，复杂性分布在临床场景和用户与EHR的交互之间，这需要用户导航到记录的不同部分。相比之下，在我们的研究中，不同任务类型的用户交互类型保持不变。相反，这种复杂性来自场景本身，它要求用户解决问题并从记忆中回忆信息。

限制

目前研究的设计有几个局限性。我们关注的是在计算机实验室中使用语音识别作为输入方式，这可能不能代表现实世界的设置，在现实世界中，背景噪声和干扰等环境因素会影响消费者与数字健康技术的交互。在台式计算机上测试了一个通用语音识别引擎，该引擎没有专门针对消费者健康领域进行优化。这可能会影响参与者对使用语音识别的可用性和所需时间的看法。参与者是大学生和工作人员，其中近一半的人表示在日常生活中没有使用语音识别技术。因此，我们的样本可能不能代表可能使用对话代理的健康消费者的一般人群。然而，由于参与者来自一个经常使用键盘和鼠标的队列，我们能够对在会话代理的上下文中学习和使用语音识别的努力进行现实的评估。对于普通语音识别用户，对鲁棒性和准确性的期望可能会影响SUS得分。尽管个体差异(如健康素养、母语、发音、流利程度、语音识别和键盘鼠标使用经验)可能会影响结果变量，但我们试图通过使用受试者内设计来控制这些差异。需要进一步研究以探讨健康和营养知识的影响。 It is also possible that the quality of the speech recognition could have affected task completion time, but the effect would be consistent across experimental conditions. The error rate was unaffected because we used independent voice recordings to determine correct answers; therefore, the risk of the speech recognition mistranscribing speech by recording responses was controlled.

尽管存在这些局限性，但这项研究提供了有关在人机交互中使用语音识别作为输入方式的证据，特别是在消费者数字健康环境中。这些结果提供了使用语音识别时认知负荷的基线测量。当语音识别与消费者数字健康技术集成在现实环境中(包括智能手机和平板电脑等移动设备)时，需要使用更具代表性的会话代理用户群体进行进一步研究，以调查认知负荷对任务表现的影响。

结论

这项研究发现，在涉及解决问题和回忆的复杂任务中，使用键盘和鼠标比语音识别更可取。这可能是由于在使用语音识别时报告了更高的认知负荷，并且参与者使用键盘和鼠标更舒服。我们的研究结果表明，设计师在选择最合适的人机交互输入方式时，需要考虑任务特征。需要使用更广泛的不同复杂性的消费者数字健康任务进行进一步研究，以调查适合使用语音识别的环境。认知负荷对任务绩效的影响及其意义也有待进一步研究。