小说在危重病患者监视应用程序界面设计医学:人为因素评估

简介

病人监护仪(PM)是医院中最常用的医疗设备之一。它被用于在广泛的病人护理环境中监测病人的生命体征。典型的PM接口由两个主要元素组成:波形和被监控参数的数值(图1)．波形元素在折线图中显示每个参数数秒的模拟信号。另一方面，数值元素以数字格式表示每个参数的计算值，这些值每隔几秒或毫秒就会根据参数不断更新。然而，并非所有监控参数都以波形和数字形式显示。例如，没有连续测量无创血压(NIBP);因此，只显示数值，每次根据临床要求测量生命体征时，读数都会更新。

‎ 查看此图

pm的使用环境包括临床护理人员为患者提供重症监护的任何临床环境。这些环境包括重症监护室(ICU)、急诊科、手术室(OR)、心脏科以及运送病人期间。在这些使用情况下，定期评估生命体征对于尽早识别有严重不良事件风险的患者至关重要。例如，在麻醉过程中，麻醉师需要能够快速识别生命体征的变化，而在ICU中，如果任何生命体征出现异常，护士需要立即得到警告。在这两种情况下，在提供适当护理或作出临床决定方面的任何延误都可能给患者造成严重后果。

在这种使用情况下，项目管理的主要使用者(护士和医生)在时间、认知工作量和压力方面处于极端压力下是很常见的[1，2]。可能需要在短时间内根据PM提供的信息做出与患者护理相关的正确决策。与此同时，在这些环境中普遍存在与工作有关的疲劳，这可能会增加与PM交互时使用错误的风险[3.]。因此，新的pm需要在可用性和人为因素方面达到最高标准，从而促进增强的用户交互并防止与使用错误相关的潜在风险。在医疗设备设计中，良好的可用性对于避免与使用错误相关的潜在风险至关重要，IEC 62366-1/2、ANSI/AAMI HE75和ISO 9241-210等标准文件的发布证明了这一点[4-6]。HE75经常提到可用性工程在pm设计中的重要性。可用性在ISO 9241-210(第2.13节)中被定义为“在特定的使用环境下，系统、产品或服务能够被特定的用户有效、高效和满意地用于实现特定目标的程度”[6]。人的因素研究(第2.5节)被定义为“研究人与系统其他要素之间相互作用的科学学科，以及应用理论、原则、数据和方法进行设计以优化人类福祉和系统整体性能的专业”[6]。

鉴于危重病护理环境中针对所显示的生命体征做出的决策的重要性，pm必须以用户友好的方式显示所需的信息，以使临床医生能够充分了解患者的状态。这种水平的理解将在本工作中被称为情景意识(SA)。根据Endsley [7]，“情境意识是在一定的时间和空间内对环境要素的感知，理解它们的意义，并预测它们在不久的将来的状态。”SA的概念适用于各个领域的许多关键任务(如航空、核电站、军事战斗系统等)。在重症监护医学中使用pm的情况下，SA级别1(感知)与使用者感知生命体征变化的能力相关;SA level 2(理解)与使用者根据生命体征了解患者状态的能力有关;SA level 3(投影)与用户基于当前状态预测患者未来状态的能力相关。SA工艺流程如图所示图2。

‎ 查看此图

通过满足与可用性和SA相关的用户需求，设计人员可以显著增加新项目管理被最终用户采用的机会。然而，在采用新技术方面存在一些天然障碍，需要加以考虑。例如，对传统监测工具的熟悉和对新型PM的不确定性是导致临床医生不愿采用新方法的原因。因此,对于一个新的点,最终用户需要识别点可以提供相当大的好处,结合低负担的采用(8]。特别是在重症监护医学和PM设计中，临床医生对设计的改变有很高的抵抗力。这种不情愿是基于他们担心改变PM设计方面的现状会导致临床错误风险的增加[8]。这种力量的平衡，涉及采用一个新的项目管理，在说明图3，改编自Maurya(2017)提出的概念顾客如何购物的科学［9]。

‎ 查看此图

本文的具体目的是回顾研究人员提出的PM设计创新，并探讨临床医生如何以可用性和SA为重点对这些新设计做出反应。本综述的最终目标是回顾新型PM设备的设计，旨在为护士和医生提供更好的可用性和SA，从而降低使用错误导致患者风险的可能性[10]。

方法

文章选择

文献检索包括截至2019年6月的数据，开始日期没有截止日期。搜索词的选择反映了审查的重点。文章的选择分两个阶段进行:最初的搜索基于系统评价和元分析(PRISMA)指南的首选报告项目，然后搜索之前确定的每篇论文中的参考文献。使用PRISMA指南来确定相关研究。在7个相关数据库(Scopus, IEEE Xplore, PubMed, Science Direct, CINAHL, Cochrane Library和Engineering Village)中使用的搜索词进行搜索文本框1。文章在标题、摘要和多学科团队成员对全文进行分析后被进一步排除。本文采用叙述综合的方法对论文进行了分析。

纳入和排除标准

这篇综述的重点是来自研究实验室的原型设备的设计和可用性，这些原型设备旨在克服商业pm所识别的问题。在这方面，本综述的纳入和排除标准如下:

• 在同行评审的学术资源中以英文发表的研究。
• 研究包括用户测试，比较参与者在使用新型原型显示器和传统监测设备时的性能和用户体验。仅描述原型设计的研究未包括在综述中。
• 参与实验的受试者必须是设备的预期用户(如ICU护士或麻醉师)。参与者不是预期用户(如本科生)的研究不包括在本综述中。
• 原型显示器和用作控制的设备必须设计为实时生理监测。因此，专门为趋势和医疗记录分析设计的新原型不包括在内。
• 原型显示器必须是为危重症护理使用而设计的可视显示器。新颖的可穿戴原型，如触觉、头戴式和智能手表显示器不包括在内，因为这类PM需要单独的文献综述，重点关注可穿戴PM。此外，研究的重点是测试一种增强的算法，没有对用户界面进行有意义的增强。

所综述的研究摘要载于多媒体附件1。采用完善的Cochrane协作随机对照试验和交叉试验工具对所选研究的偏倚风险进行评估[11]。质量评估结果载于多媒体附件2。

结果

表1提供文章搜索的细目。最初的数据库搜索(包括标题、摘要和关键词)产生了136篇文章。在删除重复项并按标题、摘要和全文审查进行过滤后，从PRISMA搜索中包含了10个条目，在参考文献搜索中确定了5个额外的条目。因此，纳入审查的出版物的最后数目是16份。这些出版物的摘要载于多媒体附件1。

图形和集成显示器

图形显示(GDs)的设计目的是将来自PM的离散生命体征整合到一个或多个多维对象中，以促进临床医生更好地同化患者的当前状态[12]。这一概念旨在利用人类天然的感知能力来检测形状和颜色的变化，并将这种能力作为有效和高效传达相关信息的手段。GDs和生态显示(EDs)已被研究用于复杂、高风险和数据丰富的环境，如商业航空控制和发电厂管理[13，14在调查它们在医疗保健中的用途之前。

古鲁尚泰雅等[15]进行了最早的研究之一，分析了GDs对患者监测表现的影响。他们没有开发出一种新的界面来加强患者监测;相反，作者测试了商用麻醉机Ohmeda Modulus CD上的3种不同的显示器。该研究的目的是调查哪种显示格式可以让麻醉医生在响应时间和准确性方面表现更好。测试的显示是数字、直方图和多边形显示。在每种情况下，显示监测变量，如心率(HR)，动脉血压(Art)， NIBP，血氧饱和度(SpO)₂)，过期(潮末)二氧化碳分压(CO₂)和吸入氧的百分比(O₂)．

数字显示(图4)被认为是一种传统的显示，因为每个变量都是使用单一变量-单一指示器方法以数字形式表示的，就像在传统PM中使用的那样。这种数字显示与传统PM之间的主要区别是变量的排列，波形的存在，以及缺乏颜色编码。因此，用户只能依靠数字和标签来吸收信息。直方图显示也显示数值显示变量的数值;但是，它也图形地以a的形式表示变量筒子随着变量值的变化，在线性尺度上上下滑动(图5)．

直方图显示以线性缩放的形式描绘了7个变量磁带，其中筒子在垂直尺度上表示每个变量的值。的筒子随着变量值的变化，在线性尺度上按比例上下移动。每个变量的数值也显示在线性标度的正下方(图5)．此外，每个变量的正常范围由图内的深色区域表示。多边形显示集成了7个变量中的6个(不包括O₂)， 6个变量各组成一个六边形图形的顶点，比直方图占用的空间少。在六边形的每个顶点上，有一个条表示参数达到的最大值和最小值。当变量改变值时，顶点沿着这条线移动。虚线表示理想的变量的值;如果变量超过或小于此值，则顶点移动到一个位置，其结果形状为扭曲的六边形(图6)．

‎ 查看此图

‎ 查看此图

‎ 查看此图

因此，显示中的灰色元素的形状指示了患者的当前状态，并且界面的用户将能够基于灰色六边形形状与虚线六边形的偏差量来感知患者的状态。

共有13名麻醉住院医生接受了使用显示器的培训，并被要求测试3种不同的模拟数据可视化格式。参与者被要求指出他们何时注意到变量的变化，以及变化是变量值的增加还是减少。观察到，麻醉患者使用图形显示(直方图和多边形)与数字格式相比，反应时间和准确性显著提高。尽管对每个参与者的显示顺序是随机的，但随机化方法并不详细。这使得很难判断结果是否受到了遗留效应的影响。

这些积极的结果支持麻醉师使用GDs。然而，在几年内，多边形显示选项被从下一代Ohmeda Modulus CD麻醉机中移除，因为只有极少数客户使用它。这一发现促使研究人员质疑临床医生不愿采用这种新方法的原因。根据德鲁斯和韦斯顿斯科[12]，新显示器在克服用户惯性方面的困难，可能是导致多边形显示器失败的原因。这种惰性是在危重病护理中采用新技术的天然障碍，在危重病护理中，生命受到威胁，用户更愿意使用经过试验和测试的界面。另一个因素可能与数据可视化困难有关。当患者状态正常时，为了创建一个规则形状的多边形，每个监测变量的辐条必须按等长缩放。在这种比例下，一个变量的显著变化可能比另一个变量的显著变化更难以察觉，从而造成麻醉师错过关键事件并将患者置于危险之中的风险[12]。这个明显的可用性问题突出了与有经验的终端用户进行用户测试的重要性，他们更有可能在设备投放市场之前发现这类问题。

米歇尔等人[16]评估了一种定制设计的用于麻醉监测的集成GD (IGD)。IGD(描述于图7)不仅整合了来自同一设备的相关变量，还以图形方式整合了来自不同设备的数据，如PM，机械呼吸机和输液泵。

在第一次曝光时，这种显示可能会让用户感到不知所措，因为显示上呈现了大量的变量。为了让用户更有效地解释显示，Michel等人[16根据气体和药物在体内的流动，从左到右排列显示元素。这一策略背后的想法是为临床医生提供直观的可视化，将显示元素映射到相关的人体系统。与呼吸系统相关的变量，如吸气潮气量和呼气潮气量、气道峰值压、呼气末正压(PEEP)和呼吸频率显示在左侧，其次是心血管、药物输送和液体管理变量显示在右侧(图8而且9分别)。另外，对相关变量进行颜色编码，如图9。

中所描述的显示图7而且8举例说明一个健康的病人。然而，某些变量的水平可能会降低或增加，并超过阈值(垂直或水平)。麻醉医师能够根据变量的实际水平与阈值线的距离来检测参数的变化和异常。由Michel等人绘制的展示图[16中所示图10。

‎ 查看此图

‎ 查看此图

‎ 查看此图

‎ 查看此图

10名麻醉师被要求在4种不同的情况下监测一个模拟病人(失血、自发通气的瘫痪不充分、袖带泄漏和钠石灰耗尽)。五名麻醉师被要求使用由Michel等人[16]， 5名麻醉师使用麻醉模拟器(Body Simulation, Advanced Simulation Corporation)模拟传统的PM。测试的结果取决于所使用的场景。例如，当参与者使用IGD时，只有在2个场景(瘫痪不充分和袖带泄漏)的检测时间显著缩短，只有在3个场景(失血、瘫痪不充分和袖带泄漏)的准确事件识别发生得显著更快。

这项研究表明igd有可能提高麻醉师的反应时间。在这项研究中，IGD在一个屏幕上显示了麻醉师所需的所有信息，这使得它比现实条件下的传统pm有明显的优势，在现实条件下，麻醉医生需要从多个来源获取信息。例如，麻醉师可能不得不要求护士读取采血瓶的数量并测量尿量。

在本研究中，实验设计可能有利于IGD，因为在实验中使用模拟器的参与者必须在单个监视器上切换4个屏幕以获得全面的临床信息，从而影响他们使用模拟器的响应时间。这并不能反映麻醉师会遇到的真实情况，在现实世界中，所有信息都可以同时在单独的显示器上显示。

另一个可能影响实验的因素是，两组参与者在实验开始前都接受了大约15分钟的相关显示器的简短介绍培训。尽管在介绍后所有问题都得到了回答，但简短的培训可能不足以使临床医生适应全新的显示器。特别是考虑到参与者之前从未见过IGD或使用过身体模拟系统。

等人[17开发并评估了心血管GD，旨在支持麻醉医师快速正确地执行诊断任务。在开发显示器之前，作者采访了心脏麻醉师，以生成专家如何诊断心脏休克并确定其原因的决策模型。设计人员随后开发了中所示的GD图11基于所创建的决策模型。

‎ 查看此图

等人[17他们试图通过有意义的方式排列屏幕上的元素来提高他们的新界面的可用性。GD由2个图形对象组成，如图11。Blike等人提出的新概念[17就是使用米(标尺图标)。在这个概念中，系统血管阻力(SVR)、CVP、舒张期肺动脉压(PAD)等变量以米的形式表示，箭头表示这些变量的值，箭头位置在12点钟，代表正常值。等人[17]将这种GD的性能与只显示血压(BP)、心率(HR)、CVP、PAD和心排血量(CO)数值的字母数字显示器进行了比较。

使用受试者间设计，11名麻醉师被提供了10个场景(5个没有心脏休克，5个有心脏休克)。与字母-数字控制显示相比，参与者在使用GD时犯的诊断错误更少。使用GD时，对患者病情的识别也更快完成。然而，作者报告说，所有参与者首先使用控制显示，然后使用GD。这表明存在很高的结转效应的风险，这可能导致了偏倚的结果。

有趣的是，作者报告说，在短暂的初次接触GD后，大多数参与者对显示表示困惑，“发现它太复杂了”[17]。考虑到Blike等人[17]为显示器带来了新的概念，例如仪表和图形对象，因此，这种创新的显示器自然会让用户第一次接触时感到某种程度的不适。根据这项研究，GD的使用导致了性能指标的改善，如果延长对该界面的接触时间，是否足以克服所报告的负面最初印象，这将是很有趣的。

在后续研究中，Zhang等[18]比较Blike等人开发的GD [17]配有商业PM显示器。该研究旨在调查Blike等人是否使用GD [17]可以提高临床医生的准确性和反应时间，是否也可以提高临床医生在实际实践中发生的动态情况类型中的SA。张等[18]为实验设计了4种场景:低血容量、心律失常、缺血和支气管痉挛。总体而言，Blike等人要求12名麻醉师(住院医师和教职员工)使用该显示器[17]作为实验显示器，商用PM (Datex as /3麻醉监视器)作为对照显示器。在培训阶段，参与者被介绍到新的GD。SA级别1(与患者当前状态的感知有关)和SA级别2(对患者当前状态的理解)通过常规暂停模拟并向参与者提供关于显示器上显示的变量状态的问卷来测量。答对数越多，SA水平越高。

结果显示，麻醉医师提高了对支气管痉挛场景的检测时间，但在对照和实验显示之间没有发现显著的场景识别时间差异。对照组在心律失常、低血容量、支气管痉挛时SA水平较高。在低血容量情况下，GD的2级SA更高。目前尚不清楚测试的显示顺序是否是随机的;因此，无法确认结果是否受到结转效应的影响。在同一篇文章中，Zhang等人[18]介绍了涉及3D IGD的第二个实验的结果。然而，研究中提供的信息不够充分，无法充分了解3D GD的操作，并且测试界面的参与者不是麻醉师;因此，本文未对其进行讨论。

阿古特等[19开发了一种用于心脏病监测的显示器。GD具有3D管道的格式，用于比喻血管，如中所示数字12而且13。类似于Michel等人的IGD [16]，这个GD还以隐喻的方式安排变量，以图解方式模拟流经循环系统的生理血液流动。例如，中心静脉压(CVP)是缺氧血液流向腔静脉时显示的第一个因素。这些血液通过肺动脉流到肺。因此，肺动脉压力显示在序列的下一个。氧合后，血液流向心脏左侧，然后被泵入主动脉。因此，左心房压(LAP)和平均动脉血压(MAP)是序列中的要素。显示器监测的其他变量包括肺血管阻力(PVR)、HR、stroke volume (SV)、CO、SVR和动脉血氧饱和度(SaO)₂)．

‎ 查看此图

‎ 查看此图

每个变量的数值都直接显示在它们各自的段下面，每个段的高度与其值直接相关。氧合水平(SaO₂通过肺部后由脱氧(蓝色)变为含氧(红色)的颜色变化来表示。

共有20名麻醉师被邀请参加测试，并被要求在高保真模拟中照顾一个模拟病人(一个连接到监视器的仪器人体模型)。其中，10名参与者使用GD作为实验显示器，10名参与者使用数字显示器，显示GD上出现的相同变量的实时值作为控制显示器。此外，两组都使用了商业PM (Datex AS/3监视器)在其完整的操作模式。为实验开发了两种场景:(1)全髋关节置换术，对不匹配的血液进行输血反应;(2)根治性前列腺切除术，失血1.5升，心肌缺血。结果表明，在第二种情况下，使用GD的参与者可以比使用对照显示器的参与者更快地检测和治疗缺血。还观察到，对于每个场景，使用GD的参与者用CVP和SaO完成了场景₂值比使用控件显示的参与者更接近基线值。在第一种情况下，参与者并没有像预期的那样更快地检测到过敏反应，作者观察到SVR和PVR的变化可能有助于做出这种诊断。然而，参与者没有注意到这些显示元素的变化。这导致了对这些元素的重新设计，以提高它们的突出性(如图14)．值得称赞的是，在这项研究中，作者努力创造了一个尽可能接近真实世界条件的使用环境和上下文，这与本研究中回顾的其他一些研究形成了鲜明对比。这导致显示的重要问题被发现，允许设计师解决导致使用错误的界面缺陷。

由于GD设计用于与商业PM一起使用，作为手术室的附加屏幕，因此调查这个新的信息源是否会影响临床医生的工作量和精神需求非常重要。参与者被要求回答NASA任务负荷指数(NASA- tlx)问卷，该问卷用于评估自我感知的工作量。尽管参与者在实验前只对GD进行了简短的介绍(大约15分钟)，但作者没有报告GD和对照显示器之间的工作量评级有显著差异。这表明，新型显示器成功地传达了信息，而没有对临床医生施加额外的身体或精神要求。

作为后续研究，Albert等人[20.]，评估了Agutter等人开发的显示器[19]。这个实验的基本原理是，尽管Agutter等人在实验中得到了积极的结果[19]，关于诊断和治疗心肌缺血的时间，Albert等[20.]在Agutter等人的实验中发现了一些局限性[19]:(1) IGD仅在两种场景下进行评估，(2)记录参与者行为的调查人员对IGD的存在或不存在并不盲目，以及(3)Agutter等人的显示[19]要求使用肺动脉导管(PAC)来获得CVP、肺毛细血管楔压、心脏指数和SVR值，而对大多数麻醉师来说，这并不是常规监测的一部分。这项新研究的目的是解决这些限制，并扩大显示的适用性，以两种格式呈现:有pac衍生数据和没有pac衍生数据。没有pac衍生数据的IGD表示如图14。

‎ 查看此图

共有16名麻醉医师和麻醉住院医师参与了新的评估，干预组有8名参与者(使用商业PM和GD)，对照组有8名参与者(使用商业PM和GD的数值)。为实验开发了6个场景:3个没有pac衍生数据(镇痛不足导致的高血压、心肌缺血和出血性低血容量)，3个有pac衍生数据(左心室衰竭、感染性休克、急性呼吸窘迫综合征和心肌缺血)。两位专家被邀请对参与者在准确性、及时性和质量方面的表现进行评分，从最佳(排名1)到最差(排名16)。与2003年Agutter等人的实验不同[19]，在这种情况下，专家对参与者使用的显示器是盲目的，这降低了检测偏差的风险。

Wachter等[21]开发了一种GD，用于显示插管和机械通气患者的呼吸参数。肺GD通过肺的解剖形态显示参数(图15)．一共有19名麻醉师，被分为对照组和干预组，他们被要求在模拟手术室的手术过程中照顾一个模拟病人。模拟由常规监测设备(传统PM)、麻醉机和装有气道管理设备的推车组成。两组都可以使用标准显示器，但干预组也可以使用17英寸显示器上的肺GD。

‎ 查看此图

两位麻醉专家评估了参与者的表现。研究发现，与使用常规监测装置相比，使用肺部GD时，参与者检测和治疗5种情况中的2种(气管插管阻塞和内源性PEEP)的速度明显更快，报告的主观工作量更低。此外，当使用GD时，参与者在本征PEEP场景下的准确性显著更高。然而，在2种情况下(支气管插管和低通气)，使用肺GD的参与者的错误诊断数量更高(不显着)。

在轻度疼痛、心肌梗死和左心室衰竭的情况下，使用GD的参与者比对照组的参与者表现更高。此外，使用GD的参与者比未使用GD的参与者更快地检测和治疗心肌缺血。同样，GD对NASA-TLX测量的自我评估工作量没有统计学上的显著影响。

塔潘等人[22]探索了一个假设，即在现有的传统PM中简单地添加一个图形视觉线索(而不是完全重新设计)就足以提高临床医生对患者变量变化的检测能力和响应时间。测试的显示几乎与传统PM相同，唯一的区别是在波形和数值之间合并了一个三角形(图16)．三角形的大小将根据每个变量的变化概率(增加或减少)而变化。当变量变化的概率低于25%时，不显示三角形。如果高于25%，则显示三角形以吸引观察者的注意。如果变化的概率超过25%，三角形就成比例地变大。除了三角形，还显示了三角形的最大可能大小的轮廓作为参考。该显示器与模拟PM在检测时间和遗漏事件数量方面进行了比较。

‎ 查看此图

共有22名参与者(麻醉医师和麻醉住院医师)被要求使用增强显示器和控制显示器(由相同的显示器组成，但没有图形视觉提示)来识别监测变量何时发生变化。与传统PM相比，使用带有图形视觉线索的PM的检测时间平均缩短了14.4秒(SD 12)。当使用图形视觉提示的项目管理时，错过事件的比例为11.2%，而使用传统项目管理时，错过事件的比例为18.8%。应用了可用性调查问卷，但在两种显示器之间的满意度方面没有发现显著差异。这些结果表明，要提高PM用户的性能，完全重新设计商业PM并不总是必要的。然而，重要的是要记住，显示的有用性取决于计算变量变化的算法的准确性。如果算法不准确或PM用户认为不准确，则PM中的这种更改可能会产生挫败感，从而对患者护理产生负面影响。

到目前为止，本综述中描述的GDs旨在支持手术室麻醉医师的需求，并考虑到他们的决策过程[17，18]或生命体征的生物图谱[16，19，20.]。然而，在设计新的PM时必须考虑到的PM的另一个重要用户是护士由警惕的护士进行临床监测是重症患者护理的基础［23]。

Görges等[24，25]描述了2个集成显示器，它们将数值、趋势、生命体征报警状态、输液泵信息和治疗支持指标组合在一个屏幕上。该显示器旨在帮助ICU护士和医生在3至5米的距离内快速选择首先治疗的患者。因此，这些显示器被称为远视显示器。

在显示器的左侧，显示的注射器图像表明患者目前正在接受哪种药物，以及药物完全交付完成所需的时间图17。显示在图18被称为远视条显示。在显示器的中间和右侧，使用趋势监测5个变量:HR, MAP, CO, SpO₂，通气分钟容积(MV)。每个图都由12小时趋势图和描述监测变量当前值的数字元素组成，该趋势图突出显示变量的目标区域。显示中的趋势元素显示在图19［24，25]。

‎ 查看此图

‎ 查看此图

‎ 查看此图

显示在图20被称为远景时钟显示器。它以一个看起来像时钟的圆圈的形式显示与条形显示相同的数据，在这个圆圈中，新的变量值在12小时后覆盖旧的变量值。中详细解释了此显示器中的时钟元件图21。吸入氧(FIO₂)和MV用12个圆(每小时1个)代替趋势在圆内表示，以当前值为SpO的背景₂和MV。

在两项研究中(2011年和2012年)[24，25，参与者被要求同时照顾两名患者，并根据显示器上提供的信息决定哪一位患者首先需要照顾。在干预条件下，参与者使用集成显示器，在控制条件下，参与者使用一个商业PM(德尔格Kappa XLT PM)和4个商业输液泵。在第一个实验中，涉及16名ICU护士，发现使用2种新型显示器时，决策时间更短，准确性更高。NASA-TLX调查问卷的结果表明，在自我感知挫折方面，两种远景显示器在统计上都比对照PM表现得更好。有趣的是，超过一半的参与者(n=9)更喜欢传统的显示器。不幸的是，这些参与者并没有被问及为什么他们更喜欢传统的显示器。所有护士都喜欢的一个特别的功能是增加了注射器功能。

在第二个实验中，15名ICU医生执行同样的任务。当使用这两种新型显示器时，医生做出了更适当的决定，并在决定哪个患者首先需要关注方面花费了更少的时间。使用3种显示器时，临床医生的工作量没有发现统计学上的显著差异。在偏好方面，1名医生更喜欢控制显示器，10名医生更喜欢条形显示器，4名医生更喜欢时钟显示器。再一次，参与者没有被问及他们偏好背后的原因，这使得人们很难理解为什么护士和医生的偏好不同。

科赫等[26]对ICU护士的工作任务进行了深入的调查，旨在为综合绩效管理体系的设计提供建议，从而提高护士的SA。在本研究中，19名ICU护士在3个临床实践环境中进行了38小时的观察。该团队写了大量的现场记录，并将其分为46个不同的任务。然后将这些任务分为沟通、药物管理、患者意识、组织和直接患者护理等类别。

‎ 查看此图

‎ 查看此图

科赫等[26]发现床边的基本信息被认为是缺失的，即使信息存在，它也没有在任务级别上被整合。使用Endsley提出的概念[7]，科赫等[26]将这种缺乏整合所带来的挑战归类为感知、理解和投射挑战。基于已确定的信息缺口，Koch等[26]为经常执行的任务提供了增强SA的建议。这些建议包括:(1)建立从任何位置共享信息的方法，(2)在患者房间内的一个集成显示器上显示所有必要的信息，以及(3)使相关信息从门口可见和可读。

作为这项调查的后续，Koch等人[27开发了一种新型集成显示器的纸上原型。与Görges等人的显示相反[24，25]，科赫等人的展示[27与传统的PM相比，它在显示的外观和感觉上并没有明显的变化。波形和数值显示在传统的PM中，但一些来自更广泛的医疗设备的元素被添加到屏幕上。例如，呼吸机设置、流体平衡和温度数据也包括在生命体征下方的数值中，并且计划和当前的药物显示在显示器的右侧。用药窗口显示在图22。

‎ 查看此图

在Koch等人的研究中[26]，已经确定护士执行的大多数任务与药物管理、患者意识或团队沟通有关。因此，开发了护士与信息系统交互的3个常见场景，以涵盖这3个方面。来自烧伤创伤ICU的12名护士被要求使用2个基于纸的原型(显示的顺序是随机分配的):(1)新的实验集成显示器(图23)和(2)分别从每个设备的屏幕(不集成)。研究发现，当使用集成显示器时，SA(由测试过程中参与者回答问题的准确性表示)更高，任务完成时间更短。

‎ 查看此图

这项研究表明，集成来自多个设备的数据并不总是需要对传统PM的外观和感觉进行根本性的改变。在迄今为止回顾的许多研究中，我们已经看到，由于已经讨论过的原因，完全的PM接口重新设计可能导致临床医生的抵抗。尽管如此，还需要使用高保真原型进行额外的实验，以确保新设计是有用的，并将被重症监护室的用户采用。

德鲁斯和多伊格[28]开发了一种GD，以支持ICU护士快速检测和识别患者的生理恶化。该显示器的开发重点是ICU护士的需求，并解决之前研究中发现的商业pm的改进领域[29，30.]。该界面采用迭代设计过程开发，3名经验丰富的ICU护士在每次迭代后评估显示。如图24， GD监控HR, SpO₂英国石油公司。它由3个主要部分组成:趋势数据、数值数据和图形对象。

对于每个变量，趋势在折线图上显示了前8小时的值。线形图包含一个灰色区域，表示值的正常范围。数值数据与变量的当前值相对应。当前状态对象(CSO)，在图25， HR (x轴)和BP (y轴)的组合。白色矩形表示最近一小时内血压和心率的变化率，方框的上边界表示收缩压最大值，下边界表示舒张压最小值，最左边边界表示心率最低值，最右边边界表示心率最高值。灰色矩形表示正常的或可定制的阈值，白色矩形内部(或外部)的彩色元素表示当前患者的生命体征测量值。颜色反映了SpO₂级别，可能是红色(93%-100%)，橙色(91%-92%)，粉红色(89%-90%)，紫色(87%-88%)或蓝色(87%)。

‎ 查看此图

‎ 查看此图

在响应时间和数据解释的准确性方面，GD与PM(对照)的简化版本进行了比较。PM的简化版本只包含一个数字显示，如图24，没有趋势或CSO。在这两种情况下(干预和控制)，生命体征也显示在台式电脑上，同时显示在测试中。本实验开发了四种场景:早期败血症、感染性休克、肺栓塞和稳定场景。根据提供的显示和上下文信息，42名ICU护士(21名使用新型显示，21名使用对照显示)被要求评估和解释数据，并尽可能快速和准确地推荐适当的干预措施。

总体而言，使用GD的参与者比使用简化的传统显示的参与者快30%，在感染性休克、肺栓塞和稳定生命体征的情况下具有统计学上的显著差异。在准确性方面，参与者正确识别了患者的病情，在感染性休克和肺栓塞情况下具有统计学差异。测试后分发的NASA-TLX问卷显示，心理需求有统计学意义上的差异，使用GD的护士报告的心理需求较低。

本实验的目的是测量护士在使用单传感器单指标显示器时的表现，并与图形或物体显示器进行比较。从这个意义上讲，可以理解控制显示器上波形的存在不是必要的。然而，由于这种新型显示器是为了取代传统的PM显示器而设计的，因此在最终用户的日常使用中，控制显示器不采用完整的PM界面是不寻常的。这种所谓的控制显示的主题并不能真正代表用户在日常工作中使用的显示，在这篇综述中提出的一些研究中反复出现。

用于病人监测的生态显示器

一些作者使用了一种叫做生态界面设计(EID)的界面开发框架。EDs试图通过以一种有意义的方式呈现数据，描述数据元素之间的关系，并使被监控系统的约束对操作员可见来最小化用户的认知负荷[31，32]。约束条件是指与任务和目标相关的信息(例如，患者的血压距离最佳值有多远?患者的血流动力学参数是否如预期变化?)在大多数情况下，急诊科是急诊科，因为急诊科通常也使用形状和颜色来促进临床医生更好地了解患者当前状态，但急诊科并不总是被归类为急诊科。

埃夫肯等[32]开发了2个用于血流动力学数据可视化的EDs，即集成球囊显示(IBD)和病因潜在显示(EPD)。将两种EDs与传统的条形图显示器(TSD)进行比较，TSD使用单传感器-单指标模型显示数据，作者认为传统的显示器(图26)．TSD显示动脉压、静脉压和心房压的趋势;有限公司;和SVR。3个显示中用于变量的术语与重症监护中使用的术语略有不同。例如,SVR由电阻而且有限公司由心室。使用更通用的生理标签而不是传统标签的理由是，作者想要调查没有临床经验的学生和有经验的参与者展示的效用。

‎ 查看此图

IBD (图27)以气球的形式表示每个系统，气球根据变量的值展开或收缩。气球周围的彩色区域代表不同的状态:良好(绿色)、警告(白色)和危险(红色)。IBD还在底部包含一个条形图元素，以指示患者的整体状态。在环保署(图28)，纵轴为心脏强度，横轴为阻力。流体变化显示为一个缩小或扩大的正方形。每个条(轴)的中心交叉点表示每个条的最佳值。图28中显示患者数据正常的状态(左上图像)和低心脏强度状态(右下图像)，其中压力和流量的值已远离目标状态，使4面物体变形，并使其远离阻力和心脏强度轴的中心交叉点。

对6名资深护士和6名实习护士进行了实验。参与者被要求根据监控器上显示的数据进行临床评估，使用模拟药物治疗模拟患者，以尽快将患者的生命体征恢复到正常范围。我们观察到，与TSD相比，两组护士在使用ED时开始治疗的速度更快，使用的药物更少，并且能够将生命体征维持在目标范围内的时间更长。此外，使用EDs的学生护士能够与使用传统显示器的有经验护士的表现相匹配。

‎ 查看此图

‎ 查看此图

Effken等人提出的新概念[32]是相当创新的，该研究证明了提高护士在重症监护中的表现的潜力。然而，实验设计存在一些问题，可能会导致结果偏倚。例如，考虑到TSD不像典型的PM，如中所示图1，目前还不清楚TSD是否是有效的控制显示。此外，有经验的临床医生在术语变化方面得到了指导，以便他们能够将新术语与临床实践中实际使用的术语联系起来;然而，目前还不清楚这些心理模式的变化对有经验的临床医生有什么影响。这可能有助于解释为什么使用急诊科的学生护士能够与更有经验的临床医生的表现相匹配。

Jungk等[33]开发了轮廓图显示器和ED显示器，并将这两种新型显示器与趋势显示器进行了比较。趋势显示与传统PM的主界面类似，采用单传感器单指标的方式呈现数据。可以配置大多数商业PM以使用趋势格式显示数据，但据报道，PM的这一功能在重症监护中很少使用[30.]。趋势显示用于监测HR、收缩压(APsys)、LAP和血容量(BV)。由于数据仅使用趋势格式显示，为了知道每个变量的当前值，用户必须借助趋势显示刻度直观地插入这些值。各变量的时间轴范围为0 ~ 10 min (图29)．

‎ 查看此图

作为实验的一部分，在3个显示器的底部，研究人员添加了一个控制面板，用于操作4个功能参数:心率、血管舒缩张力、收缩力和循环BV。基于智能报警的原理，研制了轮廓显示系统。该系统结合了医生做出决策所需的相关数据(例如，每个监测变量、生理背景知识和患者特定知识)。该系统使用模糊逻辑生成颜色编码的轮廓图(图30) [34]。每个剖面图都显示了一个变量在其相关变量(HR, APsys, LAP, BV和CO)的正或负范围内的偏差量。变量的正常值在每个剖面图中间用一条线表示。酒吧这条线的左侧显示一个状态变量过低绿线右边的条形表示状态变量变成太高了。偏差的大小由条的长度和颜色表示(绿色表示正常值，黄色表示小偏差，红色表示过大偏差)，目的是支持对患者状态的快速感知。

第三个显示评价Jungk et al (33]是一种简化的血液动力学监测ED，整合了必要的决策组件(图31)．根据LAP、APsys、HR在心脏中的物理位置，与心脏的工作原理图相对应，显示在显示器的中央。其中一些变量是使用图形对象概念来显示的，图形对象概念通常由gd使用[15-18]。

‎ 查看此图

‎ 查看此图

共有20名麻醉师，之前没有ED或剖面图显示的经验，分别在3个显示器上执行规定的任务。他们被要求观察屏幕上显示的数据，并通过调节位于界面底部的滑块将生命体征保持在所需的范围内。滑块与血管舒缩张力、收缩力、HR和容积相对应。

我们观察到，使用生态界面的参与者比使用其他两种显示器的参与者更经常地在可接受的范围内完成任务。然而，参与者在完成任务的时间、滑块交互的数量以及查找相关信息的时间方面的表现发现，使用趋势显示比使用ED或轮廓图显示要快得多。在这些结果的基础上，作者得出结论，参与者在趋势显示方面表现更好。Jungk等[33]假设三种显示器的性能差异归因于麻醉师多年的趋势显示经验，并建议未来的ED设计不应与传统PM显示器有太大差异。

一年后，Jungk等人[35]开发了一个ED，提出了35个监测变量，旨在支持麻醉医生在麻醉监测。如此大量的监测变量的原因是这个ED (图32)整合来自不同设备的数据，如PM、机械呼吸机和输液泵。这种显示广泛使用图形对象，如在图33。

‎ 查看此图

‎ 查看此图

显示器由7个部分组成，其中相关变量被分组，中间有一个星星，代表对呼吸力学、呼吸量、氧气供应和心血管系统的评估。在参数星座评价的基础上，利用模糊集和模糊规则对星进行颜色编码。Jungk等[35]旨在评估麻醉师的表现是否会随着ED的增加而提高。评估的基础是试验时间、成功试验的数量和一些战略行为参数(感兴趣的区域、相关指标和自言自语协议)。其中，要求16名麻醉师在干预条件(ED与模拟气体监测仪和模拟商业PM结合)和控制条件(仅模拟气体监测仪和模拟商业PM)下对模拟患者进行麻醉。

研究发现，使用ED的参与者比对照组表现更差。例如，对照组中所有参与者都正确识别了失血场景，而干预组中有3人未能识别。眼球追踪分析显示，在干预组中，几乎有一半的时间，急诊科被用作主要的信息来源，并且在识别不断发展的严重事件时经常受到青睐。与会者还注意到，急诊科中的一些内容，如温度和流体管理，对与会者不太感兴趣。有趣的是，当ED可用时，8名参与者没有使用传统的PM。

利用从第一个实验中获得的知识，以及随后与麻醉师的几次访谈，Jungk等人[35]重新设计了ED以提高其可用性(图34)．数据在屏幕上重新排列，根据眼球追踪分析优先考虑参与者最感兴趣的元素。此外，这种新显示器还包含了在其他研究中使用过的元素，如仪表(仪表图标)和剖面图(图34)．四个彩色编码的轮廓图被添加到显示器的中心，代表变量组(呼吸力学、呼吸量、氧气供应和心血管系统)。中间的星号被移除，温度和流体管理变量也被移除，图表的位置也被更改。

‎ 查看此图

Jungk等[35]与8名不同的麻醉师重复了同样的实验，只使用干预组(没有对照组)。在第二次测试中，所有参与者都识别出了失血事件，但有一名参与者没有识别出袖带渗漏事件。与实验1的对照测试相比，两种情况下的识别时间都显著缩短。这项研究证明了迭代设计过程的重要性，最终用户在模拟中测试设备。

在第一次使用ED监测患者的实验后，共计11年，Effken等[36]开发并评估了专门为氧气管理设计的急诊室。ED的发展始于认知工作分析(CWA)，旨在确定工作领域的限制和ICU护士执行的认知任务。这有助于设计师在屏幕上安排元素，以优化护士的认知表现。结果，一个有趣的概念被提出了。图35提出临床数据结构在4个层面:目的，平衡，过程，和生理。该系统的主要目标是细胞氧合，这是目的；因此，它被放置在屏幕的顶部。如果氧合不足，临床医生然后评估平衡与需氧量和氧气输送相关的变量之间的关系，如氧气输送(DO)₂)，动脉血氧含量(CaO₂)，以及耗氧量(VO₂)，以柱状图的形式直接显示在细胞氧合的下方。

根据哪一边失去平衡，临床医生可以在任何一个DO中确定问题的原因₂或代谢流程(圣₂， Hgb和CO)，以图形对象的形式呈现。他们的基本生理学(CVP、肺动脉楔压、MAP、SVR、SV、HR以柱状图表示[37]。

将ED与条形图显示(BGD)在临床事件识别、治疗效率和可用性方面进行了比较。BGD采用单传感器-单指标模型将监测值以柱状图形式呈现。在两个显示器(ED和BGD)中，患者的病史都显示在显示器的底部，治疗选项(可点击的按钮)显示在显示器的右侧。在实验中，32名ICU护士被要求识别患者变量的变化，并使用现有的治疗将这些变量保持在所需的范围内。

结果显示，ED和BGD在开始治疗的时间上没有显著差异。在目标范围内的平均百分比时间因每次显示而变化，这取决于同时呈现的变量的数量和实验的顺序。感知工作量(由NASA-TLX问卷测量)在不同显示器之间没有统计上的显著差异。

如Effken等人先前的实验(Effken等人，1997)[32]没有迹象表明临床使用了对照显示器(BGD)，这使得不可能在新型显示器和传统PM之间进行有意义的比较。

‎ 查看此图

讨论

主要研究结果

本综述旨在批判性地回顾和研究研究人员提出的PM设计创新，并探索临床医生如何应对这些新颖的设计方法。这些提议的创新在本文的结果部分中有详细的描述。在分析了用于开发和测试这些显示器的方法以及这些测试的结果之后，出现了一些可供讨论的主题。

这篇综述中描述的大多数新显示都是为了促进对患者生命体征变化的快速检测和解释而开发的更大的图片减轻使用者的身体和认知负荷，增加护士和医生的SA。例如，通过使用形状和颜色来表示不断变化的生命体征，开发了GDs和物体显示器。人们预计，这些显示器将更好地支持护士和医生，减少他们的检测和决策时间，并提高诊断准确性。然而，在大多数情况下，参与者在使用新显示器时的表现因测试场景而异。在某些场景中，使用GD而不是传统PM时，可以发现性能指标在统计上的显著改进，但并非所有情况都是如此[18-20.，28，33，36]。只有三项评估GD的研究观察到所有测试场景的显著改善[15，17，32]，尽管值得一提的是，在这些情况下，传统的PM没有被用作对照。例如，其中一项作为对照的研究显示在实际实践中并不常用[32]而另外两组使用字母数字显示作为对照，只显示生命体征的数值，而不显示波形[15，17]。重症监护中的传统PM显示器通常由数值和波形组成。因此，如果在这些情况下使用传统PM作为对照，则不可能确定结果是否相同。

在一些研究中，研究人员开发了一种新型PM，目的是通过将来自多个设备的信息整合到一个屏幕上来提高临床医生的表现，当屏幕上同时呈现的信息量不是太多时，参与者的表现更好[24，25]而当观感没有从根本上改变传统项目管理以适应数据集成[27]。当单个屏幕上呈现的变量数量过多(例如，超过30个变量)时，为用户创造的认知负荷就太高了，设计师决定利用图形和对象元素来促进临床医生对患者状态的同化[16，35]。再次验证，在某些情况下，用户的性能得到了统计上的显著改善，但并非所有情况都是如此。因此，当集成来自多个设备的数据时，重要的是只显示那些对当前任务至关重要的变量。这样用户就不会因为信息量太大而不知所措。此外，将多个设备的数据集成到一个屏幕上的挑战超出了可用性和数据可视化的挑战，因为医疗设备可能并不总是提供集成的技术手段。

用户参与设计过程

在2010年之前，大多数研究都没有提到最终用户在设计过程中的参与。其中一些研究将接口的设计基于框架，例如EID [32，35，36]及CWA [17]或根本没有描述所用的设计过程[16，19，33]。其他研究并没有从零开始开发界面，而是测试了之前开发的显示器[15，18]或对现有显示器进行改编[20.，35]。当他们比较实验显示器和传统显示器之间的性能和用户满意度时，这些研究中的大多数都没有确定的结果。另一方面，一般来说，使用以用户为中心的设计(UCD)或参与式设计方法的研究[24，25，27，28在可用性方面有更令人满意的结果。在Jungk等人[[]中可以看到一个引人注目的案例，说明界面设计如何从用户参与设计过程中受益。35]。作者使用基于EID设计的实验显示器进行了初步研究[17]。第一次尝试的结果并不令人满意，根据第一次实验的结果和对最终用户的几次采访，对显示进行了调整。在根据反馈对设计进行调整后，第二个实验的结果比第一个实验更好。值得注意的是，尽管护士和医生是PM的最终用户，并且该设备的设计更改将直接影响他们的用户体验，但患者才是最终受益或受到PM设计影响的人。

测试新型患者监测器时的研究设计考虑因素

在所回顾的研究中，一个基本的可用性属性没有得到适当的注意，那就是安全性，所回顾的研究的作者没有提到他们是如何在显示中解决错误预防或错误恢复的。正如Gurushanthaiah等人所看到的多边形显示[15]的情况下，一种新颖的显示器可能会提高临床医生的表现，并引发积极的用户体验，但由于设计限制，也可能导致无意的使用错误。因此，对新型显示器的测试也必须以识别设计中使用错误的来源为目标。因此，强烈建议研究人员在用户测试之前对新设备进行可用性检查。实现这一目标的一种方法是通过对显示进行启发式分析，临床或人为因素专家通过评估设备或系统是否符合完善的用户界面设计规则或启发式指南来评估设备或系统，例如杰克布·尼尔森提出的可用性启发式[5，38]。使用尼尔森启发式的回顾不仅会突出安全问题，还会确定在显示设计中是否采用了可用性最佳实践，围绕系统状态的可见性、用户控制和自由等问题。回顾的研究中没有一项提到进行启发式分析。

在研究设计中应该明确，新型显示器是否打算取代或增强传统PM。这一考虑将严重影响在临床环境中引入新型PM。例如，只要常规设备不被移除，临床医生可能愿意在他们的工作流程中引入新的PM。在新PM被设计为完全取代传统PM的情况下，如果新PM的界面与传统PM的界面显著不同，那么更有效的方法可能是让新PM增强传统PM，而不是取代它。一旦确认用户是否完全适应了新的PM，就可以决定进一步的行动。

设备被设计用于特定的使用环境;因此，在评估一种新型PM时，研究人员应该设计实验，让用户在与预期使用环境相似的设置和环境下与设备交互。然而，这篇综述中描述的大多数新型pm都是在与预期的真实世界条件不匹配的使用环境中进行测试的(例如，实验室和工作办公室而不是准临床环境)。如果实验不能复制预期的使用环境，实验的结果将会被削弱。

此外，在测试期间使用的控制设备应该尽可能接近用户在此应用程序中通常使用的设备。一些实验使用了一个不具代表性的控制显示器作为新型PM的控制[17，19，28，32，35，36]。在这种情况下，与目前的临床护理和使用标准相比，不可能得出关于新型PM如何影响患者护理的结论。

如果可能的话，研究人员应该在进行测试之前为参与者提供关于新界面的全面培训计划。这里的目的是在测试之前，达到对新显示的高度熟悉，因为是可行的。从本质上讲，人们应该尽量消除对展示的不熟悉混杂因素在测试中，因为预期控制显示(通常是常规使用的PM)将对参与者非常熟悉。

理想情况下，这种培训应该不仅包括对新显示器的介绍，而且还包括演示、模拟和能力测试。

作为研究的一部分，提供关于新界面的强大培训需要相当多的精力和时间，在许多情况下，这可能非常具有挑战性。几乎所有的研究都没有超过45分钟的训练。研究人员必须记住，尽管短暂的训练课程可能足以让参与者了解设备的工作原理，但它可能不足以达到与控制设备相同的熟悉程度。在这些情况下，当将新接口与标准方法进行比较时，标准方法可能会获得更高的偏好，因此可能会导致扭曲的偏好数据。

一些研究使用没有(或很少)医学背景的研究参与者来评估新的pm，这些研究的结果没有在本综述中提出。原因是，尽管可以向非医疗参与者介绍待测试的显示，但不是设备预期用户的参与者将对设备有完全不同的感知，并可能使用不同的认知策略与之交互。正如Gurushanthaiah等人所证明的，这些差异会产生不准确的结果[15]。因此，我们建议只使用设备预期用户的样本作为测试参与者。

ISO 9241-210标准(第2.13节)将可用性定义为“系统、产品或服务在特定的使用环境下，能够被特定的用户有效、高效和满意地用于实现特定目标的程度。”因此，为了获得良好的可用性，设备不仅必须提高有效性和效率(例如，检测/响应/试验次数，治疗效率，准确性等)，还必须为用户提供积极的体验。直到21世纪初，大多数研究只关注性能指标，而忽略了设计对用户体验的影响，如认知工作量、舒适性和偏好。然而，自2003年以来，几乎所有的研究都在他们的实验中使用问卷来评估设计对用户的影响。例如，研究使用NASA-TLX问卷来测量自我报告的感知工作量[19-21，28或李克特量表来衡量参与者的偏好或满意度[22]或两者皆有[10，11，36]。作为实验方法的一部分，这类问卷的加入表明了一种积极的范式转变，即积极的用户体验和设备满意度也被视为设计新型PM时需要考虑的基本品质。

根据我们回顾这些研究的经验，我们将为研究人员设计和评估新的PM界面设计提出以下建议:

1. 为了识别与用户界面设计相关的任何可用性问题，并在用户测试之前减轻错误风险，研究人员应该考虑对显示进行启发式分析。
2. 在用户测试期间，应该向参与者明确新项目管理的目的，包括指定新项目管理的目的是否要增强或取代传统项目管理。这一点很重要，因为在测试过程中，这些信息会影响用户对设备的感知。
3. 在新型PM的所有开发阶段，目标终端用户(如ICU护士和麻醉师)必须通过UCD方法参与设计和评估过程。
4. 研究人员应该努力设计一种测试协议，准确地反映显示器使用的预期环境。
5. 为了获得有意义的结果和公平的比较，当测试一种新型PM与传统PM时，控制装置(代表传统PM)必须尽可能地与传统PM的特性匹配。
6. 尝试消除参与者对新显示的不熟悉(相对于他们对传统PM的熟悉程度)作为测试中的混淆因素。在潜在终端用户测试新项目管理之前，研究人员应该为参与者提供关于新项目管理的广泛培训(最好包括多个培训课程)，以使参与者适应新展示的使用，理想情况下达到高度熟悉它。
7. 由于用户满意度是可用性的关键组成部分，因此应该使用定量和定性分析对用户满意度进行更全面的评估。

虽然可以理解，由于资源和时间的限制，在研究环境中实现这些建议中的一些可能具有挑战性，但我们相信，通过遵循这些建议，研究人员可以显著提高他们的研究质量。