支持实践反思的临床指标数据的最先进仪表板:范围审查

介绍

背景

仪表板已经从基于大型原始数据集的单视图报告信息演变为具有多个视图和目的的可定制界面，例如通信，学习，激励，监控和决策支持[1]。在许多临床环境中，仪表板的使用已经得到了很好的确立[2]。对这些指示板的研究主要集中在使用电子病历(EMRs)、基于质量和安全标准的电子审计和反馈(e-A&F)系统以及管理指示板来支持部门的日常运作的患者监测和临床决策支持。临床指示板的评估倾向于评估准确性(决策)、效率(完成任务的时间)、可用性(用户满意度)和对指导方针的依从性(质量和安全)[3.-5]。

在收集和报告临床指标方面存在已知的组织、文化和技术问题[6]，有时被称为质量或性能指标。尽管临床指标数据存在局限性，但卫生专业人员的态度表明，他们希望更容易、更及时地获取常规收集的临床指标数据，以便进行个性化的绩效反馈[7]。Mainz等[8]将临床指标分为结构，过程,或结果指标．结构性指标描述卫生系统或组织提供医疗服务的资源类型和数量，例如工作人员、患者、床位和物资的数量。流程指标衡量患者护理过程中的活动和任务，例如，患者在转诊后24小时内由医生进行评估，患者根据临床指南进行治疗。结果指标是保健后可能受到保健影响的健康状况或事件。Mainz等[8提出结果指标通常与死亡、疾病、不适、残疾和不满有关。临床指标也可分为通用的或针对疾病的．通用指标衡量与大多数患者相关的护理方面(住院时间、再入院和延迟出院)。疾病特异性指标是诊断特异性指标，衡量疾病和病症的特定方面(第二次手术后髋部骨折和术后30天存活的肺癌患者)。

反思实践和终身学习是世界各地医学委员会授权的持续专业发展(CPD)框架的核心[9]。参加持续专业进修计划可确保医学专家达到维持其专科注册所需的标准。虽然委员会考试和基于工作的评估证明了医学毕业生的初步能力，但执业临床医生需要不断进行自我评估，以保持标准并确定改进需求[10]。专业发展框架通常包括参考使用临床审计和反思的实践数据[11，12]。

仪表板通常用于审核和反馈(A&F)，这是一个既定的程序，通过根据质量和安全文献中的现有基准审查数据，改善专业实践[13]。虽然已经取得了一些成功，但现有的关于e-A&F仪表板的研究表明，在提高绩效的有效性方面，证据有限[14]。此外，对旨在支持临床医生反思实践和终身专业学习的仪表板的研究很少，而且种类繁多[15]。

这项工作的目的是填补空白，在使用数据从不同的临床来源产生新的见解，导致临床医生的实践反思文献。

e-A&F仪表板解决有关临床表现的已知问题，而临床实践反思仪表板侧重于向临床医生展示常规收集的数据，以参与和反思，并揭示有关他们个人和更广泛的团队实践的新问题。

有一些关于临床实践反思仪表板的新兴文献旨在支持临床医生的反思实践[16]。这一范围审查将总结支持临床医生反思实践的仪表板上的文献，并系统地绘制已发表的干预措施的特征和结果。

目标

这个范围审查的目的是系统地映射支持临床医生反思他们的实践反馈界面的不同特征。从纳入的研究中提取的数据将提供对为什么创建界面，如何设计和评估界面以及报告结果的见解。

范围审查以以下6个研究问题(RQs)为指导:

• RQ1:性能反馈接口的目的是什么?
• RQ2:使用了哪些临床指标，它们是如何可视化的?
• RQ3:接口是如何设计的?
• RQ4:用来评估接口的方法是什么?
• RQ5:这些接口有多成功?
• RQ6:开发未来接口的关键设计考虑是什么?

方法

概述

检讨范围的过程是按照Arksey和O 'Malley的方法和指引进行的[17]。该过程大致分为以下6个步骤:确定RQ;确定相关研究;研究选择;绘制数据图;整理、总结和报告结果;和咨询。

为了确保研究的质量，该综述只包括发表在同行评议期刊上的研究，这些期刊有全文可查。由于质量评估并不是范围检讨的必要条件，故纳入的研究并没有进行额外的质量分析[18]，也没有既定的标准来评估临床仪表板研究的质量。没有进行质量评估以确保从各种不同的工作中获得经验教训。

搜索策略

搜索策略是在与大学图书管理员协商后制定的Population-Concept-Context助记(19]。

目标人群包括澳大利亚卫生从业人员管理机构医学专业和亚专业注册所定义的任何医学专家、全科医生(初级保健医生)和专业医学培训计划的登记员(居民)。

该综述探讨了使用临床指标的概念，以提供对临床医生自己的实践的见解。为搜索词临床指标生成同义词，例如质量指标和绩效指标．临床指标可能数据源的通用术语包括搜索术语，例如行政、医疗和外科数据．另一个概念集中在研究中使用的干预，即反馈用户界面。搜索词的同义词包括以下内容:指示板，可视化,报告．搜索词，如反馈和反射是为了最大限度地扩大搜索范围。我们确保性能反馈和反射仪表板研究仍然在使用临床指标和接口搜索条件。

Peters等[19用地理位置、环境或文化因素来定义上下文。没有使用特定的搜索词作为上下文，因为没有与研究国家和医院设置相关的要求，例如公立，私立，住院，门诊，农村，偏远或大都市。

搜索策略由BB开发，并根据所有作者和大学图书管理员(JG)的反馈进行了改进。将搜索策略转换为搜索查询(多媒体附录1)，并在以下电子数据库上进行:MEDLINE, Embase, Scopus(包括IEEE Xplore和ScienceDirect)， ACM数字图书馆和Web of Science。选择电子数据库是为了确保在健康信息学、数据可视化和人机交互研究领域发表的临床仪表板研究的覆盖范围。

搜索和研究选择

最初的搜索是由BB进行的。文章是根据商定的搜索策略检索的。接下来，BB根据纳入和排除标准筛选所有检索到的文章标题和摘要。同时，CP随机筛选4.99%(184/3685)的检索文章。BB和CP讨论了筛选过程中产生的冲突。在第一次评审中筛选的摘要有4.3%(8/184)的冲突后，作者同意进行全文评审。

符合以下标准的研究符合本综述的条件:该研究向医生提供临床指标数据以获得对其表现的反馈，包括界面设计和实现的详细信息，包括界面特征(视觉和功能)的信息，描述所使用的评估方法，并在2010年至2020年期间在同行评审的期刊上以英文发表。

如果研究参与者在医学院，则排除文章，因为医学院学生不被视为专业学习者。如果干预措施是为公共卫生医生和研究人员设计的，则文章也被排除在外，因为界面涉及社区和人口数据。如果无法获得全文(例如会议摘要)，则排除该文章。纳入了对各种医疗从业人员进行分组的文章。然而，如果在我们的纳入标准中不清楚哪些报告的数据和发现与参与者相关，则将其排除在外。

数据提取

数据从BB检索到的文章中提取，然后由CP审查以减轻偏倚。表1将rq映射到从纳入的研究中提取的描述性数据。

对于RQ1，由于没有对搜索的专业或亚专业限制，因此提取了每个接口的目的。通过确定每个指示板的既定目的和目标，我们可以更好地比较类似的实现。例如，用于管理日常操作的指示板与用于临床质量改进的指示板进行比较。

为了理解每个界面中呈现的数据，RQ2提取了临床指标(如住院时间)、数据源(如EMR和临床注册表)以及平台使用的技术名称。RQ2还通过提取设计细节(如数据可视化类型(如条形图)、交互性(如缩放和过滤)以及个人视图与团队视图)来捕获数据的呈现方式和界面的特性。我们还确定了使用界面的预期频率。Kay等人[20.描述了两种运作方式不同、驱动人们思维方式的心理系统。系统1执行快直觉思维，这是自动的，但可能导致偏见和错误。相反，系统2执行慢理性和逻辑思维是有意识的，可以超越系统1获得的初步见解[20.]。我们定义快一眼就能使用的或日常使用的我们定义慢使用时间超过一天(例如，每周或每月使用)。

RQ3提取了每个研究中使用的设计过程，因为理解如何设计接口是有价值的。我们期望在这些研究中使用的设计方法和方法可以帮助未来的研究者设计类似的界面。

为了解决RQ4问题，我们希望看到在受控实验室和真实医院环境中进行各种研究方法。RQ5随后评估了哪些界面在可用性、实践变化和患者结果方面是有效的。RQ4和RQ5一起使我们能够衡量研究在实现其既定目标方面的成功。

最后，RQ6确定了在设计支持临床医生反思实践的界面时需要考虑的关键因素。RQ6总结了纳入研究的实践要点和建议。

结果

纳入研究的一般特征

以下部分总结了纳入研究的一般特征，如发表年份、发表地点、引用趋势、原产国、参与者的专业和研究持续时间(多媒体附录2［21-38])。

图1展示了文章从鉴定、筛选到最终收录的流程。2020年11月进行的原始检索在删除重复(n=1517)后产生了3685条可能相关的引用。经标题和摘要筛选，2.58%(95/3685)的引文符合入选标准，获取相应的全文文章进行全文评审。在审查所有全文文章后，根据纳入和排除标准排除了81%(77/95)的研究;19%(18/95)的仪表板研究被保留并纳入分析。

‎ 查看此图

在77项被排除的研究中，27项(35%)因设置不同而被排除。如果该界面不用于提供对个人或团队表现的反馈，例如，在医院或诊所环境之外使用，例如公共卫生研究人员，则研究被确定为具有不同的设置。总共有8%(6/77)的研究被排除，因为研究的目标参与者不符合纳入标准，例如护士、药剂师和医学研究人员。总的来说，16%(12/77)的研究由于没有足够的研究细节来提取分析而被排除。如果无法获得完整的研究文本，研究也会被省略，例如会议摘要(23/ 77,30%)和海报展示(4/ 77,5%)。在77项被排除的研究中，4项(5%)无法被检索到，1项(1%)研究因未以英文发表而被排除。

所有研究发表于2010年至2020年之间，其中72%(13/18)发表于2015年之后。大部分引用(181/208,87%)发生在2015年以后。Linder等[21]在2010 - 2020年的研究中占总引用量的27.9%(58/208)。

在入选的18项研究中，3项(17%)研究[22-24引用了另一项关于电子健康记录(EHR)仪表板的研究，以改善抗生素处方[21]。Laurent等人[23还引用了一项孕妇仪表板试点研究[25]。Schall等[24引用了同一作者先前关于基于质量指标评估卫生保健信息技术(HIT)仪表板的研究[26]。

这些研究的原产国概述在表2．大多数研究是在英语国家进行的，55%(10/18)来自美国。

通过观察研究参与者，我们可以确定使用接口与有关其表现的数据进行交互的专业和亚专业群体。纳入研究的参与者来自11个不同的医学专业或亚专业，22%(4/18)的仪表板研究侧重于初级保健医生(或全科医生)。研究还评估了麻醉仪表板(3/18,17%)。在纳入的18项研究中，3项(17%)研究没有指定参与者的特定专业或亚专业，1项(6%)研究包括仍在接受专业培训计划的注册者(住院医师)。

总的来说，50%(9/18)的研究没有指定评估的持续时间。在这些研究中，56%(5/9)的研究是在真实的医院环境中部署和评估的，44%(4/9)的研究是在受控的实验室环境中进行的。评估研究持续时间为2个月[23]及42个月[27]。

RQ1:目的

由于这些研究是在一系列医学专业中进行的，因此每个仪表板的目的也各不相同。

表3显示了综述中的临床仪表板平均分布在3个类别中。性能改进指示板旨在向个人或团队提供数据，以反映他们的实践并确定需要更改的领域。质量和安全仪表板跟踪商定的临床指导方针和基准。它们可以用现有的临床实践改进模型建模，例如计划-执行-研究-行动[39]。管理和操作仪表板针对的是部门的管理员和主管，以支持医疗保健服务的日常功能。Laurent等人[23]被归类为支持质量和安全以及管理和运营。

RQ2:通用特性

以下部分总结了仪表板上使用的常见临床指标，这些指标如何呈现给最终用户，指标的来源以及技术平台的详细信息。通过识别所使用的低层数据和每个仪表板的功能，我们可以看到研究人员是如何实现他们的反馈界面的目的的。

临床指标

如图所示表4在美国，临床指标的使用在不同的研究中有所不同。Clark等人[34]是唯一一项评估向临床医生提供结构性指标(如咨询师工作量和床位可用性)的仪表板的研究。除一项研究外，所有研究都使用了过程指标。研究中使用最多的通用指标包括:住院时间(7/18,39%)、再入院(4/18,22%)和出院(3/18,17%)%的急性呼吸道感染(ARI)就诊使用抗生素，淋巴水肿指数(L-Dex),随着时间的推移，房颤(AF)的诊断数量是专门指标的例子。

在这18项研究中，3项(17%)研究提出了结局指标——死亡率[23]、病人投诉[25]和患者满意度[30.]。

仪表盘展示

用于呈现潜在临床指标的可视化类型总结于表5．50%(9/18)的研究使用柱状图、表格和折线图的组合。Gude等[36]和Weiner等[22使用了这三种技术。

表6显示大多数(12/18,67%)的仪表板被评估用于团队使用，而22%(4/18)的仪表板用于个人使用。在被评估的18个仪表盘中，有2个(11%)是为团队和个人使用而设计的。临床医生在专业护理团队、多学科团队和个人顾问中工作;因此，仪表板界面应该根据设置显示相关数据。

仪表板的预期使用频率在快速和慢速使用之间平均分配，如表7．一种泌尿外科仪表盘是专门为快速或一目了然的使用而设计的[37]。总的来说，17%(3/18)的仪表板设计为慢速使用，每月进行一次审查[25，27，28]。总体而言，22%(4/18)的纳入研究将仪表板设计为慢速使用，但没有指定审查数据的确切节奏[21，33，36，38]。

数据源

在纳入的18项研究中，5项(28%)研究在EMR和EHR系统上进行，4项(22%)研究与医院基础设施内的现有数据仓库集成，2项(11%)研究与医院内的患者管理系统集成，1项(6%)研究使用临床登记处的数据。总的来说，44%(8/18)的研究没有指定用于实现仪表板解决方案的数据源。

技术

总体而言，22%(4/18)的仪表板研究利用了web开发技术，如HTML、层叠样式表和JavaScript。开源库，如jQuery (OpenJS Foundation)， D3.js (Mike Bostock)和HighCharts (Highsoft as)也被使用。在这18项研究中，4项(22%)研究使用了现成的企业解决方案(SAS、Tableau和Qlikview)。总共有11%(2/18)的仪表板研究使用Microsoft Excel呈现数据。总的来说，33%(6/18)的纳入研究没有指定用于实施仪表板解决方案的技术工具和平台。

仪表板可以是交互式的，允许用户以多种方式接触数据，而不是单一的静态视图。交互式仪表板使用户能够深入获取背景信息，显示比较，并突出显示数据可视化中的异常情况[40]。Shneiderman等[41]已经描述了高级图形用户界面的常见特性，包括对整个数据集合的概述，放大感兴趣的项，过滤掉不感兴趣的项，以及根据需要检索额外的细节。

表8显示大多数(15/ 18,83%)的仪表板是交互式的，11%(2/18)的仪表板是静态的，6%(1/18)的研究没有提供仪表板是交互式还是静态的详细信息[28]。

RQ3:设计过程

只有56%(10/18)的研究提供了所使用的设计过程的细节。以用户为中心的设计(3/18,17%)、协同设计(2/18,11%)和迭代过程(2/18,11%)是论文中提到的具体方法。Mulhall等[35使用协同设计和以用户为中心的设计方法。Stattin等人采用了迭代和以用户为中心的设计[37]。虽然剩下的44%(8/18)的研究没有详细的设计过程，但55%(10/18)的研究使用了多种方法，包括焦点小组、访谈、研讨会和过程映射，报告了细节。

RQ4:评价方法

按类型分组的评估方法列于表9．定量和定性研究方法的混合使用。大多数研究(10/18,57%)定量评估了仪表板的影响。数据主要来源于电子病历、临床登记和患者管理系统。44%(8/18)的研究采用了问卷调查，如前后调查、标准化单一易用性问题(SEQ)和系统可用性量表(SUS)。其余研究采用的方法包括访问日志分析(3/18,17%)、正式集群随机对照试验(2/18,11%)、案例研究(2/18,11%)、访谈、有声思考方案、启发式评估和眼动追踪。

在评估环境方面，大多数研究(13/18,72%)是在真实环境中进行的，如急诊科、初级保健诊所或医院住院病房，而其余研究(4/18,22%)是在受控实验室环境中进行的。

RQ5:报告结果

每项纳入的仪表板研究的报告结果进一步总结(多媒体附录3［21-38])。这些方法按(1)最终用户的直接反馈、(2)底层电子健康数据的数据分析、(3)平台使用日志的数据分析、(4)专家可用性评估和(5)最终用户可用性测试进行分组。

询问用户:问卷、调查和访谈

使用标准问卷、调查和访谈直接从最终用户那里获得仪表板反馈的研究总结在表10．

在纳入的18项研究中，5项(28%)研究使用标准化问卷来衡量个人对仪表板可用性的评估。SUS是一份经过验证的问卷，用以衡量用户对图形用户界面的整体满意程度[42]。问卷为界面不可知问卷，共10个题项，总分0 - 100分[43]。总共有17%(3/18)的纳入研究报告SUS平均评分为82.6 (SD 11.5) [23]， 83 (sd 7.6) [26]和87.5 (SD 9.6) [24]。总体而言，6%(1/18)的研究报告SUS评分中位数为73.0 (SD 15.0) [38]。

除了SUS问卷，Schall等[24]还进行了研究后系统可用性问卷调查(PSSUQ)。PSSUQ由19个项目组成，衡量用户对产品的感知满意度[44]。问卷包括三个子量表:系统有用性、信息质量和界面质量。研究发现PSSUQ的总体平均得分为1.7 (SD 0.5)，子量表得分为1.5 (SD 0.4)， 1.8 (SD 0.8)和1.8 (SD 0.8)，这表明仪表板具有良好的可用性。

Janssen等[33]要求5名参与者使用7分SEQ对完成淋巴水肿仪表板上任务的难易程度进行评分[45]。单个仪表板上的所有任务的SEQ评级中值为1(非常简单)或2(简单)。同样，队列仪表板上的所有任务的SEQ评级中值为1或2。队列仪表板上的最后一项任务只有3名参与者尝试，SEQ评级中位数为3。

17%(3/18)的研究进行了用户反馈调查。Mulhall等[35]调查了316名在长期护理实践中使用质量改进仪表板的家庭医生。仪表盘的整体质量被评为好(45%)和很好(34%)， 69%的医生说他们是可能或很有可能来实现建议的更改之一。

Khanna等[28]调查了48个初级和专科护理实践，了解他们对实践转型分析仪表板作为一种工具的看法，该工具可以在医疗保健设计中呈现可操作的数据。研究发现，96%的被调查实践报告说他们之前已经审查了他们的成本数据，72%的人对仪表板有良好的反应，48%的人认为仪表板数据是可操作的(n=25)。

Ehrenfeld等[31在绩效反馈仪表板上评估麻醉住院医生的看法。研究发现，91%的受访者表示，他们希望每1至4周(n=48)收到一次对实践绩效数据的系统评估，而98%的居民受访者表示，他们至少可以在一个领域(通常是多个领域)有所改进。只有10%的受访者认为他们在所有列出的6个方面都是合规的。除1名受访者外，所有受访者都指出，他们希望以某种电子形式收到反馈，例如电子邮件、网站和智能手机。

通过电子健康数据分析评估用户行为

表11总结与基础临床指标变化和仪表板使用日志相关的关键结果。

海丝特等人[27观察到急诊科平衡措施的改善，包括急诊科出院率更高(70.7% vs 72.8%;P=.05)，收费较低(比例1:0.86;P <.001)，停留时间较短(2.9小时vs 2.6小时;P=.001)，以及较低的7天重访率(15.4% vs 11.6%;P <措施)。住院费用下降(比例1:1.14);P= 0.01)，但住院时间和再入院时间保持稳定。

Patel等[29]观察到，在5个月的研究期间，复合排放混合指数有所改善;他们观察到干预组的完成率为79.3% (n=537)，对照组为63.2% (n=516)。

在53.8%的病例(n=288)中，Gude等[36观察到重症监护专家高估了他们的临床表现，而在13.5%的病例中，他们低估了他们的表现。参与者高估了同行的表现，设定的目标比最高绩效基准高出20.3%。在68.4%的案例中，改进练习的意图与实际表现差距一致(没有反馈);收到反馈后增加到79.9%。在56.3%的案例中，参与者仍然希望改进他们已经表现最好的方面，在8.3%的案例中，他们缺乏改进的意图，因为他们不认为指标重要。

他汀等[37基于国家癌症登记处的数据，评估了一个SMART(具体的、可测量的、可接受的、现实的、及时的)绩效反馈仪表板。及时向登记处报告的患者比例从2011年的26%增加到2013年的40% (P <措施)。对极低风险前列腺癌患者进行主动监测的人数从63%增加到86% (P <措施)。等待的时间仍然很长。2013年，从收到转诊到首次到专科诊所就诊的总体中位时间为35天(IQR 21-58)。从前列腺活检到患者收到癌症诊断信息的日期为29天(IQR 21-40)。

Weiner等[22]为领导层评估了一个仪表板，以监控急诊医生和放射科医生根据既定目标的表现。他们发现急性病人(可能需要住院治疗)每月住院时间减少了54分钟。同样，低视力患者(门诊)的月住院时间减少了近一个小时。最后，急诊科没有得到诊治就离开的病人数量从每月165人下降到每月10人。

Clark等[34在支持决策的临床指示板的3个月干预期间，观察到过程指标的改善。在5个指标(范围8-38)中，指标表现平均提高了21.2%。特别是出院前24小时告知患者出院计划的比例从48%上升到86%。此外，出院前24小时编写的药房处方从62%增加到84%。

Linder等[21研究急性呼吸道感染仪表板是否会改变处方率。该研究发现，在所有急性呼吸道感染就诊的抗生素处方中，干预措施和控制措施之间没有差异。

通过系统访问日志分析评估用户行为

Mulhall等[35]评估了一个仪表盘，以支持初级保健医生提高质量。研究发现，50%的全科医生查看了基于网络的报告(n=400)， 90%的人注册了电子邮件。至少看过其中一份报告的参与者服用抗精神病药物的比例降低了近2%。

Patel等[29]进行了一项集群随机对照试验，以评估仪表板是否支持基于团队的A&F。在5个月的干预期内，2月份有40名用户访问了仪表板104次，3月份有33名用户访问了77次，4月份有30名用户访问了55次。在冲洗期间，5月份有20名用户访问了仪表板48次，6月份有24名用户访问了48次。在9个月的干预期后，使用日志显示28%的临床医生至少使用过一次仪表板(n=72);这些临床医生的总体急性呼吸道感染处方率(42%)低于对照组(50%;P= .02点)(21]。

专家可用性方法

只有6%(1/18)的研究对仪表板界面进行了启发式评估[26]。总共有2名人为因素专家和3名焦点小组成员根据尼尔森10启发式方法评估了仪表板[46]。专家审查确定了20条修改建议。总体而言，40%或更多的评估者推荐了5个变化。最受欢迎的建议(60%的评估者同意)是包括一份封面单，记录项目的目标和质量指标标准(清晰度)，并删除导管质量指标(重复)。

用户研究可用性方法

涉及终端用户界面可用性测试的研究的主要结果通常是积极的。这些研究要求参与者在界面上完成预定义的任务，以识别错误并测量完成时间。

Janssen等[33发现5名参与者完成了个体患者仪表板上的所有有声思考协议任务(n=5)。在队列仪表板上，5名参与者中只有1名能够完成第一项任务，即确定淋巴水肿患者切除bb10个淋巴结的比例。队列仪表板上的最后一项任务，要求参与者确定组织内正在接受淋巴水肿治疗的患者比例，并且BMI在超重范围内，只有3名参与者尝试过。

Brown等[38]评估了e-A&F仪表板，以了解临床A&F流程的最佳界面设计。总共有7名参与者确定了10个错误的中位数(范围8-21)。在7个评估任务(范围4-7)中，完成5个任务的中位数;16%(6/38)可能的启发式分类被违反，最常被违反的是工作流集成(n = 40)。

Schall等[24]观察到，在传统仪表板和HIT仪表板之间的8个评估任务中，有6个任务上的时间有所改善(n=6)。在准确性方面，8个任务中有5个任务在没有错误的情况下完成。在前2个评估任务中，传统仪表板和HIT仪表板之间的无错误任务完成情况保持不变。在1个评估任务(压力性溃疡)中，无错误完成的任务减少。

RQ6:未来的设计考虑

在纳入的研究中，有4个关键主题与未来的仪表板设计考虑相关。

与临床人员的接触

一个关键的设计考虑是终端用户在整个开发过程中的参与。例如，Laurent等人[23]在开发工具时遵循以用户为中心的流程，以保证可用性，并确保所显示的信息不会导致误解或解释错误。

Schall等人建议在与个人或团队的会议上通过演示来推广仪表板[24作为一种吸引临床工作人员的策略。为了在实践中充分整合仪表板的使用，研究建议更新实践提醒，提供可操作的质量改进数据反馈，并向高层领导报告。此外，每个单位的本地倡导者或变革推动者负责在跨专业的日常会议期间使用仪表板。

临床指标

临床指标的选择是纳入研究中共同讨论的话题。他汀等[37]指出，质量指标的选择应以最近出版并已被广泛接受的准则为基础。Patel等[29[]强调，为了有效地改善护理，使用过程指标，即对试图衡量结果的证据进行持续评估，提供者有机会提供反馈，说明他们认为这些措施有多有意义。在选择临床指标时还应考虑公平性原则;具体来说，需要评估和制定有关护理质量的绩效标准，例如，住院医师项目的最低能力标准[31]。

在向临床医生展示临床指标时，Brown等[38]建议在适当情况下积极地拟订指标，以强调成就。此外，临床指标应自动排序。

Linder等[21]强调指出，报告临床指标本身往往不足以提高护理质量。Linder等[21]表明，高质量的报告可能需要与其他干预措施相结合，例如临床细节，临床决策支持，患者教育，或财政激励．Clark等[34还建议共同干预，如仪表板，包括决策支持工具。

Herzke等[30.强调了将绩效数据归因给临床医生个人而不是让临床医生住院的好处。然而，作者警告说，他们的方法的计算需求不是微不足道的，并且需要将账单数据与管理患者级数据联系起来，这可能具有挑战性。

Gude等[36[]提出可能需要更密集的措施，例如口头反馈和团队而不是个人之间的反馈讨论，以确保临床医生认识到指标的重要性和对数据的信任。

支持解释性能数据

研究发现临床医生在解释临床指标数据以理解他们个人和团队的表现方面存在困难。为了支持临床医生解释他们的数据，Schall等[26]建议如果质量指标得分没有意义，则不应纳入该分数。如果包括在内，更精确的符号颜色和质量指标的定义将有所帮助。同样，还提出了一份记录项目目标和质量指标标准的封面。

为了防止基准被认为过高，Gude等[36]建议提供多个绩效比较指标，例如中位数、同行绩效前10%和自己过去的绩效。Herzke等人也建议将个别供应商的绩效相对于同行进行排名[30.]。

Brown等[38]建议将用户的分数与理想的性能标签进行比较，例如使用交通灯系统来减少歧义。如果仪表板显示建议的操作，它应该提供与建议的改进操作相关的进一步数据分析和可视化，并清楚地解释性能数据具体指的是什么。

为了解决在护理期间入院和咨询临床医生之间的绩效数据归因的已知问题，Herzke等[30.发现确保数据可信地归属于单个提供商是仪表板设计中不可或缺的一部分。

指示板应能够根据需要提供详细信息，包括为什么建议采取特定的改进措施、这些措施在其他组织中是如何实施的，以及面向患者的信息[38]。对于间歇性使用仪表板，Janssen等[33建议增加脚手架来支持对实践绩效关键方面的探索，并建立历史机制，使临床医生和管理人员能够跟踪进展和变化。

技术

所列入的研究也强调了更广泛的技术考虑。他汀等[37]描述了一种临床医生可能无法登录仪表板平台的情况。电子邮件应该向部门主管分发季度报告，以支持临床医生采用新技术。

展望基于临床指标数据的仪表板的未来，Clark等[34]概述了仪表板继续关注质量指标和包括决策支持工具的必要性。此外，Clark等[34预测，专注于改善患者体验(如患者报告满意度)的举措将出现在未来的仪表板上，在仪表板中结合预测建模，为临床医生提供更广泛的信息。

持续专业发展

临床医生完成的活动，包括审查他们的表现和衡量病人的健康结果，被认为是专业专业绩效框架中的持续专业发展活动。

对于包含建议改进措施的仪表板，Brown等[38建议允许临床医生添加他们自己的动作，这些动作应该被自动保存。还应该允许临床医生轻松保存、标记已实施的操作，并查看组织内其他用户的操作。

Mulhall等[35确定了e-A&F仪表板的额外好处。这些报告可以作为安大略省要求的继续医学教育学分的自我反思研究的一部分[35]。

讨论

主要研究结果

概述

这一范围综述的结果总结并绘制了基于常规收集的临床指标数据的新兴绩效反馈仪表板的现有文献。范围审查在几个方面增加了文献。首先，本文概述了使用这些接口的不同上下文。其次，综述确定了常见的视觉和功能特征。第三，总结了设计流程和评价方法。最后，综述报告了纳入研究的主要结果以及作者提出的未来设计考虑。

下一节将讨论与初始rq相关的审查含义。

RQ1:目的

仪表板的目的包括性能改进、质量和安全以及操作管理

绩效或质量改进界面侧重于呈现相关的临床指标数据，使临床医生能够反映他们个人和团队的绩效。

有可能改善对口译的支持

仪表板可能有支架问题，以支持临床医生的元认知过程，并建议实施改进措施。然而，只有2项研究[35，38已经使用这些技术来支持最终用户解释他们的性能数据。指导临床医生理解他们的表现数据是在所纳入的研究中确定的共同主题。

RQ2和RQ3:通用特性和设计过程

一般指标主导了研究

大多数用于填充仪表板的潜在临床指标根据Mainz等人的分类[8]过程和通用的指标。住院时间、28天再入院时间和晚出院时间衡量护理发作中的活动。通用指标不仅与特定专业或亚专业相关。通用过程指示器似乎是合适的指示器，因为大多数指示板是为专业工艺组或多学科团队中的团队使用而设计的。

大多数仪表板都是为群体使用而设计的

正如Herzke等人[30.[报道]，当多个咨询师可以在一次护理中与患者互动时，很难将单个临床医生的表现归因于此。因此，对于负责结果的整个团队来说，查看绩效指标并共同审查这些信息是很重要的。

这些研究有相似数量的快慢仪表板

仪表板平均分为快速使用(<1天)和慢速使用(每周、每月或每季度)。为急症病房、重症监护室和产科病房设计的仪表板往往是为了快速使用而设计的，其中的数据应该进行优化，以便进行持续监测并一目了然。慢速指示板强调临床指标随时间的变化，与同行的比较，以及反思和目标设定的特点。

临床医生参与了设计过程，但细节往往不清楚可重复性

虽然本综述中的一些研究使用了以用户为中心和协同设计的方法，但大多数研究没有提供如何设计界面的详细信息。如果没有对所使用的设计方法和方法的描述，则很难在未来的研究中复制这些研究。通过进行用户研究和让临床医生参与设计过程，HIT项目将设计师的角色从专家转变为设计过程的促进者[47]。最终用户，如临床医生、医疗管理人员、护士和联合医疗从业人员被授权参与设计过程。最终，研究人员对最终用户的背景有了更深入的了解，并创建了解决现实世界问题的解决方案。在Mulhall等人的研究中，员工敬业度的提高是显而易见的[35在那里，作者使用共同设计方法开发了一个仪表盘，以提高处方率。他们观察到抗精神病药物处方减少了2%，大多数参与者(n=316)表示他们喜欢仪表板，并可能实施建议的实践改变。

RQ4和RQ5:评价方法和报告结果

仪表板在受控的实验室环境或真实的野外环境中进行评估

实验室研究，如可用性测试，允许研究人员确定用户是否能够以最小的错误完成界面上的预期任务。使用标准化的可用性问卷，研究人员可以比较类似研究中的效用和满意度得分。另一方面，野外研究允许研究人员确定在真实环境中部署干预措施时的采用和实施问题，例如急诊病房和初级保健诊所。研究人员能够通过分析电子病历和患者管理系统中的电子健康数据来确定实际绩效的变化。分析系统访问日志数据为用户行为提供了另一种视角，允许研究人员将参与者认为他们使用系统的方式与他们的实际使用模式进行比较。

参与者对仪表板有用性和易用性的压倒性积极反应

标准化的问卷、调查和访谈显示，大多数参与者发现仪表板很有用且易于使用。虽然这5项研究报告了很高的可用性得分[23，24，26，33，38]，没有一项研究调查了临床医生在实践中使用仪表板前后潜在临床指标的变化。未来的仪表板研究应该考虑进行控制实验室用户测试和野外研究的混合，以了解用户对界面的初始反应及其对实践的影响。

即使是一小部分评估临床指标改善的野外研究，大多数也显示出有希望的结果

只有22%(2/9)的研究报告在干预期后临床指标没有显著变化，而78%(7/9)的研究报告有改善。总共有22%(2/9)的研究[21，29]显示，在他们的研究中，只有不到50%的参与者在评估期间访问了仪表板，这表明在实施和采用方面存在问题。尽管这些研究在受控的实验室或真实的野外环境中评估了仪表板，但没有研究在这两种环境中评估仪表板。评估仪表板对临床表现影响的研究可以通过纳入从受控和真实设置中收集的数据来改进。实验室研究为目标用户提供了对界面可用性(准确性、效率和满意度)的洞察，以实现特定的目标。真实的野外研究提供了洞察接口是否支持个人实践，内部流程和患者健康结果的变化。总之，这些环境提供了有关接口的有用性和有效性的丰富数据。

RQ6:未来的设计考虑

在设计过程中让临床医生参与是仪表板成功实施的必要条件

确定的与未来仪表板相关的关键主题集中在设计过程中与员工互动的重要性，选择和呈现适当的临床指标，以及支持临床医生解释性能数据。临床工作人员必须参与仪表板的设计过程，以支持对实践的反思。设计应考虑护理团队工作方式的差异，例如个人和团队展示、使用频率(一眼使用vs长期使用)和专业特定的临床指标。所选择的指标必须与临床医生的工作相关，并提出最大限度地理解。将仪表板界面的设计与现有的临床绩效改进框架(如计划-执行-研究-行动)保持一致[39]，可以更好地支持临床医生解释他们的个人和团队绩效数据。一些可以支持这一过程的技术包括脚手架问题和带有私人笔记的注释功能[33]。

支持长期专业学习的脚手架式反思

这些文章主要评估了性能反馈接口的可用性和有用性。本综述中目前的文章表明，仪表板与他们的实践相关，临床医生对所呈现的临床指标数据有很强的理解，这两个都是反思过程中的重要步骤。接口收到了与性能数据的自我监控相关的积极结果。然而，这些界面缺乏支持元认知过程的功能，如自我反思、计划和目标设定[48]。一项研究纳入了基于指导方针建议改进行动的特征，以及保存个人改进行动的能力[38]。有机会更好地了解临床医生和团队如何理解他们的绩效数据，特别是临床医生如何得出当前实践是适当的结论，何时开始改变行为，或者得出过去的实践改变倡议是有效的结论。临床医生可以采取改进措施，如开展A&F项目，同伴指导，或通过完成CPD活动来提高技能。

限制

该综述仅限于特定的数据库(MEDLINE、Embase、Scopus、ACM数字图书馆和Web of Science)和一个定义的搜索查询。在与作者和大学图书管理员协商后，对搜索策略的广度进行了改进，以确保搜索涵盖了健康信息学、人机交互和数据可视化领域的文章。

因此，该综述不包括被CINAHL、Cochrane、PsycINFO和ERIC收录的文章。本综述未纳入灰色文献，因为未计划对研究进行质量评估;因此，搜索仅限于同行评议的文章。尽管在搜索过程的设计中很小心，但由于期刊或索引的偏见，一些研究可能没有被捕获。

研究被限制在一个特定的时间框架内，以确保审查是可行的，这可能会导致一些较早的研究被排除在外。将时间范围限制在过去10年，确保审查捕捉到技术上的变化。时间框架还侧重于最先进的案例研究，而不是临床仪表板的历史。

该综述遵循了Arksey和O 'Malley的指导方针，即不需要对研究进行质量评估。因此，该综述确定了广泛的研究，尽管这包括可能尚未得到验证的工作。

结论

我们的工作的动机是需要有效的工具来支持临床医生反思他们的实践。本综述基于常规收集的临床指标数据，在仪表板上绘制了文献的当前图景，以支持反思。尽管在研究中使用了常见的数据可视化技术和临床指标，但仪表板的设计和评估存在差异。我们发现缺乏界面功能来支持临床医生理解和反映他们的个人表现数据。我们得出的结论是，在基于常规收集的临床指标数据的仪表板的文献中存在空白，这些数据是个性化和支架可视化界面，以支持长期反映。