急诊医学临床医生的患者结果驱动反馈平台:以人为本的设计和患者结果链接的可用性评估(LOOP)

简介

医学实践的熟练程度是通过多年的严格训练而获得的，并通过终身致力于以实践为基础的学习和改进来保持[1］．这是研究生医学教育认证委员会(ACGME)为所有医生实习生描述的核心能力之一，并已被美国医学专业委员会(ABMS)纳入认证计划[2，3.］．要进行以实践为本的学习，临床医生必须不断评估自己的临床实践的成效[4]并积极在个人及系统层面作出改善[5］．最佳体验学习需要强大的反馈机制;因此，学习者了解所采取行动的现实世界后果，并有机会对次优结果进行纠正[6］．这种类型的闭环学习是刻意练习的核心组成部分，自威廉·奥斯勒时代以来一直是医学教育的核心。7］．然而，在不同的实践环境和医疗专业中，基于结果的反馈的可用性有很大的差异[8，9]而临床医生往往没有意识到他们的行为如何影响病人的短期和长期健康[10］．

急诊医学(EM)临床医生在卫生保健系统中发挥着关键作用;然而，在一个环境中练习使得结果导向的学习特别具有挑战性。急诊科是急性受伤和危重病人的进入点，也是弱势群体的主要卫生保健来源[11］．2016年，仅在美国，ED患者就超过1.45亿人[12］．在过度认知负荷和时间压力下做出高风险决策时[12-15]，急诊临床医生为大多数住院患者设定护理轨迹，并为更多出院的社区患者提供最终护理[16］．此外，由于急诊护理的情景性，在急诊科不存在纵向的医患关系。目前，没有一种机制可以将急诊科遭遇后患者结果的系统信息传递给急诊临床医生，以进行基于患者结果的反馈[10，17］．急诊临床医生认识到基于实践和结果的经验学习的价值，他们对更强大的遭遇后反馈系统感兴趣。这些系统已显示出减少不良ED事件、改善团队功能和进一步临床医生专业发展的潜力[3.，6，17，18］．目前，在急诊中，对感兴趣的患者的遭遇后电话和病例会议(如发病率、死亡率)是引出遭遇后患者结果反馈的最常用方法[17］．在过去十年中，电子健康记录(EHRs)的广泛采用产生了不断增长的临床数据库，包括与ed后遭遇患者结果相关的数据，这些数据有可能为临床医生实践提供信息，并促进基于实践的学习[19，20.］．到目前为止，这种潜力还没有被实现。

在这项研究中，我们试图通过开发个性化的患者结果反馈平台，从常规收集的EHR数据中获得见解。在这里，我们描述了在以人为本的设计(HCD)框架下，这个平台的迭代开发，链接患者的结果(LOOP) [21并通过约翰霍普金斯大学医学院和工程学院以及马里兰艺术学院(MICA)之间的独特合作来实现这一目标。我们还报告了LOOP的功能和可用性，通过直接测量最终用户临床医生与LOOP交互和使用LOOP时的知识、技能和态度进行评估。

方法

研究团队结构与研究人群

这项混合方法研究是在2019年8月至2021年2月期间，通过MICA社会设计中心和马里兰州巴尔的摩市约翰霍普金斯大学医学院急诊医学数据科学中心(CDEM)的合作进行的。我们的核心研究团队包括EM医生、设计研究人员、人为因素工程师、软件工程师和数据分析师。该项目分3个阶段进行:(1)HCD框架下的概念开发，(2)技术平台开发，(3)可用性评估。研究地点包括一个大型第四纪学术医疗中心ED和一个社区医院ED;所有研究参与者都是在这些地点之一实习的EM临床医生。

伦理批准

该研究在快速审查后获得了我们的机构审查委员会(IRB00185078)的批准。

第一阶段:HCD框架下的概念发展

2019年秋季，我们进行了为期16周的密集HCD工作室[21]的重点是解决向急诊临床医生提供与急诊后遭遇患者结果相关的反馈。MICA设计学院(BS和CM)与CDEM研究人员合作领导工作室。如图1，我们的HCD工作室由6个阶段组成:框架和计划，研究，综合，构思，原型，和迭代和实现。

首先，我们的多学科研究团队进行了共同创造会议，以微调项目的范围和目标。然后，我们通过混合方法与最终用户进行设计研究，包括观察、半结构化访谈和对EM临床医生的调查。观察集中在急诊临床医生与现有技术的互动，半结构化访谈集中在当前患者结果随访和基于实践的学习行为(表1)．调查用于评估当前的患者随访实践，确定ed后随访的重要患者结果，并定义结果报告的理想时间框架(多媒体附件1)．研究成果的主题分析被用来综合“人物角色”、“设计原则”和“机会领域”，这些将指导未来的HCD工作室活动。

‎ 查看此图

接下来，最终用户通过包括工程师和数据分析师在内的多利益相关者的面对面构思会议重新纳入HCD工作室。之前定义的设计原则和机会的地区作为指导，并使用大量的构思技术(例如，头脑风暴，大脑转储，草图，故事板)生成潜在的解决方案。构思会议的输出随后被设计人员用于开发一系列解决方案原型。设计人员与临床和技术研究团队成员合作，以确保解决方案与现有的健康信息技术兼容，因此原型在多个保真度级别上取得了进展。最后，设计师和最终用户一起开发了反馈工具的理想版本，其中包含了在构思和原型阶段生成的功能。用户角色被用来作为一个接触点，以建立理想的反馈工具的维度。这些会议的与会者还创建了一个体验地图，它通过4个阶段描述了预期的最终用户使用工具的旅程:学习工具、使用工具、拥有工具和将工具实现到实践中。

第二阶段:技术平台开发

患者结局选择

根据最终用户的偏好(通过设计研究)以及数据收集和标准化的可行性。选择的结局为住院死亡率，在急诊室离开24小时内护理水平的升级(例如，从楼层到重症监护病房)，以及在出院72小时内返回急诊室。这些结果是常用的质量测量方法[22，23]，适用于整个急诊科人群，并可靠地记录在EHR中。

数据捕获、规范化和交付

CDEM数据分析师和工程师开发了一个数据处理管道，以促进在我们的反馈平台中对ed后患者结果的统计。简而言之，原始的EHR数据首先在符合健康保险可携带性和责任法案的研究计算环境中填充，其中开发了规范化代码，以识别和标记ed后遇到的患者级别事件，并通过使用本地EHR数据字段和时间戳将患者遇到的情况归因于单个EM临床医生。规范化代码由EM临床医生和数据分析师通过图表审查进行验证。验证之后，规范化代码应用于报表服务器中EHR数据的每日提取，规范化数据的聚合视图被推送到演示服务器，该服务器将为我们的患者反馈平台提供支持。

数字反馈平台设计

在共同设计过程中，我们的首席设计研究员(CM)与EM临床医生(JH、CK和SP)和软件工程师(AGS和MT)一起工作，将最终的模拟原型转换为完全可操作的数字平台。早期的数字原型是使用虚拟数据和设计软件构建的，这些设计软件促进了真实的终端用户交互和快速迭代改进(敏捷方法)[24，25］．用户需求，包括最低信息需求、最佳结果定义、数据标签和数据过滤能力，在此环境中得到进一步定义。然后，最终的数字模型被用作模板，在我们机构使用的面向临床医生的分析软件中开发LOOP，以确保我们的最终产品符合通过协同设计产生的原则和要求，并在我们当地的信息技术基础设施中发挥作用。在整个过程中，我们的设计研究员还与领导数据处理管道开发的数据分析师和软件工程师密切合作，以确保整个LOOP系统的互操作性。

阶段3:可用性评估

可用性评估由研究团队的3名成员执行:一线急诊医生(CK)、设计研究员(CM)和具有临床背景的卫生系统工程师(ATS)。所有参与者都是在一个急诊科研究地点实习的临床医生;我们研究团队的成员被排除在可用性评估之外。参与者是通过有目的的EM临床医生分层样本选择的，这些临床医生代表来自多个终端用户组，基于培训生状态(如住院年)、临床经验(如培训生、高级实践提供者和主治医生)和性别。在获得口头同意后，利用视听平台进行虚拟可用性评估，并记录会话。

Pre-LOOP调查

参与者首先完成了一份简短的匿名电子调查。该调查评估了人口统计学、目前用于患者结局回顾的方法、患者结局的基线知识，以及他们对当前回顾方法和结局的态度(多媒体附件2)．为了评估知识而不是记忆，在可用性评估之前，建议参与者携带他们用于跟踪患者结果的任何材料，并鼓励他们在调查期间参考这些辅助工具来证明他们对患者结果的了解，这要求参与者估计几个时间段内患者遭遇后结果的频率。我们通过询问评估的置信度、找到这些信息的难易程度以及了解这些信息的有用性来评估他们对患者结果的态度。此外，我们询问了他们是否愿意使用目前的方法来寻找这些结果，他们对所获得的数据的信任，以及所收集的信息是否能代表所有患者的总体趋势。

任务分析

然后，我们为参与者提供了LOOP的访问权限，并在他们使用该工具时执行任务分析。第一组任务是确定他们在过去30天内见过的患者中有多少人经历了每一种感兴趣的结果。此外，我们要求用户导航到72小时内返回并在我们的EHR中入院的患者的图表。我们还要求他们确定一位在住院期间死亡的患者，并将患者的信息通过电子邮件发送给我们团队的一名成员(模拟将患者的结果通知同事)。最后，我们要求用户找到他们在过去30天内看过的所有患者的名单，并确定一名被转移到医院观察的患者。在完成这些任务时，参与者被要求使用“大声思考”的方法，用语言表达他们的思维过程。研究团队的观察员评估了可用性性能指标，如任务完成时间和导航方法，并确定了难点。

Post-LOOP调查和访谈

在使用LOOP后，参与者被要求完成第二项调查，以评估他们与使用LOOP相关的知识、技能和态度。这次调查提出了与最初调查相同的问题，并评估了他们使用LOOP的经验。为了评估工具的可用性，我们结合并调整了系统可用性量表[16]、标准化用户体验百分位排名问卷[17]，并验证由语句组成的工具，并要求用户表明自己的同意程度:非常不同意、不同意、同意、非常同意(多媒体附件2)．在可用性评估的最后一步，我们进行了半结构化访谈，向参与者汇报他们使用与感知益处、有用性和使用意图相关的LOOP的经验(文本框1)．在每次可用性评估结束时，我们要求对他们的可用性评估经验进行反馈，观察员有机会就任务分析中的观察结果提出后续问题。

数据分析

在每个可用性评估会议之后，研究团队进行汇报，将他们的数据上传到一个安全的团队文件夹，并通过比较笔记来共同总结性能指标、关键发现和要解决的问题，以达成共识。用户在测试过程中提出的问题以及他们的半结构化访谈被归类为前端(设计)或后端(数据基础设施)挑战。此外，问题根据对用户的好处(显著好处/最小好处)和解决的努力(简单、中等、困难)进行了分类。为了对前可用性和后可用性评估调查结果以及任务时间进行统计分析，使用R 4.0.3 (R Core Team)计算描述性统计数据并将数据可视化。

结果

第一阶段:HCD框架下的概念发展

框架与计划

通过共同创造会议，研究团队就一个明确的重点达成了共识，即为EM提供者创建一个基于患者的治疗结果的封闭反馈循环。团队还确定了完成项目其余阶段的步骤，这些步骤将在下面进一步定义。

研究与综合

设计研究人员在两个急诊科站点完成了18人小时的工作流程观察，并对11名急诊临床医生进行了半结构化访谈。参加急诊医师、住院医师和高级执业医师参与观察和访谈。调查由24名主治急诊医生完成。在观察和访谈中出现了几个重要的主题表2．观察到许多急诊临床医生使用自行设计的变通解决方案来跟踪急诊科遇到的患者结果，包括手动创建患者列表(电子或手写)，以促进未来的EHR审查和与患者交换联系信息;其他人在采访中也报告了类似的方法。我们发现急诊临床医生渴望了解急诊后遇到的患者结果，并认为这种类型的反馈对基于实践的学习很重要。他们还报告说，这些信息在大多数情况下是不可用的，即使可用，也主要是负面的(即与不良患者结果相关)。一些临床医生报告说，这些策略只有在时间允许的情况下才有效，这在急诊科环境中是一个持续的挑战。

调查结果进一步支持了这些主题。据报道，了解患者预后情况最常见的方式是手动EHR图表复查(24名受访急诊临床医生中有20名)，其次是电子邮件(7/24)、电话(5/24)和同事与患者之间的面对面交流(4/24)。一小部分急诊临床医生(2/24)报告说，在发病率和死亡率会议上“偶然”了解了结果，这进一步强化了急诊临床医生获得的大多数反馈都是负面的观点。四分之三(18/24)的受访者更喜欢同时收到积极和消极的反馈，而6人更喜欢只收到与消极结果相关的反馈。大多数急诊临床医生想知道患者是否在入院后不久(20/24)需要升级护理级别(例如，从楼层转移到重症监护病房)，在住院期间死亡(15/24)，入院时的诊断(ED诊断)与出院时的诊断(住院诊断)之间存在差异(14/24)，或在ED出院后的短时间窗口内返回进行重复ED评估(16/24)。较少接受调查的临床医生(<30%)希望在患者填写急诊科处方、访问紧急护理诊所、随访初级保健医生或在急诊科离开后住院环境中改变药物治疗方案时得到通知。

使用在设计研究活动中收集的信息，还定义了用户角色、指导设计原则和机会领域。生成了六个用户角色，它们跨越了年龄组、学习风格和技术的亲和力，并用于驱动迭代工具设计和开发，并执行原型的内部测试(图2)．所有未来设计和开发活动将围绕的设计原则包括:(1)对临床医生实践的价值的认可和展示，(2)通过知识构建捕捉好奇心并鼓励行动，(3)明确和简单的信息传递的优先级，以及(4)保持灵活性，以响应最终用户临床医生在整个协同设计过程中出现的需求和偏好。最后，确定了有意义影响的4个主要机会领域:(1)提供平衡的正面和负面反馈，(2)提供反馈格式，允许在不压倒临床医生的情况下改进决策，(3)提供人群水平和患者水平的结果数据，以及(4)创建一个可在临床医生个人层面定制的平台。

‎ 查看此图

构思、原型和迭代

在我们的多利益相关者构思会议期间，设计师与工程师、数据专家和最终用户EM临床医生合作，翻译了主题，机会领域，和设计原则上面变成了一套目标设计特点这将指导我们的工具的模拟原型。中显示了本次会议产生的设计特性表3．然后，每位参与的EM临床医生被分配一名临床医生用户角色，并为该角色生成反馈平台的2D草图表示(第一个原型)(参见图3一个典型的例子)。尽管所有的设计特征都是通过用户生成的原型来表示的，但是全面的患者名单，数据标签,和EHR的互操作性在所有原型中都观察到。在接下来的几周时间里，设计师分析了用户原型，并通过迭代开发出了包含尽可能多设计功能的最终模拟原型。

‎ 查看此图

第二阶段:技术平台开发

如图3，模拟原型逐步过渡到数字反馈平台。LOOP的第一个数字版本是使用没有连接到实时数据流的设计软件开发的。最早版本(图3A)开发侧重于纳入第一阶段构思时定义的设计特征，而后期版本侧重于建立维度，以促进患者归属于个别临床医生，并允许按时间和结果对数据进行排序和过滤(图3A).最后，将数字平台转化为我们医疗系统使用的分析软件(图3A)并优化以接受标准化EHR数据的实时反馈。数字开发的每个阶段都包括终端用户EM临床医生、工程师和数据分析师。工程师和数据分析师确保平台在技术上是可行的，而最终用户则确保它的功能，并与我们HCD工作室期间生成的主题和设计原则保持一致。早期最终用户原型中所包含的大多数设计特性(表3)被包含在LOOP的最终版本中，包括全面的列表，EHR interoperability,数据标签,和家医院/切换（图3B).其他特征，包括钉住病人，计时器的任务,和通知提醒，并没有作为最终平台的明确功能，但与这些功能相关的任务可以在平台中使用其他机制执行。其他人,包括发光的时刻和病人的时间表,由于技术限制，最终的平台没有包含这些功能，但我们将在未来的版本中加入这些功能。

阶段3:可用性评估

对于可用性评估，我们的研究人群包括12名EM提供者，其中6名(50%)为女性。主治医师3名(25%)，住院医师7名(58%)，高级执业医师2名(17%)。中位年龄为33.5岁(IQR 28-38.3岁)。可用性评估会议持续时间从30分钟到45分钟不等。

Pre-LOOP调查

当被问及他们目前确定患者预后的方法时，每周随访患者预后的中位数时间为1.5小时(范围0.5-3.5小时)。在12家急诊供应商中，9家(75%)描述了他们目前的方法是手动将每个患者添加到EHR的定制列表中;2人(17%)表示他们手写病人名单，1人(8%)没有追踪病人结果的方法。参与者对他们目前确定患者结果的方法的态度表明有改进的空间。当被问及他们对“我可能/愿意使用我目前的方法检查我的病人”这一陈述的同意程度时，11名(92%)用户“非常不同意”或“不同意”;8名(67%)用户不同意“我相信我能够使用我目前的方法在我的病人身上找到的数据”这一陈述。大多数用户(9/ 12,75%)“同意”或“非常同意”使用他们目前的方法收集的数据代表了所有患者的总体趋势。图4显示参与者对获得结果的有用性的态度。大多数用户报告说，能够访问所有3个结果在个体患者层面和他们的所有患者“非常有用”。

‎ 查看此图

任务分析

对参与者的任务分析使用LOOP来查找过去30天内患者的所有3种结果，在1.09分钟(范围0.7-4.3分钟)内完成。完成所有3个特殊功能任务(例如，从LOOP导航到电子记录，将患者信息通过电子邮件发送给同事，浏览LOOP的过滤器功能)的中位数时间为6.9分钟(范围1.7-12.2)。在这个任务分析中，重要的观察例子是(1)用户花时间解释图表，而不是注意到屏幕上其他地方的总结数字;(2)数据显示错误。

Post-LOOP调查和访谈

loop后调查完成时间中位数为1.8分钟(范围1.1-2.7分钟)。参与者对经历每种结局的患者数量的了解与LOOP中观察到的结果不同(图S1)多媒体)．参与者低估了在医院死亡的患者数量，但高估了需要升级护理结果的患者数量。值得注意的是，有一名参与者因在最初的调查中没有回应而被排除在外(图S2)多媒体附件4)．在使用LOOP后，参与者对过去30天内每个患者预后的估计的态度有所改善(图S2)多媒体附件4)．值得注意的是，1名参与者仅因为“您确定所有患者的结果有多容易?”这个问题被排除在分析之外。由于在loop后调查中没有回应，所有3个结果都是如此。对于所有3种结果，使用LOOP后，用户从感觉在个人和累积患者水平上确定结果“不容易”转变为感觉“非常容易”。此外，在使用LOOP后，他们对自己的估计从感觉“不自信”和“有点自信”变成了总体上“非常自信”。参与者对LOOP的态度总体上是正面的(图5)．从0(不太可能)到10(最有可能)，用户可能会向同事推荐LOOP(得分=9.5)。半结构化访谈，向用户汇报他们的LOOP体验，有助于我们进一步了解他们对LOOP的看法。用户确定了LOOP的几个好处，比如可以访问原本没有时间或远见的患者的数据。一位用户称LOOP比他们目前的方法“更系统”。重要的是，受训者认为有机会使用LOOP作为一种教育工具，促进与他们的主治医生讨论以前的病例，结果令人惊讶。一位用户评论说，LOOP是一个“让你成为更好的临床医生的绝佳学习工具”。关于所确定的问题，所收到的建设性反馈是有益的，可以加以解决。许多关注点都集中在协调可视化布局与主页上的功能以及跨平台的功能(例如，将摘要编号与相应的患者列表连接起来)。另一个问题是改进过滤列表的默认值和布局; therefore, the interaction was more intuitive. The ability to discuss with the users while having the tool in front of them to demonstrate the concerns and possible improvements was highly informative.

‎ 查看此图

讨论

主要结果

利用以前未充分利用的EHR数据，LOOP的设计和开发能够向急诊临床医生系统地提供个性化的患者结果反馈。该平台允许急诊临床医生(1)在个体患者水平上快速查看急诊后的结果，(2)查看普查中所有患者的结果，以及(3)根据用户偏好定制数据视图。我们的可用性评估表明，该工具易于使用，LOOP中提供的信息被最终用户视为有价值和可靠的。可用性评估还显示，目前EM临床医生还不知道LOOP中提供的信息。我们的团队创建了一个既有用又实用的工具，这是通过一个以HCD原则为中心的过程，以及在设计和开发的每个阶段纳入最终用户的承诺实现的。虽然这里报告的LOOP版本只包括一组选定的结果(住院死亡率、住院患者护理升级水平和急诊科回访)，但该工具的设计具有灵活性，可以根据用户反馈和临床需求持续快速整合其他结果。

与之前工作的比较

在急诊中缺乏患者结果反馈是有据可据的，这是认识到这一信息的重要性，并渴望在急诊临床医生中接受它[6，10，17，26］．与患者结果相关的详细信息定期收集并存储在EHR数据基础设施中;有机会通过标准化和向临床医生提供这些信息来实现基于实践的学习和改进[19，20.］．然而，在急诊中提供患者结果反馈的大多数努力依赖于模拟和非系统的方法，如手动创建患者随访列表或临床医生给患者打电话[18，27-29］．这些方法都是劳动密集型和耗时的。它们也有可能促进认知偏见。当临床医生自己选择患者进行随访时，他们通常会关注那些他们已经认为具有挑战性或不良结果风险最高的病例[30.，31］．LOOP使用的自动化和全面的数据传递方法确保临床医生收到可靠的无偏见的结果数据，包括使用先前描述的方法无法发现的意外信息。暴露这些结果对于早期职业生涯和经验丰富的临床医生都很重要，因为意外事件揭示了无意识的缺陷，并提供了提高能力和提高所提供护理质量和安全性的机会[18，32-34］．

之前利用电子病历数据改善急诊实践的努力主要集中在开发仪表板，以指导急诊操作管理或增强急诊期间患者数据的实时显示[35-37］．据我们所知，LOOP是第一个将EHR数据转换为急诊患者结果反馈的工具，供个别急诊临床医生使用。通过LOOP系统地提供这些数据，有助于在EM中进行刻意练习，在持续反馈和重新评估的驱动下，可以通过重复行动和技能改进来发展专业知识[7，38，39］．这种基于实践的学习对临床医生的个人和专业发展至关重要，是ACGME和ABMS的强制性要求[2，3.］．个性化电子病历数据流的生成和自动化，以填补结果知识缺口，是电子病历体验式学习的重要一步。它也代表着向更有意义地使用电子病历和开发学习型医疗保健系统迈出了一步，这两者都是我国医疗保健系统的主要目标[40］．

实用可用性评估

虽然LOOP提供的信息的潜在价值是显而易见的，但它在现实世界中的效用取决于最终用户的接受程度和长期采用。用户界面和信息显示极大地影响了一个工具是否被用户所采用[41］．与我们的HCD工作室相关的活动表明，LOOP的潜在用户(EM临床医生)在临床经验、对技术的经验和舒适度、当前基于实践的学习行为和期望的患者结果反馈方面存在很大差异——所有这些都在我们的HCD过程中得到了考虑。我们使用了一种稳健而实用的评估方法，允许在接近真实世界的环境中评估LOOP。我们的评估基于知识、技能和态度框架[42]，包括直接观察和任务分析，当用户与工具交互以查找真实患者遭遇的信息时，包括标准可用性问题和评估知识和态度的调查，允许与当前实践进行比较，以及进一步探讨这些主题的半结构化访谈。我们还在不同的、具有代表性的终端用户组中进行了评估。我们的发现几乎都是积极的。

以人为本的设计

我们承诺在这个项目的每个阶段都使用HCD方法，这对它的成功至关重要。将用户的意见纳入信息技术平台的发展，现在被认为是卫生保健的必要条件[43］．先前报道的临床医生用户参与类似项目的情况是不同的，一些小组将他们的参与限制在构思、实施或测试阶段[36，37，44］．据我们所知，这里使用的HCD方法是迄今为止报道的最有意和最广泛的方法之一。这种方法是由我们的多学科团队结构实现的。临床医生-科学家、工程师和设计师之间的纵向合作允许通过多个镜头解释最终用户的贡献，并确保我们工作的最终产品是用户生成规范的全面表示。我们相信这增加了终端用户对最终产品的信任，并将转化为临床实践中更高的采用率。我们的可用性评估结果表明这是正确的。

限制

这项研究有几个局限性。首先，这项研究是在一个单一的医疗保健系统内进行的，这可能会限制其概括性。然而，我们在设计、开发和评估活动中纳入了来自不同实践环境(城市学术和郊区社区)和培训水平(主治急诊医生、住院医生、高级执业提供者)的最终用户急诊临床医生，最大限度地减少了这种限制。此外，我们对EHR数据规范化和表示的HCD重点和技术方法都是可重复和可推广的。整合临床工作人员需求的反馈平台可以由其他小组使用类似的方法方法生成。其次，我们的可用性评估是在相对较小的EM临床医生样本中进行的。通过纳入多样化和有代表性的用户群体，以及包括调查、直接观察和半结构化访谈在内的各种定性评估技术，这种限制被最小化。我们的样本量与之前其他人报道的样本量一致，并且使用这些方法足以达到主题饱和[45，46］．最后，本研究没有评估LOOP对临床实践改进的长期采用率或有效性。这些都是我们团队正在进行的重要研究目标。LOOP目前在多个急诊科中使用，数据收集以促进这些问题的研究正在进行中。

结论

这项研究展示了HCD在急诊中的潜力，以及EHR数据在情景护理环境中增强基于实践的学习的力量。我们概述了一个框架，用于与终端用户EM临床医生一起开发和测试一个工具，该工具可以增强他们的临床经验，并暴露以前不可用的信息，以创建一个闭环反馈驱动的学习平台。未来的目标包括将更多的患者结果纳入环路，测量长期采用率，以及环路提供的患者结果反馈对临床实践的影响。