早期败血症识别临床决策支持系统的期望特征:医院临床医生的访谈研究

简介

背景

败血症是一种免疫系统对感染的反应失调，危及生命，是患者的重大风险，也是美国卫生保健系统的主要负担，每年有超过75万例病例，总费用接近200亿美元[1，2］．有效的脓毒症治疗的标志是及早发现并开始广谱抗生素治疗[3.，4］．然而，败血症的特点是诊断和预后的高度不确定性，这往往导致延迟识别和治疗，特别是在医院中发生败血症的患者。

为方便及时识别和管理败血症，我们开发了几种机器学习预测算法，并将其集成到基于电子健康记录的警报和临床决策支持系统[5-7］．尽管部署这样的CDS系统很常见，但几乎没有高质量的证据表明它们在改善护理过程或临床结果方面可靠有效[5，6］．先前的一些研究已经确定了将败血症CDS系统成功整合到临床实践中的障碍，包括诊断准确性差，教育和实施策略差，以及临床医生对不熟悉系统的不信任[8，9］．与此同时，针对脓毒症特异性CDS系统的人为因素研究主要集中在视觉信息的显示上，而忽视了团队层面的动态和临床层面的情感和认知影响[10-12］．预测模型的用户界面通常由复杂的统计学习算法构建，可能会向临床医生提供难以解释的输出，有时与临床直觉相反，从而降低了采用的可能性[12，13］．

客观的

为了解决这些研究差距，我们试图从经常护理脓毒症患者的多学科医院临床医生小组中，诱导对假设的以脓毒症为重点的预测性CDS系统的观点和偏好。我们采用定性的半结构化访谈，以人为因素方法为依据，确定临床医生对使用警报的临床和团队层面的重要观点。我们的目标是引出这些信息，为未来败血症早期预警CDS工具的设计和实现提供信息。

方法

概述

为了研究败血症CDS系统如何整合到临床工作流程中，并获得临床医生对预测信息的观点和偏好，我们使用了上下文查询和认知演练等人为因素方法(由于COVID-19大流行的限制，我们通过视频而不是在参与者的工作场所进行了必要的修改)。

小插图和模拟图表开发

我们首先通过鉴别诊断败血症的临床小插图，让临床医生参与诊断和决策。研究小组准备了两篇小短文(多媒体附件1)为每个可能严重程度不同的脓毒症患者。关于脓毒症治疗的临床决策充满了与诊断和症状严重程度相关的不确定性[14］．为了探索败血症CDS系统如何在诊断和预后不确定性的全部范围内最佳地支持这种决策，我们在2个不同的小插图中改变了这种不确定性。第一个小插图是作为一个符合所有败血症标准的简单病例创建的，并且没有明显的竞争诊断。第二个小插图的创建具有更高的诊断不确定性，其中患者符合较少的正式标准，对潜在的致病过程有更广泛的鉴别诊断，但表现出更高的疾病严重程度。我们的团队与EPIC (EPIC Systems Corporation)构建专家合作，在EHR中开发了2个模拟患者图表，反映了小插图中描述的临床过程。除了回顾书面短文外，第一轮访谈的每个参与者都被要求回顾EHR中的模拟数据，并在模拟临床评估中口头表达他们的想法和考虑。在研究团队进行初步分析后，制定了与败血症相关的因素列表，并将其与小插图一起提交给第2轮参与者进行回顾。这两步流程允许研究团队成员检查我们从先前受访者中获得的结果，并确保我们获得了评估的相关因素的全面列表，完成了对可能或疑似败血症患者的鉴别诊断。

研究人口及招聘

从2020年9月到2021年2月，我们在宾夕法尼亚大学卫生系统招募了5名医生、4名高级执业提供者(护士执业人员和医生助理)和6名护理住院患者的床边护士作为便利样本。在第2轮访谈中，当3名参与者没有为我们在小插图患者的假设鉴别诊断中考虑的综合数据点列表提供任何额外因素后，我们确定我们已经达到饱和。我们通过部门领导和员工名单确定符合条件的参与者，并通过电子邮件邀请他们参加研究。我们采用了两步分层招聘方法。首先，我们使用有目的抽样来确定宾夕法尼亚大学卫生系统的一系列专科病房。其次，我们采用方便抽样的方法，直接通过电子邮件从这些病房招募临床医生。我们选择了这种方法，以促进包括来自不同护理环境的临床医生的一系列观点，同时也能及时完成招募。所有参与者在网络访谈开始时口头表示同意参与，并获得一张50美元的礼品卡以完成研究。

道德的考虑

宾夕法尼亚大学的机构审查委员会(协议号843819)认为该协议是豁免的。

访谈指南，数据收集和分析

访谈由定性研究专家(JS)或具有广泛定性培训的博士级共同研究者(SR)通过视频会议进行。在访谈过程中，研究团队的临床研究协调员(TK和NB)记录了他们的回答。为了减少对假设患者的诊断偏倚，在访谈过程中没有经过临床培训的研究人员或败血症专家在场。当护士和医生讨论脓毒症警报的预期方面或其他感兴趣的话题时，采访者认真地遵循这些询问路线，提出开放式问题以获得全面的回答。在每次访谈中，参与者都会看到两个小插图(一个简单的小插图后面是一个更复杂、诊断上模棱两可的小插图)，并被问及他们的沟通和决策过程。随后进行了一轮EHR演练和考虑败血症时相关因素的审查。在让每位参与者参与这项任务后，我们询问了他们之前的经验，以及他们对与护理疑似败血症患者相关的预测信息的偏好。每次访谈持续约45分钟，记录并进行专业转录，并在分析前进行鉴定。本研究报告了与预测信息的偏好和观点相关的发现，而侧重于决策的结果将单独报告。

我们首先采访了3名在败血症管理方面经验丰富的临床医生(1名医生和2名床边护士)，以测试我们的采访指南和模拟EHR数据的准确性和有效性。访谈指南不断更新，以反映新出现的主题和问题。所有随后的访谈都是与在病房(全科、肿瘤科、肺科、神经外科和老年医学)工作的临床医生进行的。最初的访谈问题旨在使参与者积极决策并引出鉴别诊断。随后的问题旨在引出在诊断和管理脓毒症疑似患者时，预测性脓毒症警报对工作流程和决策的潜在影响，包括对未来潜在脓毒症警报的偏好和可接受性。

在这项定性研究中，我们使用了溯因分析方法，其中现有的理论可以建立在归纳和演绎方法的组合之上，以编码和强调新的或令人惊讶的发现[15，16］．为了让我们的代码本的开发更加完善，团队的3名成员(JS、SR和GW)首先独立地确定了主题，然后会面讨论共性。此外，我们的访谈指南还包括对先前研究中确定的与CDS发展密不可分的几个因素的调查[17］．一半的成绩单由至少两名研究团队成员(JS、SR和GW)审查和编码;所有的分歧都通过协商一致得以和解。剩下的抄本由研究团队的一名成员(JS)编码。

结果

概述

我们对5名医生、4名应用医师和6名护士进行了15次访谈(表1)．通过专题分析，我们确定了在诊断和管理疑似败血症患者时，与采用的可能性及其对临床工作流程的影响相关的4个广泛主题。第一个主题是临床医生对预测模型的看法，包括影响临床医生如何看待预测信息的积极和消极情绪。第二个主题是临床医生之前在当地卫生系统和国家认可的败血症识别工具中遇到的预测信息和风险评分的经验。第三个主题集中于CDS系统构建所需的特征，包括预测、支持信息和潜在警报的交付方法。第四个主题包括临床相关性和潜在效用的CDS系统为其目标受众。中详细介绍了这些主题，包括每个主要主题的代码、定义和示例表2．此外，还提供了选择的说明性引用，为确定的主题提供额外的上下文。

临床医生的看法

临床医生对预测信息的感知，包括积极和消极情绪，与他们对警报的信任密切相关。许多研究参与者认为，临床医生对CDS系统背景和开发的了解有助于在临床环境中部署该系统:

我是那种参加研讨会和循证医学演讲的人，所以我会参加这样的活动。这是获取信息的有效方法。我认为，任何有助于确定它是如何制成的信息，无论是来自医院的研究，还是来自不同文章中获得的证据。我认为这样的事情确实很有分量，特别是如果算法中有一些东西不能立即直观地形成-不是你想象的那样。掌握一些信息有助于了解你是如何走到这一步的，因为这样你就能学到一些东西。
【高级实践提供者3】

与会者描述了临床医生参与和教育的其他方法，这些方法将促进接受新的警报，例如在现有的信息共享场所展示警报的背景信息，分发以前的研究，以及临床领导为使用警报的人员提供教育机会:

每当医院有新事情发生的时候我们都要开会…有时团队会说，我们有这个新产品，我们正在实施，或者有一个新的脓毒症协议，所以团队会有点圆…然后和领导团队一起工作，因为他们真的可以传播，每周很多领导团队都会传播新事物。所以CNS(临床护士专家)和CPL(临床实践负责人)团队在培训护士方面做得很好。所以我觉得如果有什么新实施的东西，这些团队会特别帮助你制定一个可能的计划。
[床边护士3]

临床医生的评估可能与警报中的预测不一致，从而降低了对算法的信任。临床医生对警报有负面看法，认为它们可能不准确或发出太频繁:

所以，我希望看到一些东西，而不是每次都触发一个小的心率变化，因为可能我的病人刚刚在物理治疗中散步，或者刚起床，他们的心率是120，但他们也是两周内第一次起床。
[床边护士4]

此外，当警报不可操作时，它们被视为没有帮助，对患者护理有明确的下一步:

因为，老实说，有时候EPIC中会有一些东西，很明显，会弹出。他们问你是否认为这个病人有败血症。但据我所知，现在它只是向你展示了一些生命体征，如果你已经跟踪病人几天了，你对自己的治疗计划很有信心，你就会发现，好吧，不，谢谢，或者没有怀疑败血症，然后继续前进。我的意思是，我不能告诉你有多少次我可能只是继续按下那个按钮，只是为了让它离开屏幕，因为我想做别的事情。
【高级实践提供者1】

先前的经验

在参与者中，以往以临床风险评分和EHR中嵌入的警报形式预测信息的经验很普遍。临床医生对这种风险预测有不同的经验，包括败血症特异性工具，如全身炎症反应综合征、快速顺序器官衰竭评估和ehr嵌入式预测警报。一些临床医生根据其在临床决策中的作用或不足来强调风险评分:

我确实认为这可以归结为整个问题，比如，修改的SOFA和qSOFA标准，甚至是SIRS，在某种意义上，如果病人表现出超过三种，四种甚至五种症状，如果我是负责在没有警报的情况下识别它的人，那对我来说就没有多大价值了。这就是为什么没有人使用SOFA标准的原因因为有9种不同的东西，我记不起来。
(医生4)

几位临床医生与之前部署的早期预警系统进行了个人互动，并借鉴了这些经验来反思脓毒症特异性CDS系统的有用性:

我不知道这在EPIC是否仍然可用，在宾夕法尼亚大学已经没有了，但我知道曾经有一个基于过去弹出的数据的筛选工具。我不知道你是否熟悉这个。我记得我输入了某些生命体征，然后收到了一个通知，说这个病人有败血症的风险。但我认为这有助于及早发现趋势，这些趋势是如此微小，以至于护理人员可能不会想到任何事情。我认为他们一度取消了它，只是因为它爆炸的频率太高，而且并不总是百分之百准确。
[床边护士2]

总的来说，除了扰乱通常的临床工作流程外，这些警报被描述为不利的，因为它们被认为频率高、准确性低。

所需的特点

临床医生描述了潜在预测模型和警报的期望特征，包括其对临床结果的预测，关于患者状态的支持信息，以及传递它的平台:

比如免疫抑制状态，他们是否在服用免疫抑制药物，他们是否有潜在的恶性肿瘤，他们是否有感染的风险因素，年龄，如果他们是社区居民，或者他们是否来自养老院或护理机构，如果他们住院——已经住院的病人。这些都是我会考虑的事情。
【高级实践提供者2】

参与者寻求一个警报，该警报将在不久的将来提供关于特定临床结果的预测。死亡风险、未来重症监护病房转院需求、抗生素或机械通气需求、败血症或感染性休克风险被建议作为提示的有用临床结果。临床医生也表达了对数字数据的偏好，以说明患者对特定结果的风险。尽管对于具体的阈值没有达成一致，但许多临床医生认为，简单的语言，如“您的患者在未来24小时内有80%的机会发生感染性休克”，在临床上是可行的:

如果有人告诉我这个病人，有可能，我不知道，超过30%的住院死亡率，我可能会更有可能使用抗生素....其他的标准，我猜你可以说出院的机会和康复机构。在我看来，这表明我们是否足够快地发现感染，使他们的虚弱程度减轻，他们可以回家，或者他们如此虚弱，因为我们等了太久，他们现在需要去物理治疗专业护理机构几周。其他的事情，我认为他们有百分之几的几率需要进ICU，例如，因为也许现在当我发现感染和败血症时，你不需要进ICU，但如果有人告诉我这个病人有33%的几率进ICU，我可能会倾向于更快地采取行动。
(医生3)

此外，对于临床医生来说，提供有关患者临床表现的适当支持信息，以结合风险预测是很重要的。发烧、心率和实验室值等趋势对于优先跟踪患者随时间变化的趋势而不是查看孤立值的临床医生尤为重要。其他需要的警报功能包括实验室结果和生命体征的趋势，假警报的减少，以及关于哪些变量驱动模型预测的解释内容:

再一次，融入趋势的概念。就像这种异常有多新，异常意味着不仅仅是生命体征，还有实验室值和取向状态以及所有这些与败血症相关的东西。
[床边护士4]

我想，对我来说，这些趋势是如此有用，以至于我知道在哪里可以找到它们。但这不是超级直观的，在Epic中，当你看到一个白数时，你需要滚动来查看白数是多少。
【高级实践提供者4】

与会者一致认为，不引人注目的警报传递方式是最好的。临床医生喜欢一个易于访问的位置，如EHR中的患者摘要选项卡或图表咨询部分，或在查看实验室结果时突出显示关注的价值的标志。在浏览电子医疗记录的其他区域之前，需要确认的警报(例如最佳实践咨询)会被视为不可取的。警报与软停止-不需要用户确认的通知-为未来的行动提供指导，并且可以在临床医生方便的时候访问，是首选:

把它和图表提示放在一起。它每隔一段时间就会出现。不是每次你打开EPIC，而是在它第一次生成图表咨询后，你必须承认它，给出一个原因，就像提供者通知。然后它会消失一段时间。不是每次你打开该死的图表都会出现。
[床边护士5]

潜在的实用程序

临床医生强烈认为，警报的效用将是其成功不可或缺的一部分。我们认为，将相关信息传递给适当的受众以及对临床护理的积极影响是影响CDS系统感知效用的两个重要因素。来自所有临床角色的参与者建议向败血症不常见的特定单位发出警报，或向不经常在出现败血症的病房轮换的临床医生发出警报:

对于我们这些一直在治疗感染的内科医生来说，我不认为这有什么帮助，除非你是新手。我认为这对那些不经常照顾这类病人的人是最有帮助的，比如在某种程度上，外科或超亚专科的人总是把这交给别人。
【高级实践提供者2】

一些护士认为，警报对负责下订单的临床医生比对整个团队更有利，因为临床医生不太可能观察到患者的增量时间变化，但却负责做出抗生素给药决定:

所以，我想说的是，这对那些不在病人床边的医护人员更有帮助，他们有时甚至从来没有亲眼看过病人。所以，尤其是在夜班。在夜班时，提供者不会来看病人，除非护士提醒了他们一些临床症状。
[床边护士5]

临床医生一致认为需要直接影响患者护理的可操作警报，例如更频繁的监测，订购额外或重复的检测，以及开始败血症方案或抗生素:

当然，一件重要的事情是，合理使用抗生素，以确保我们不会过度治疗病人。所以，也许有些东西可以提醒你在24小时内重新评估你的抗生素使用情况，这可能是有帮助的。因为很多时候，当我们不确定发生了什么时，我们一开始就添加了很多，然后我们得到了更多的信息，然后我们-开始剥离东西是合适的。有时不是，我们不知道发生了什么，所以我们继续凭经验对待别人。但这样的事情可能有助于促使你真正思考你正在做的抗生素决定，并思考抗菌素管理。
【高级实践提供者3】

此外，医生和app认识到警报可能对抗生素管理产生积极影响，而护士指出，可以使用以前的CDS工具来促进为患者辩护，并促进与更大的护理团队的对话:

当警报响起时，是的，你必须通知主管护士，团队成员必须马上来到床边，你必须制定一个计划，说，好吧，我们要进行培养。现在我觉得，我们没有警报，但是护士和整个团队在提醒团队方面做得很好，确保像电话一样，倡导血液培养和所有这些事情……所以我觉得我们有一个非常好的-自从他们停止了警报，我没有看到-我没有意识到像护理人员没有通知团队，倡导正确的事情，或者团队没有适当地开始事情。
[床边护士3]

讨论

主要研究结果

为了准备在学术卫生系统中建立和实施预测败血症CDS警报，我们采访了医生、app和护士，了解他们在临床工作流程中对预测败血症CDS系统的经验和看法。我们在这些访谈中确定了主题，这些主题为增加采用的可能性、提高临床效果和在医院临床医生中建立对警报的信任提供了战略见解。这些发现对开发脓毒症为重点的决策支持工具和为创建可信和可操作的CDS系统提供指导有几个意义。

临床医生的看法

与会者表示有兴趣参与临床医生的参与，并在部署前开展有关预测CDS系统的教育活动。具体来说，参与者表示有兴趣了解模型是如何开发的，预测中有哪些具体因素，以及如何与预测警报进行交互。这些发现补充了之前的工作，表明关于人工智能在医疗保健领域越来越多的存在的培训和教育可以扩展到组织层面，以提高临床工作人员的机器学习素养，并克服采用CDS的一些障碍[9，18］．曾经接触过或接受过CDS模型开发教育的受访临床医生对该系统有更有利的看法。临床医生和CDS开发团队之间的教育和互动机会应成为任何新的CDS系统集成的一部分。以前的证据表明，缺乏协调的实施策略降低了在以前的多个CDS探索中采用脓毒症预测警报的可能性[19］．

这些发现强调了前瞻性评估策略的好处，而不是回顾性评估策略，因为CDS的影响在很大程度上受到利益相关者采用和接受的影响[20.，21］．这与该领域最近的定性工作形成对比，该领域的定性工作主要关注临床医生对现有和以前实施的败血症警报的看法[8，9］．尽管这些回顾性分析仍然有用，但仅限于已经开发和实现的警报的特征。

先前的经验

临床医生的沮丧情绪在需要用户行动或确认的“硬停”警告中表现得很明显，通常引用最佳实践建议的经验，这些建议被视为没有帮助，并导致工作流程延迟。这种不良CDS特征的影响可导致警觉性疲劳和认知和临床工作流程的中断，这反过来又导致抗生素启动的延迟[22-24］．此前共有2项混合方法研究评估了临床医生对我们卫生系统中先前部署的败血症早期预警系统的看法，报告了低临床相关性和低影响临床患者管理的可能性[8，17］．这些警告，特别是那些与临床医生对病人的印象相矛盾的警告，得到了临床医生的不温不热的回应，因为团队被要求在短时间内与病人见面并讨论，同样干扰了病房的正常临床工作流程[17］．

所需的特点

重要的是，我们确定了床边护士和负责订购抗生素的临床医生对警戒特征的偏好。护理组的参与者谈到了脓毒症特异性预测CDS系统如何支持为患者辩护，并将关键信息传递给其他临床医生，让他们决定是否使用抗生素和其他诊断测试。床边护士表达的偏好扩展并补充了之前的研究结果，这些研究表明，护理人员更喜欢提供及时护理建议、突出治疗方案和解决患者病情的警报，而不是强调监管指南[25］．虽然床边护士并不总是被包括在败血症电子警报的接收人中[26，27]，这些发现强调了它们在护理疑似败血症患者方面的重要性，以及败血症CDS系统如何解决他们在信息收集和团队沟通方面面临的一些挑战。

医生和应用程序确定了患者EHR数据和历史的特定元素，这些元素可以帮助他们做出治疗决策。患者过去的抗生素史、微生物学数据和共病(如潜在恶性肿瘤和免疫抑制状态)都被多名临床医生认为与确定在治疗开始时使用合适的抗生素特别相关。临床医生也表达了对特定抗生素指导的偏好，以平衡治疗效果和管理。以败血症为重点的CDS应为临床医生提供方便地访问这些EHR数据元素，以促进基于警报的决策。值得注意的是，这些以治疗为重点的数据元素并没有在护士的回答中得到强调，相反，护士的回答更侧重于直接的患者护理问题，并向负责下订单的临床医生传达风险。尽管我们的一些发现，如希望看到CDS系统中的数据趋势，与先前报道的结果一致[17]，我们的结果通过确定警报本身和卫生系统在部署警报之前吸引临床医生的方法的附加特征，扩展了该领域的先前工作，这些警报可以为未来开发和部署脓毒症特异性CDS系统的规划提供信息。

潜在的实用程序

我们的参与者希望得到一个易于理解的警报，最重要的是，它是可访问的，不引人注目的，并且被认为是临床准确的。脓毒症CDS的可接受性取决于其预测准确性和以易于解释的方式呈现信息[28］．越来越多的证据调查了人为因素在CDS设计中的重要性，从警报类型到信息的文本和图形显示[25，28］．临床医生在这些方面提出了许多建议，包括在患者图表的“摘要”选项卡中显示“标记”或标记，以帮助临床医生在不中断正常工作流程的情况下识别问题。护士们特别强调，即使是一个很小的视觉信号，也可以查看患者的趋势信息，使他们能够更仔细地查看患者的时间数据，否则他们可能没有这些数据。

败血症CDS系统代表了标记警报和信息显示等技术因素与护士和医生之间沟通等社会因素之间的复杂交互作用。在设计和实施这样一个系统时，应考虑到技术及其在医院环境中的使用的详细方面。社会技术理论对这些相互作用采取了一种衡量的方法，多年来，已经发展出多种框架来提供系统设计中的概念结构。病人安全系统工程计划模型[29]强调人、技术、环境和组织之间的相互作用[30.］．另一个例子，坐姿和辛格的医疗保健社会技术框架[31，32]，包含8个维度，详细描述了计算基础设施、人机界面、临床内容和组织政策，用于评估实施系统时的障碍和促进因素。卫生保健社会技术框架特别适用于败血症CDS设计。粒度技术细节可以在框架中描述，例如区分软停止而且硬停警报，我们的临床医生讨论和具体步骤将采取承认这样的警报。在系统设计早期考虑这些区别将提高最终用户对脓毒症CDS的接受度和实用性。该框架的社会维度描述了临床工作人员之间的互动用户以及那些设计、开发和实现这些系统的人。像我们所进行的探索是成功开发脓毒症CDS的第一步，它考虑了用户的感知、过去的经验和期望的警报特征，具有很高的临床效用。

限制

我们的研究有几个局限性。首先，所有参与者都有小于10年的住院经验。因此，本研究并没有反映具有不同实践模式或不同预测CDS系统经验的更有经验的临床医生的偏好。其次，我们只采访了来自单一卫生系统的临床医生，研究结果可能无法推广到具有不同患者群体、文化、EHR系统和先前以败血症为重点的预测性CDS系统经验的其他卫生系统。然而，定性研究的预期目标是说明而非概括性，这里概述的方法提供了一个框架，用于在本地和前瞻性地引出临床医生的偏好，可以在其他地方适用。

结论

这项研究更详细地了解了临床医生对预测警报的偏好，以协助护理有潜在败血症诊断的患者。医生、应用程序和床边护士希望有一个以脓毒症为重点的预测脓毒症CDS系统，该系统值得信任，不引人注目，并且在床边被视为可操作的。败血症CDS系统不仅可以改善诊断和治疗决策，还可以促进多学科团队环境下的沟通。在模型开发之前，引出利益相关者的反馈并确定对预测警报的偏好，为临床医生的教育和推广提供了机会，这可能会提高未来败血症CDS系统的可接受性和采用程度。