提供者对初级保健低射血分数人工智能引导筛查的看法:定性研究

介绍

即将改变医疗保健的人工智能(AI)的进步受到实施挑战的阻碍[1，2呼吁关注提供者需求和以用户为中心的问题[3.，4]。随着人工智能模型越来越多地被推向护理点，一线护理团队往往需要自己解决人工智能集成的挑战[5]。需要进行研究，以确保通过在护理点成功采用人工智能工具来保留其临床价值。为了填补这一知识缺口，我们提出了一项实用试验的案例研究，在该试验中，在初级保健中引入了人工智能支持的筛查工具，以帮助识别极有可能未被识别的左室射血分数低(EF)的患者[6]。低EF经常被误诊，但可以治疗;早期诊断和治疗可以预防心力衰竭的进展，减少未来的住院和死亡率。我们对提供者对使用人工智能筛查工具的反思进行了定性分析，并为临床有效采用人工智能启用工具提出了建议。

方法

总体研究设计

一项实用的集群随机对照试验(NCT04000087)进行了评估心电图(ECG)人工智能引导筛查工具(ECG ai引导筛查低射血分数;EAGLE)在临床实践中提高了左室EF的诊断[7，8]。有关试验设计的详情载于其他地方[6]。该干预措施是一份面向提供者的行动建议报告(图1)，其中包含应用深度学习算法对患者心电图产生的筛选结果[9]。

阳性筛查结果通过电子邮件发送给供应商，提示应考虑经胸超声心动图(TTE)，并提醒他们该报告可在电子健康记录(EHR)中获得。该报告包括对人工智能算法的简要描述，以及获取更多信息的电话号码。如果没有下令进行评估或没有提供拒绝评估建议的理由，则发送后续电子邮件。

‎

焦点小组研究设计和程序

对10个初级保健小组进行了半结构化焦点小组研究。我们使用积极偏差方法来选择护理团队[10，11]。具体来说，我们选择了5个依从性最低的TTE建议的护理团队和5个依从性最高的团队，其中依从性定义为通过订购TTE来执行AI建议。每个焦点小组都由来自同一护理小组的提供者进行。在必要时进行个别访谈以适应提供者的时间表。讨论主题包括提供者使用人工智能工具的经验以及他们对人工智能在医学中的态度。在2019年12月至2020年2月期间，共进行了7个焦点小组和5个个人访谈，涉及29名提供者，包括医生、医师助理和执业护士。参与者特征总结为表1。2位采访者和所有采访者对护理团队的依从性状况不知情，以实现坦诚，非防御性的谈话，并避免使采访者产生偏见[12]。所有的焦点小组录音，逐字抄写，去识别，并审查准确性。

数据分析

主题分析用于确定关于临床医生使用人工智能筛查工具的经验和观点的主要主题[13-15]。两个研究人员(BB和XZ)开放编码转录本，然后将开放代码分类为主题。然后，主题之间的关系以主主题和副主题的层次结构进行阐述。当确定新的类别和主题时，对专题结构进行了修订。分析备忘录被用来总结研究结果。NVivo软件(版本12;采用QSR International)进行分析。在编码过程中，研究人员并不知道护理团队的依从性状况。在对所有转录本进行编码以评估组间差异后，研究人员向研究人员揭示了依从性状况。

伦理批准

这些方法按照相关指南和法规进行，并得到梅奥诊所机构审查委员会(IRB #19-003137)的批准。该试验于2019年6月27日在ClinicalTrials.gov (NCT04000087)注册。

结果

观点和主题

所有供应商都至少获得了一个积极的人工智能筛选结果，并能够正确描述人工智能工具的功能和目的。提供者对人工智能工具的价值持两极分化的观点:一些人表示该工具可以改善患者护理，而另一些人则认为它是不必要的或昂贵的。不满意的提供者同意珩磨工具及其交付将增加价值，然而一小部分提供者不同意对工具的需求。

我们没有观察到高依从性和低依从性的护理团队在主题上的显著差异。我们确定了提供者对人工智能工具使用的7个主要主题:(1)有希望的临床价值，(2)与临床推理的整合，(3)成本效益和资源分配，(4)提供者培训，(5)工作流集成，(6)护理路径协调，(7)提供者与患者的沟通。

有前景的临床价值

提供者相信人工智能工具能够识别有心力衰竭风险的无症状患者。提供者看到了一个机会，可以加速对那些可能无法报告低EF症状的患者的护理，并看到了实施早期管理以拯救急性心脏事件患者的价值。供应商还指出，人工智能工具能够比供应商更快地评估心电图，从而提高护理效率。

(结果)绝对是不正常的，我能够和这个病人谈论生活方式的改变，实际上在我背后有一些东西。
[焦点小组#12]

我仍然在按下订单的按钮，因为我同意它，但是，你知道，做它背后的所有细节，如果这些都为我完成了，那么我就可以把时间集中在只有我才能做的事情上。
[焦点小组#9]

结合临床推理

基于该工具在临床试验中的适用性，提供者表达了对其效用和长期患者利益的担忧。他们担心增加的负担，特别是当筛查对患者的临床情况(如先前存在的心血管疾病)没有用处时，并指出，对于某些患者，其他医疗优先事项(如癌症治疗)可能优先于启动TTE和低EF治疗。如果患者的医疗记录中有之前的TTE，提供者对何时订购新的TTE缺乏明确的指导表示担忧。一些提供者不确定人工智能工具可以在多大程度上改善患者的长期健康结果，并指出治疗可能有心力衰竭风险但尚未表现出任何症状的患者的障碍，这表明可能缺乏对无症状低EF治疗的循证建议的了解。

他们都知道心脏病。我说，“这说不通啊。”在开始做了几次之后，我开始几乎无视了。
[焦点小组#10]

我只有三个，而且我知道。我非常了解他们，所以当我得到一个终末期肝功能衰竭，肝硬化，穿刺的时候，我立刻知道那是无效的，或者不一定无效，但这是正确的吗?
[焦点小组#12]

供应商衡量了人工智能相对于他们自己的能力。一些供应商认为，人工智能工具在识别模式以识别无症状病例方面更胜一筹。其他一些人更喜欢面对面的体检和持续的护理。一些医疗服务提供者还担心，如果人工智能算法接受的训练数据与他们的患者分组不一致，可能会出现偏差。

很好，我收到通知了。我会错过它(诊断)。
[焦点小组#10]

我们可以通过远程监控做很多事情，但我需要触摸你，我需要倾听你，我需要倾听你的心脏。所以如果有什么东西被触发了，我不在乎。
[焦点小组#7]

到目前为止，与人工智能的斗争一直是由于输入的数据而出现故障，其中很多是因为我们的地理或社会或我们的。
(应聘者# 5)

有偏见。
[应聘者# 3;焦点小组1]

成本效益和资源分配

鉴于目前缺乏结果数据，一些提供者质疑推荐的TTE随访的成本效益，并指出当筛查结果为假阳性时，成本尤其令人担忧。一些临床医生担心保险的覆盖范围。一些临床医生指出，通过优化治疗计划和预防心力衰竭住院治疗，可以节省潜在的累积成本。然而，供应商指出，由于人工智能筛查呈阳性，TTE订单量的增加可能会延迟对更紧急TTE需求的患者的护理。

你可以告诉他们，谢天谢地，这很正常。很明显，心电图显示出一些潜在的担忧。我们有好消息，一切正常。我们会继续优化你的治疗。话虽如此，也要几千美元。
[焦点小组#8]

供应商培训

提供者记得在会议和电子邮件中被部门领导介绍过人工智能工具和试验方案，但当他们收到人工智能结果时却不记得这些信息。提供者报告说，他们有时非常赞同试验的目标，但发现很难将指令(例如，根据人工智能结果订购TTE)翻译到他们的护理环境中。领导层的支持让人们对人工智能工具产生了意想不到的高期望，当积极筛选的数量低于预期时，人们会感到失望。供应商还表示，他们不记得如何在电子病历中找到人工智能报告，也没有时间阅读培训包。

正确的。我是说，第一封邀请我们的邮件，我读了两段。“孩子，这听起来是个好主意。”然后突然之间，我们得到了这本书，然后突然之间，他们(人工智能结果)开始出现。你只是迷路了。
[焦点小组#10]

不。我们没看录像。
(应聘者# 3)

就在那里，如果它需要一个视频和半个小时的讲座来弄清楚在哪里[找到报告]，那么它可能不合适。
[应聘者# 1;焦点小组1]

工作流集成

供应商没有意识到，由于系统安全问题、食品和药物管理局的规定以及IT障碍，在电子病历之外通过电子邮件通知交付人工智能结果，这使数字工作流程支离破碎。在收到人工智能结果电子邮件通知后，供应商很少访问EHR中的人工智能报告。反复发出提醒邮件，敦促供应商对未解决的人工智能结果采取行动，这令人恼火，并造成了哪些警报已经完成、哪些警报需要关注的混乱。人工智能结果交付没有被安排在预定的访问中，这造成了额外的文书和认知负担，并占用了提供者已经繁忙的日程安排的时间。

心电图显示你可能会做一个回声，如果我和病人在一起，就完成了，但对[受访者]来说，这是在不连续的时候，没有必要。这是一个额外的半小时的电话，我只是没有时间。
[焦点小组1]

我收到了电子邮件，这让我很难找到，因为它没有链接到图表上。
[焦点小组#3]

护理途径协调

人工智能报告总是发送给患者的初级保健提供者，而不管为什么以及由谁订购心电图，这导致初级保健提供者对护理协调和监管链感到困惑。如果人工智能结果电子邮件警报来自初级保健以外的心电图(例如，在急诊科)，初级保健提供者质疑这些人工智能结果是否在他们的责任范围内。一些医疗服务提供者认为，他们被夹在了现有的护理途径(例如手术)和人工智能结果建议的可能新的或冗余的护理途径之间。他们觉得自己陷入了一个尴尬的境地，要么无视警报，要么把结果告诉已经意识到的同事。在这些情况下，人工智能工具被认为没有在护理途径中进行逻辑协调。

他现在在医院，心脏科肯定也在，所以我只是提醒了他们一下。
[焦点小组#2]

鹰的东西触发了我们。我们不知道我们是否应该跟进并做所有的事情。我不知道我是否做了心电图。
[焦点小组#6]

我是个细微处的人，所以如果有人的心电图不正常，我会看他们的心电图。我看着它们的回声。这给PCP带来了相当大的负担，因为无论它在哪里订购，它都会以PCP的形式返回给我。
[焦点小组#8]

Provider-Patient沟通

一些医疗服务提供者表示，在就诊环境之外产生的意外结果，缺乏深度学习的可解释性，以及缺乏关于假阳性的报告指南，使得将结果传达给患者具有挑战性和耗时。在对医患联盟和医患士气最坏的情况下，患者认为人工智能纠正了医患犯的错误。如果结果在没有提供者监督和沟通的情况下自动传递给患者，那么患者是否能够理解和应对人工智能结果，提供者之间存在分歧。一些提供者认为人工智能工具是新的和复杂的，而另一些人则认为它类似于患者已经视为常规的筛查(例如，血液检查)。

你必须向病人解释当EF低时你该怎么做;“你怎么还没想出来呢，某某医生?如果你是一个伟大的临床医生，你怎么会错过这个呢?”
[焦点小组1]

但是就打电话给某人来说…就像一个陌生的电话，说，“我觉得你可能有心脏衰竭”，因为电脑说，嗯，这就是我的警告的来源。
[焦点小组#7]

供应商对提高未来人工智能工具采用的建议

供应商阐述了以下建议，以改善未来人工智能工具的吸收和使用:(1)对人工智能工具如何、何时以及多久提供建议设定适当的期望;(2)调整人工智能工具在患者群体中的应用;(3)具有可靠的数据，表明该工具的临床效果良好;(4)具有成本效益的论证，(5)简化临床工作流程，(6)明确提供者的责任，(7)支持与患者沟通结果。

讨论

主要研究结果

我们发现，大多数医疗服务提供者都看到了人工智能工具在更准确、更快速诊断方面的潜在价值。他们愿意采用这些工具，并与研究人员合作，在临床实践中验证这些工具。然而，在临床试验的使用过程中，随着人工智能工具被广泛引入初级保健，提供者确定了应该考虑的挑战。提供者的建议包括提高对临床决策的敏感性，解决数字化实施问题，以及对全系统影响的认识。

预测无症状健康状况的人工智能工具在医疗决策中引发了一系列问题，要求提供者根据具体情况解决这些问题，在此过程中，他们面临着临床决策范围的变化[16]。尽管人工智能工具提供了指导，但它们很少适用于所有患者，而且往往会给本已复杂的决策增添新的维度[17，18]。在实际使用中，提供者有不同的方法来衡量证据，以告知患者护理的最佳下一步。例如，虽然通过后续测试确认或拒绝人工智能筛查结果似乎风险低且容易，但在个别患者病例中的临床行动可能会将重点从对健康的更直接威胁转移并增加成本。在初级保健中，提供者的定位是看到整个护理环境，并与患者一起在复杂的情况下进行多种风险-收益决策，而这些决策不适合他们为下一步快速做出二元决策[19]。因此，支持新诊断的人工智能工具的结合可能会使在复杂的初级保健决策中区分医学艺术和科学的问题进一步复杂化[20.]。我们的研究重申，提供者可能会发现人工智能工具能够提供有用的信息，但护理团队针对人工智能工具所采取的沟通和行动是复杂的，需要在结构化指导和自由调整信息以适应临床病例之间取得平衡[21，22]。

提供者就提高人工智能模型的适用性、数字化工作流程和患者沟通提出了建议。这些建议可以增强人工智能工具的使用，但在实际临床试验的初始翻译过程中可能难以实现。为了确保最佳的诊断性能、安全性和遵守监管要求，供应商反馈来完善人工智能模型和数字工作流程是必要的。在最初的翻译过程中，供应商的额外负担可能会加剧文职人员的负担，这可能会降低采用人工智能工具的兴趣。重要的是要与提供者设定期望，即在临床试验的初始翻译过程中，笨拙的变通方法和增加的负担是暂时的，微调人工智能实施以满足各种临床环境和提供者需求是一个长期的协作过程[23]。此外，在更广泛的随机对照试验中进行人工智能工具的无声测试，以及更自发、被动的收集供应商反馈的模式(相对于反复要求供应商主动输入)可能是有价值的。此外，人工智能工具可能会阐明护理服务中存在的问题，或在新的环境中产生新的问题，这就需要对人工智能模型和工具进行实时观察和审计，以改进全面实施的设计，并使其能够有效使用[24，25]。

研究的局限性

在试验结束后进行焦点小组，因此，回顾性地交流了提供者的经验。未来的研究可以利用更自发的数据收集方法(例如，生态瞬间评估)来实时捕捉提供者在护理点的经验和观点。我们的研究结果是基于来自10个护理团队的29名提供者的观点，这些观点可能不能代表初级保健提供者群体，因此无法捕捉初级保健提供者中不同观点的全部范围。此外，目前尚不清楚我们的结果将如何推广到使用深度学习算法的人工智能工具之外，并在初级保健环境中利用心脏病学知识。未来的研究需要在不同的临床环境和专业中使用更广泛的人工智能工具，并提供更多样化的提供者样本，以三角测量我们的发现并揭示其他重要主题。

结论

我们的工作确定了在临床试验期间将支持人工智能的工具引入初级保健时提供者面临的具体问题，以及跨算法开发、护理点使用和更广泛系统的相关技术，这些技术可以推动以提供者为中心采用人工智能工具。这些发现证实了在医学中实施人工智能工具所面临的挑战:成功实施必须对护理的微妙背景和提供者的敏感性敏感，以便在护理点有效地采用人工智能工具。