药物相关临床决策支持系统中预警的适当性和医生的反应:回顾性观察性研究

介绍

背景

计算机化医嘱输入(CPOE)与临床决策支持系统(CDSS)相关联，已成为卫生保健系统中必不可少的一部分。资讯科技支援计划的主要目的是改善病人的安全及护理质素，而与药物有关的资讯科技支援计划尤为重要[1，2]。在与药物相关的CDSS中，警报系统提供剂量指导或药物-药物、药物-过敏和药物年龄警告，帮助临床医生开出正确的处方。早期对cdss的研究表明，与药物相关的cdss(如警报系统)可能会预防不良事件并提高患者安全[3.，4]。

尽管越来越多的CDSS警报被采纳，但仍有相当数量的警报被撤销[5-7]。警报覆盖率高，有时高达96% [5]。由于警报特异性低(即缺乏临床相关性)和警报内容不充分等原因，通常会调用覆盖[8，9]。低警报接受度与不适当的重复警报有关[6，10]。与临床无关的过度警报可能导致警报疲劳，并导致警报失效[11，12]。

在电子病历(EMRs)中实施临床决策支持工具的一个常见问题是警觉疲劳[13]。警报疲劳是指使用产生过多警告信息的CDSS的用户往往会忽略大部分警报，包括那些警告他们可能出现临床相关错误的警报[2]。由于警觉性疲劳，CDSS可能无法提高患者的安全性。当过多的不相关警报导致用户习惯性地忽略它们时，就会出现警报疲劳[14］．

在CDSS中，通常使用两种类型的警报。一种类型的警报是活动或“弹出”警告。这些警报需要用户的操作才能继续临床流程，例如单击按钮或说明压倒一切的原因。另一种类型的警报是被动警告，例如标记潜在的异常值。与主动警报不同，被动警报不会中断提供商的工作流程;因此，这些警报不需要用户的响应来覆盖临床流程。许多研究已经确定了主动警报的警觉疲劳问题[10，12，15，16]。被动警报也可能是警报疲劳的主要原因。这些警报的真正负担很少得到评估[17]。

在被动警报系统和警报本身对患者特定情况的临床适宜性的评估中，评估没有超越原因的覆盖的适当性的研究有限。为了理解医生的行为，以前的研究只是根据他们的推理来评估撤销的适当性[1，18]。在本研究中，我们通过患者电子病历评估了被动警报系统中警报的适当性和医生的反应。我们还根据临床相关性和医生的反应对警报进行了分类。这项研究可能会对药物警报的临床应用，医生是否会无视它们，以及医生在回应它们时会做出什么反应提供见解。

客观的

本研究旨在评估药物相关被动警报系统中警报的临床适宜性和相应医生的反应。

方法

研究设计

本研究为回顾性观察性研究，按用药分层抽样。分析的警报是根据2019年8月至2020年6月在急诊科(ED)的用药订单产生的。我们从临床数据仓库(CDW)获得了药物订单、警报和患者EMR数据。在韩国，法律规定只有医生才能开处方，但在有限的情况下除外。

伦理批准

该研究已获得三星医疗中心机构审查委员会(IRB 20121-09-115)的批准。

研究背景

这项研究是在韩国首尔的一个三级学术医疗中心的急诊科进行的。它每年为200万名门诊病人提供服务，并为1975张病床提供住院服务。急诊科有69张病床，约35名医生。每年到急诊科就诊的病人数量在75000到80000之间。教育署的工作流程是不受控制和不可预测的[19]。与其他医院相比，急诊科就诊后的不良事件报告较少，但更容易预防[20.]。由于急诊科有各种药物处方模式，因此可以通过检查急诊科的患者来分析各种警报。

电子病历系统和医嘱(处方)系统

我们的EMR系统是2016年实施的自主开发系统。综合知识数据分析和研究窗口(DARWIN)是一个广泛的系统，包括CPOE以及护理、药房、账单和研究支持，甚至患者门户和web服务。

设计:被动警报系统

将药物CDSS中的被动报警系统应用于DARWIN。虽然带有内联文本的被动警报不会干扰医生的工作流程，但它们也可能导致CDSS警报的有效性降低[21]。警报在订单确认之前出现。允许处方不需要回应。CDSS的基于规则的数据库由KIMS POC知识库(KIMS Co)提供，每周更新。警报类型为年龄、过敏、剂量、药物-药物相互作用(DDI)和肾。

CDW使用

本研究使用从研究地点的CDW中提取的数据进行。CDW是每天更新的临床数据的集成存储，例如未识别的患者人口统计信息、诊断、处方和实验室结果。过去，研究人员必须单独检查研究所需的变量，并相应地处理数据。然而，使用CDW，研究人员可以很容易地自动获得数据，并根据研究人员假设的各种变量进行排序。CDW支持将文本等非结构化数据自动转换为标准化数据，方便进行前瞻性队列研究。

警报选择

总共选择了20个经常被忽略的药物警告。我们认为那些经常被忽略的警报在临床上的相关性会降低;因此，我们将经常被覆盖的警报作为评估目标进行优先级排序。排除以下情况难以评估临床适宜性的DDI类型和警报:当没有减少的特定剂量设置信息时，以及根据适应症和严重程度调整剂量的范围很广时。从20个经常被覆盖的药物警报中随机抽取覆盖病例和未覆盖病例。每个药物警报的病例数如下所示。

警报覆盖和适当性的定义

当医生没有按照警报的建议改变医嘱时，就会发生警报覆盖。我们之前的研究将警报覆盖定义为在日志数据上发生警报时顺序没有变化[22]。然而，在本研究中，警报覆盖意味着当警报发生或稍后重新订购相同处方时，顺序没有改变。在未覆盖的病例中，许多医生再次开出未覆盖的处方，我们认为这个病例是一个覆盖。如果在48小时内给同一个病人开了相同的处方，就会被视为无效。警报临床相关性意味着警报适合每个病人的情况，警报实际上帮助医生开出处方。医生的反应适当性表明，考虑到患者的临床情况，医生的推翻或不推翻是否适当。

详细病历审查

通过对警报无效病例的高级医疗记录审查和文献研究，由3名临床医生(一名医生、一名药剂师和一名护士)组成的小组确定了每个警报的适当性标准。在详细的病历回顾中，通过患者的电子病历确认了患者的年龄、性别、体重、实验室结果(钾、钠、血清肌酐或肾小球滤过率等)和计算机断层扫描状态等信息。每个小组成员独立审查了382例警报病例的随机样本，以评估警报的临床相关性和医生的反应的适当性。当小组成员意见不一致时，通过小组讨论达成共识。

警报的分类

根据适当性评估的结果对警报进行分类。我们参考了McCoy等人开发的评估框架[23]。由于被动警报系统不收集最重要的原因，可能很难判断适当性。因此，我们在警报分类表中加入了一个不可判定的类别(图1)。

‎ 查看此图

韩国分类及视力分级表(KTAS)

KTAS是一种评估工具，用于对ED患者的严重程度和紧迫性进行分类。这是一个基于患者主诉和症状严重程度的5级分类量表。KTAS于2012年在韩国成立，旨在提高患者的安全和减少医院层面的急诊科拥堵。进入急诊科的患者由KTAS采用以下程序进行评估:印象评估、感染确认、主要症状选择和主要/次要考虑[24，25]。

数据分析

根据警示类型对常见覆盖药物进行分组，并对警示模式进行检测。病历回顾的样本采用分层随机抽样提取。在我们的样本中，我们分析了警报的适当性、医生的反应和患者的人口统计数据。使用κ指数计算警报和医生反应适当性评估的判员信度。结果以计数和百分比表示。假阳性警报的比率，医生的反应不当，和覆盖表示为总警报的百分比。所有统计检验均使用R统计软件(版本4.0.3;R Foundation for Statistical Computing)。

结果

图2显示药物警报数据的详细选择过程。2019年8月至2020年6月期间，374133份药物订单共发生了39286次(10.5%的警报率)CDSS警报。我们选择了20个经常被覆盖的药物警报，按药物警报类型(表1)。为医疗记录审查分析的警报病例数为382例(200例覆盖和182例未覆盖)。

病历审查包括356名患者。表2显示病案审查病例中患者的人口统计信息。总体而言，患者基本特征为男性居多(204/356,57.3%)，年龄≥60岁(205/356,57.6%)，KTAS评分为3分(197/356,55.3%)。

共有728种药物触发了警报;然而，我们选择了20个经常被覆盖的药物警报，因为我们认为经常被覆盖的警报与临床相关性较低。表1显示了20种分析过的药物。在被撤销的案例中，所有药物警报包括10例;然而，在未覆盖的病例中，甲基强的松龙(n=6)、肾上腺素(n=9)、头孢多伦(n=2)、头孢唑林(n=6)和氨苄西林/舒巴坦(n=9)的病例少于10例。

表3显示警报临床相关性的适当性评估结果和医生的反应。有趣的是，在382例警报病例中，只有7.3% (n=28)是临床相关的警报。在医生的反应评估中，92.4% (n=353)是适当的，1.6% (n=6)是不确定的。警觉性临床相关适宜性和医生反应适宜性的间信度分别为中等(κ=0.47)和一般(κ=0.28)。在我们的研究中，覆盖警报和非覆盖警报在临床相关性的适当性上没有差异。当使用数据日志而不是医疗记录审查对覆盖警报和非覆盖警报进行分类时，覆盖警报的警报适当性为7%(14/200)，非覆盖警报的警报适当性为7.7%(14/182)，不显示临床相关性。与未覆盖警报中有更多不适当警报的预期相反，两类警报的适当性没有差异(多媒体附录1)。

在382个警报的分类中，只有3.4% (n=13)被成功触发，2.1% (n=8)不适合警报和医生的反应(表4)。只有3.9% (n=15)的警报代表医生不遵守，其中警报是适当的，但相应的医生的反应是不适当的。覆盖率为92.9% (n=355);(医生不遵医嘱[n=15] +合理覆盖[n=340]) /总警报[n=382]（表4)。有6例(1.6%)病例无法确定医生的反应。

‎ 查看此图

讨论

主要研究结果

在这项研究中，我们通过详细的病历回顾评估了警报的适当性和医生对药物相关被动警报系统的反应。我们发现只有7.3%的警报在临床上是适当的，6%的警报导致医生的不适当反应。当少量适当的警报生成大量不相关的警报时，警报疲劳是不可避免的。有一些成功的警报，其中警报是适当的，医生接受了警报。医生不遵守警报可能是由于警报内容含糊不清，没有提供有用的信息[26]。此外，大量不适当的警报可能是医生不遵守的一个原因。27]。随着警报数量的增加，医生不太可能接受警报，尤其是重复警报[6]。当考虑到医生的反应不适当的情况下，警报是适当的警报几乎是警报不适当的警报的两倍。这一发现可以用由于大量不适当的警报而导致的习惯性覆盖来解释[28]。少数警报被归类为导致意外的不良后果。在少数情况下，由于被动警报系统没有收集到超越的原因，医生的反应适当性无法确定。没有不能确定警报是否适当的情况。

许多研究已经根据警报的适当性确定了推翻警报的适当性[1，5，15，29，30.]，但只有少数研究评估了医生的反应[31-33]。Duke等[31]开展了一项针对DDI警报目标的随机对照试验，以确定医务人员根据情境增强警报的依从性。Strom等[32分析了几乎硬性停止的CPOE处方警报的意外影响。了解医生对CDSS的反应是很重要的;然而，由于分析反应的困难，许多研究人员只是简单地评估推翻的适当性。因此，有必要通过了解医生的反应来提高CDSS的效用。

在我们之前的研究中，我们报告的覆盖率为61.9% [22]。然而，在本研究中，我们发现覆盖率为92.9%。造成这种差异的原因有几个。首先，在本研究中，通过病历回顾，证实了一些以前被评估为未被日志数据覆盖的病例在临床上被覆盖。即使在同一系统中，简单使用日志数据时的重写率与通过医疗记录审查的重写率之间的差异也很大。在本研究中，通过详细的患者病历回顾，分析患者的整体处方，并扩展“override”的定义。在之前的研究中，覆盖警报和非覆盖警报的分类仅基于日志数据[22]。然而，在本研究中，医疗记录审查发现了比以往研究更多的覆盖。经证实，大量分类为未被日志数据覆盖的案例实际上被覆盖了。我们发现，许多医生开出的处方被认为是由于警报而被删除的。如果该处方在警告发出后48小时内被重新发给同一名患者，则被视为无效。因此，在没有识别非覆盖警报的研究中，覆盖率可能更高[15，29，34，35]。为了正确地计算覆盖率，有必要建立一个系统地确定覆盖的机制。为了详细分析和比较cdss，需要一个标准化的覆盖定义。此外，在本研究中，我们选择目标警报作为经常被覆盖的警报，因此这可能是高覆盖率的一个原因。此外，CDSS的知识库从media - span(威科健康)到KIMS POC (KIMS Co)的变化可能会影响覆盖率。

进一步的研究应探讨利用机器学习(ML)和人工智能(AI)提高警报准确性的技术，分析尚未广泛研究的被动CDSS，并探讨警报数量与医生反应之间的因果关系。临床相关性低的多重预警降低了医生对预警的依赖。此外，许多不必要的警报会导致警报疲劳，并增加忽略真正重要警报的可能性[2]。有必要提高预警的临床相关性，增加医生的预警依赖，优化预警。ML和AI可能是潜在的解决方案。通过引入ML，可以改进基于规则的警报系统，通过引入AI，可以根据患者的个体情况生成警报[36，37]。尽管对药物安全的技术方法有希望，但如果不仔细应用这些系统，并且不重视建立更安全的护理系统，则错误的风险将持续存在[2]。需要考虑这些因素，以减少不必要的警报，提高其临床相关性，并通过持续评估CDSS来增加医生的警报依赖。

限制

我们的研究有几个局限性。首先，它是在一个有ED实践的单一中心进行的。其次，对医生反应适当性的评估可能是主观的，因为被动警报系统不收集超越的原因。此外，我们没有确认意外不良后果警报的临床后果。仅检查与处方阶段相关的临床后果，未分析调剂/给药阶段。

结论

我们通过对与药物相关的被动警报系统的详细病历审查来评估警报的适当性和医生的反应。只有更好地了解医生的整体行为，才有可能提高CDSS的有效性。在我们的研究中，大多数警报并不能反映每个患者的临床情况;然而，医生的回答大多是适当的。当对少量有用警报产生大量不相关警报时，警报疲劳是不可避免的。有必要减少不必要的警报，提高其临床相关性，提高警报的可靠性，并优化警报。