警报和医生反应的适当性与药物相关的临床决策支持系统:回顾性观察性研究

简介

背景

与临床决策支持系统(CDSS)相关联的计算机化医生命令输入(CPOE)已经成为医疗保健系统中必不可少的一部分。CDSS的主要目的是提高患者的安全和护理质量，与药物有关的CDSS尤其有价值[1，2］．在与药物相关的CDSS中，警报系统提供剂量指导或药物-药物、药物过敏和药物年龄警告，帮助临床医生开出正确的处方。对cdss的早期研究促使人们大量预期与药物相关的cdss，如警报系统，可以预防不良事件并增强患者安全[3.，4］．

尽管越来越多地实现了CDSS警报，但仍有大量警报被覆盖[5-7］．警报覆盖率很高，有时高达96% [5］．覆盖通常是由于警报特异性低(即缺乏临床相关性)和警报内容不足等原因而调用的[8，9］．低警报接受度与不适当的重复警报有关[6，10］．与临床无关的过度警报可能导致警报疲劳并导致警报覆盖[11，12］．

与在电子病历中实施临床决策支持工具有关的一个常见问题是警觉疲劳[13］．警报疲劳是指产生过多警告信息的CDSS的用户往往会忽略大部分这些警告，包括那些警告他们潜在的临床相关错误的警告[2］．由于警觉疲劳，CDSS可能不能提高患者的安全。当过多的无关警报促使用户习惯性地覆盖它们时，就会出现警报疲劳[14］．

在CDSS中，通常使用两种类型的警报。一种类型的警报是活动或“弹出”警告。这些警报需要用户的操作来继续临床过程，例如单击一个按钮或说明压倒一切的原因。另一种类型的警报是被动警报，例如标记潜在的异常值。与主动警报不同，被动警报不会中断提供者的工作流程;因此，这些警报不需要用户的响应来覆盖临床过程。许多研究已经证实，主动警报会引起警惕疲劳[10，12，15，16］．被动警报也可能是警报疲劳的一个重要原因。这些警报的真正负担很少得到评估[17］．

对于被动警报系统中无覆盖原因的覆盖是否合适，以及警报本身是否适合患者的具体情况，目前的研究还很有限。为了理解医生的行为，之前的研究只基于他们的推理来评估覆盖的适当性[1，18］．在本研究中，我们通过患者EMR评估了被动警报系统中警报的适当性和医生的反应。我们还根据临床相关性和医生的反应对警报进行了分类。这项研究可能为药物警示的临床使用、医生是否会忽略它们以及医生在回应它们时的反应提供见解。

客观的

本研究旨在评估与用药相关的被动报警系统中报警的临床适宜性及相应医师的反应。

方法

研究设计

本研究是一项按用药分层抽样的回顾性观察研究。分析的警报来自于2019年8月至2020年6月期间急诊科(ED)的药品订单。我们从一个临床数据仓库(CDW)获得了药物处方、警报和患者EMR数据。在韩国，法律规定只有医生才能开处方，但在一定的情况下除外。

伦理批准

该研究获得了三星医疗中心机构审查委员会(IRB 2021-09-115)的批准。

研究背景

这项研究是在韩国首尔的一个高等学术医学中心的急诊科进行的。每年接待200万人次门诊，提供1975张病床住院服务。急诊科有69张病床和大约35名医生。每年到急诊科就诊的病人人数从75,000到80,000不等。急诊科的工作流程不受控制及不可预测[19］．急诊科就诊后不良事件的报告频次较低，但比其他医院更易预防[20.］．由于急诊科有不同的药物处方模式，可以通过检查急诊科的患者来分析不同的警报。

电子病历系统和医嘱(处方)系统

我们的EMR系统是自主开发的系统，于2016年开始实施。数据分析和综合知识研究窗口(DARWIN)是一个广泛的系统，包括CPOE以及护理、药学、计费、研究支持，甚至患者门户和web服务。

CDSS设计:被动报警系统

将药物CDSS中的被动报警系统应用于DARWIN。尽管带有内联文本的被动警报不会干扰医生的工作流程，但它们也可能导致CDSS警报的有效性下降[21］．该警报在订单确认之前出现。不需要响应来允许该处方。CDSS的基于规则的数据库由KIMS POC知识库(KIMS Co)提供，每周更新一次。报警类型为年龄、过敏、剂量、药物-药物相互作用(DDI)和肾脏。

CDW使用

本研究使用从研究地点的CDW中提取的数据进行。CDW是每日更新的临床数据的集成存储，如已识别的患者人口统计信息、诊断、处方和实验室结果。在过去，研究人员必须分别检查研究所需的变量，并相应地处理数据。然而，使用CDW，研究人员可以很容易地自动获得数据，根据研究人员假设的各种变量进行排序。CDW支持将非结构化数据(如文本)自动转换为标准化数据，从而方便地进行前瞻性队列研究。

警报的选择

总共选择了20个经常被覆盖的药物警报。我们认为，频繁被覆盖的警报在临床上的相关性较小;因此，我们将经常被覆盖的警报作为评估目标进行优先级排序。在以下情况下排除了难以评估临床适当性的DDI类型和警报:当没有具体的剂量设置信息用于减少剂量时，当根据适应症和严重程度调整剂量的范围很宽时。从20个频繁被覆盖的药物警报中随机抽取被覆盖病例和未被覆盖病例。每个药物警报的病例数如下所示。

警报覆盖的定义和适当性

当医生没有按照警报的建议更改订单时，就会发生警报覆盖。我们之前的研究将警报覆盖定义为当日志数据上发生警报时，其顺序没有变化[22］．然而，在这项研究中，警报覆盖意味着当警报发生时，没有改变顺序，或者稍后重新排序相同的处方。在非复盖病例中，许多医生再次开出非复盖处方，我们认为该病例为复盖。如果引起警报的相同处方在48小时内被开给了同一名患者，就会被视为撤销处方。警报临床相关性意味着警报适用于每个患者的病情，并且警报实际上帮助医生订购处方。医生的反应适当性表明，考虑到患者的临床情况，医生的否决或不否决是否适当。

详细病历审查

通过对警报被覆盖病例的先进医疗记录审查和文献研究，3名临床医生(一名医生、一名药剂师和一名护士)确定了每个警报的适当性标准。在详细的病历回顾中，通过患者的EMR确认患者的年龄、性别、体重、实验室结果(钾、钠、血清肌酐或肾小球滤过率等)和计算机断层扫描状态等信息。每个小组成员独立地随机审查382例警报病例的样本，以评估警报临床相关性的适当性和医生的反应。当小组成员不同意时，通过小组讨论达成共识。

警报的分类

根据适当性评价结果对警报进行分类。我们参考了McCoy等人开发的评估框架[23］．由于被动警报系统不收集压倒一切的原因，可能很难判断是否适当。因此，我们在警报分类表中包含一个不可判定的类别(图1)．

‎ 查看此图

韩国分类及敏锐度量表(KTAS)

KTAS是一种评估工具，用于分类ED患者的严重程度和紧急程度。根据患者主诉和症状的严重程度，分级为5级。KTAS于2012年在韩国成立，目的是提高患者的安全，减少医院层面的急诊科拥挤。进入急诊科的患者由KTAS通过以下程序进行评估:印象评估、感染确认、主要症状选择和主要/次要考虑[24，25］．

数据分析

根据警报类型对常用的覆盖药物进行分组，并检查警报模式。采用分层随机抽样的方法提取病历复查样本。在我们的样本中，我们分析了警报的适当性、医生的反应和患者的人口统计数据。采用k指数法计算各评价者之间的信度，以评价警戒性和医生反应适当性。结果以计数和百分比的形式显示。假阳性报警率、医生反应不当率和覆盖率以报警总数的百分比表示。所有统计检验均使用R统计软件(4.0.3版本;R统计计算基础)。

结果

图2显示了药物警报数据的详细选择过程。2019年8月至2020年6月期间，374,133份药品订单共发生了39,286次CDSS警报(警报率10.5%)。我们选择了20个经常被覆盖的药物警报，按药物警报类型(表1)．为医疗记录审查分析的警报病例数为382例(200例被覆盖和182例未被覆盖)。

医疗记录审查包括356例患者。表2显示病案复核个案中病人的人口统计资料。总体而言，患者基本特征以男性(204/356,57.3%)居多，年龄在60岁以上(205/356,57.6%)，KTAS得分为3分(197/356,55.3%)。

共有728种药物触发了警报;然而，我们选择了20个经常被覆盖的药物警报，因为我们认为经常被覆盖的警报在临床上的相关性较小。表1显示了20种被分析的药物。在被覆盖的病例中，所有药物警报包括10例;然而，在未重写的病例中，甲泼尼松龙(n=6)、肾上腺素(n=9)、头孢地托林(n=2)、头孢唑林(n=6)和氨苄西林/舒巴坦(n=9)少于10例。

表3显示警戒临床相关性的适当性评价结果和医生的反应。有趣的是，在382例警报病例中，只有7.3% (n=28)是与临床相关的警报。在医生的反应评估中，92.4% (n=353)是合适的，1.6% (n=6)是不确定的。警觉性临床相关性和医师反应性的信度分别为中等(κ=0.47)和一般(κ=0.28)。在我们的研究中，覆盖和非覆盖警报之间的临床相关性没有差异。当使用数据日志而不是医疗记录审查对被覆盖警报和未被覆盖警报进行分类时，被覆盖警报的警报适当性为7%(14/200)，未被覆盖警报的警报适当性为7.7%(14/182)，这没有显示出临床相关性。与预期相反，在未覆盖的警报中有更多不适当的警报，两种类型的警报之间的警报适当性没有差异(多媒体附件1)．

在382个警报的分类中，只有3.4% (n=13)的警报被成功触发，2.1% (n=8)的警报和医生的反应都不适当(表4)．只有3.9% (n=15)的警报代表医生的不依从性，警报是适当的，但相应的医生的反应是不适当的。超驰率为92.9% (n=355):(医生的不依从性[n=15] +合理的覆盖[n=340]) /总警报[n=382]（表4)．有6例(1.6%)的病例中，医生的反应无法确定。

‎ 查看此图

讨论

主要研究结果

在本研究中，我们通过详细的医疗记录回顾，评估警报的适当性和医生对药物相关被动警报系统的反应。我们发现只有7.3%的警报是临床适当的，6%的警报导致医生的不适当反应。当为少量适当的警报生成大量不相关的警报时，警报疲劳是不可避免的。有几次成功的警报是适当的，医生接受了警报。医生不遵守警报可能是由于警报的内容含糊不清，没有提供有用的信息[26］．此外，大量不适当的警报可能是医生不遵守医嘱的一个原因[27］．随着警报数量的增加，医生不太可能接受警报，特别是对于重复的警报[6］．当考虑到医生反应不当的情况时，适当警报的警报几乎是不适当警报的两倍。这一发现可以用大量不适当警报导致的习惯性覆盖来解释[28］．少数警报被归类为导致了意想不到的不良后果。在少数情况下，无法确定医生的反应是否恰当，因为被动警报系统没有收集覆盖原因。没有不能确定警报是否适当的情况。

许多研究根据警报的适当性确定了超驰的适当性[1，5，15，29，30.]，但只有少数研究评估了医生的反应[31-33］．杜克等人[31]对DDI警报目标进行了随机对照试验，以确定医务人员根据情景增强警报的依从性。Strom等人[32]分析了CPOE处方警报几乎难以停止的意外影响。了解医生对CDSS的反应很重要;然而，由于分析响应的困难，许多研究人员只是评估覆盖的适当性。因此，有必要通过了解医生的反应来增加CDSS的效用。

在我们之前的研究中，我们报告的覆盖率为61.9% [22］．然而，在这项研究中，我们发现覆盖率为92.9%。造成这种差异的原因有很多。首先，在本研究中，通过病历回顾，确认了一些以前被日志数据评估为未覆盖的病例被临床覆盖。仅仅使用日志数据时的覆盖率与通过医疗记录审查的覆盖率之间的差异很大，即使在相同的系统中也是如此。在本研究中，通过详细的患者病历回顾分析了患者的整体处方，并扩展了“覆盖”的定义。在之前的研究中，覆盖和未覆盖警报的分类仅基于日志数据[22］．然而，在这项研究中，通过医疗记录审查发现的覆盖比之前的研究中更多。经证实，大量被日志数据分类为未覆盖的案例实际上被覆盖了。我们发现，许多医生开出的处方被认为因为警报而被删除了。如果在警报发出后48小时内再次开给同一名患者，则该处方被视为无效。因此，在没有识别非覆盖警报的研究中，覆盖率可能更高[15，29，34，35］．为了正确地计算覆盖率，有必要建立一种系统地确定覆盖的机制。为了对cdss进行详细分析和比较，需要对覆盖进行标准化定义。此外，在本研究中，我们选择目标警报作为频繁被覆盖的警报，因此这可能是高覆盖率的一个原因。此外，CDSS的知识库从med - span (Wolters Kluwer Health)到KIMS POC (KIMS Co)的变化可能影响了覆盖率。

进一步的研究应探讨利用机器学习(ML)和人工智能(AI)提高警报准确性的技术，分析尚未被广泛研究的被动CDSS，探索警报数量与医生反应之间的因果关系。临床相关性低的多个警报降低了医生对警报的依赖。此外，许多不必要的警报可能导致警报疲劳，并增加忽略真正重要的警报的可能性[2］．提高警报的临床相关性，提高警报的可靠性，优化警报。ML和AI可能是潜在的解决方案。通过引入ML，可以改进基于规则的警报系统，通过引入AI，可以根据患者的个人情况生成警报[36，37］．尽管药物安全的技术方法有希望，但如果不仔细应用这些系统，不高度重视建立更安全的护理系统，错误的风险将持续存在[2］．为了减少不必要的警报，提高它们的临床相关性，并通过持续评估CDSS来增加医生的警报依赖，需要考虑这些因素。

限制

我们的研究有几个局限性。首先，它是在一个单独的中心进行ED实践。其次，由于被动报警系统不收集覆盖原因，对医生反应适当性的评价可能是主观的。此外，我们没有确认意外不良后果警报的临床后果。只检查了与处方阶段相关的临床后果，未对配药/给药阶段进行分析。

结论

通过对与药物相关的被动警报系统的详细病历回顾，我们评估了警报的适当性和医生的反应。只有更好地了解医生的整体行为，才有可能提高CDSS的有效性。在我们的研究中，大多数警报没有反映每个患者的临床情况;然而，医生的回答大多是恰当的。当少量有用的警报产生大量无关的警报时，警报疲劳是不可避免的。有必要减少不必要的警报，提高其临床相关性，增加警报的可靠性，并优化警报。