与临床决策支持系统(CDSS)相关联的计算机化医生指令输入(CPOE)已成为医疗保健系统的必要组成部分。CDSS的主要目的是提高患者的安全和护理质量，与药物相关的CDSS尤其有价值[ 1， 2］．在与药物相关的CDSS中，警报系统提供剂量指导或药物、药物过敏和药物年龄警告，以帮助临床医生开出正确的处方。早期对cdss的研究促使人们充分期待与药物相关的cdss，如警报系统，可以预防不良事件并提高患者安全[ 3.， 4］．

尽管CDSS警报的实现越来越多，但仍有相当数量的警报被覆盖[ 5- 7］．警报覆盖率很高，有时高达96% [ 5］．由于警报特异性低(即缺乏临床相关性)和警报内容不足等原因，通常会调用Override [ 8， 9］．警报接受度低与不适当的重复警报有关[ 6， 10］．过多与临床无关的警报可能导致警报疲劳，并导致警报覆盖[ 11， 12］．

在电子病历(EMRs)中实施临床决策支持工具的一个常见问题是警觉疲劳[ 13］．警报疲劳是指CDSS的用户在生成过多的警告消息时，往往会忽略其中的大部分警报，包括那些警告他们潜在临床相关错误的警报[ 2］．由于警觉疲劳，CDSS可能无法提高患者的安全性。当过多的无关警报促使用户习惯性地忽略它们时，就会出现警报疲劳[ 14］ 。

在CDSS中，通常使用两种类型的警报。一种类型的警告是活动警告或“弹出”警告。这些警报要求用户执行操作以继续临床过程，例如单击按钮或说明主要原因。另一种类型的警报是被动警告，例如标记潜在的异常值。与主动警报不同，被动警报不会中断提供者的工作流程;因此，这些警报不需要用户的响应来覆盖临床过程。许多研究已经证实了主动警报会导致警报疲劳的问题[ 10， 12， 15， 16］．被动警报也可能是警报疲劳的一个重要原因。这些警报的真正负担很少被评估。 17］．

在被动警报系统中评估无覆盖原因的覆盖的适当性以及警报本身对患者特定病情的临床适当性的研究有限。为了理解医生的行为，以前的研究只根据他们的推理来评估推翻的适当性[ 1， 18］．在这项研究中，我们通过患者EMR评估了被动警报系统中警报和医生反应的适当性。我们还根据临床相关性和医生的反应对警报进行了分类。这项研究可以深入了解药物警报的临床使用，医生是否会忽略它们，以及医生在回应它们时提供什么反应。

本研究旨在评估在与药物相关的被动警报系统中警报的临床适当性和相应的医生的反应。

本研究为回顾性观察性研究，按用药分层抽样。分析的警报是从2019年8月至2020年6月急诊科(ED)的药物订单中生成的。我们从临床数据仓库(CDW)获得了用药单、警报和患者EMR数据。在韩国，法律规定，只有医生才能开处方，但情况有限。

这项研究得到了三星医疗中心机构审查委员会(IRB 2021-09-115)的批准。

这项研究是在韩国首尔一所高等学术医疗中心的急诊科进行的。每年门诊人次200万人次，提供住院服务1975张床位。急诊科有69张病床和大约35名医生。每年到急诊科就诊的患者人数从75,000到80,000不等。ED的工作流程不受控制且不可预测[ 19］．急诊室就诊后不良事件的报告频率较低，但与其他医院相比，更容易预防[ 20.］．由于急诊科有各种药物处方模式，因此可以通过检查急诊科的患者来分析各种警报。

我们的EMR系统是自研系统，2016年开始实施。数据分析和综合知识研究窗口(DARWIN)是一个广泛的系统，包括CPOE以及护理、药学、账单和研究支持，甚至患者门户和web服务。

将药物CDSS中的被动警报系统应用于DARWIN。虽然带有内联文本的被动警报不会干扰医生的工作流程，但它们也可能导致CDSS警报的有效性降低[ 21］．该警告在订单确认之前出现。不需要响应来允许该处方。CDSS的基于规则的数据库由KIMS POC知识库(KIMS Co)提供，每周更新一次。警报类型为年龄、过敏、剂量、药物-药物相互作用(DDI)和肾脏。

本研究使用从研究地点的CDW中提取的数据进行。CDW是每日更新的临床数据的集成存储，如未识别的患者人口统计信息、诊断、处方和实验室结果。在过去，研究人员必须单独检查研究所需的变量，并相应地处理数据。然而，使用CDW，研究者可以很容易地自动获得数据，根据研究者假设的各种变量进行排序。CDW支持将非结构化数据(如文本数据)自动转换为标准化数据，从而方便地进行前瞻性队列研究。

总共选择了20个经常被覆盖的药物警报。我们认为，经常被忽略的警报在临床上的相关性较低;因此，我们将经常被覆盖的警报作为评估目标进行优先级排序。难以评估临床适当性的DDI类型和警报被排除如下:当没有特定的剂量设置信息用于减少剂量时，当根据适应症和严重程度调整剂量的范围很宽时。从20个经常被覆盖的药物警报中随机抽取被覆盖病例和未被覆盖病例。每种药物警报的病例数如下所示。

当医生没有按照警报的建议更改医嘱时，就会发生警报覆盖。我们之前的研究将警报覆盖定义为当日志数据上发生警报时，顺序没有变化[ 22］．然而，在这项研究中，警报覆盖意味着警报发生时没有改变顺序，或者稍后重新排序相同的处方。在未被推翻的病例中，许多医生再次开出了未被推翻的处方，我们认为这种情况属于推翻。如果产生警报的相同处方在48小时内给了同一名患者，则被视为覆盖。警报临床相关性意味着警报适用于每个患者的病情，并且警报实际上帮助医生订购处方。医生的反应适当性表明，考虑到患者的临床情况，医生的无视或不无视是否合适。

通过对警报覆盖病例的高级病历回顾和文献研究，由3名临床医生(一名医生、一名药剂师和一名护士)组成的小组确定了每个警报适当性的标准。详细病历回顾，通过患者EMR确认患者年龄、性别、体重、化验室结果(钾、钠、血清肌酐或肾小球滤过率等)、ct状态等信息。每个小组成员独立审查了382例警报病例的随机样本，以评估警报临床相关性的适当性和医生的反应。当小组成员意见不一致时，通过小组讨论达成共识。

根据适当性评估的结果对警报进行分类。我们参考了McCoy等人开发的评估框架[ 23］．由于被动警报系统不收集最重要的原因，可能很难判断是否适当。因此，我们在警报分类表中包含了一个不可判定的类别( 图1)．

KTAS是一种评估工具，用于分类ED患者的严重程度和紧急程度。这是一个基于患者主诉和症状严重程度的5级分类量表。KTAS于2012年在韩国成立，旨在提高患者安全，最大限度地减少医院层面的ED拥堵。KTAS对进入急诊科的患者进行评估，评估程序如下:印象评估、感染确认、主要症状选择和主要/次要考虑因素[ 24， 25］．

通常被忽略的药物根据警报类型进行分组，并检查警报模式。采用分层随机抽样方法抽取病历复查样本。在我们的样本中，我们分析了警报的适当性、医生的反应和患者的人口统计。使用κ指数计算评估警报和医生反应适当性的评分者之间的信度。结果显示为计数和百分比。假阳性警报、医生反应不当和忽略的比率以总警报的百分比表示。所有统计检验均采用R统计软件(4.0.3版本;R统计计算基础)。

在这项研究中，我们通过详细的医疗记录审查，评估了警报的适当性和医生对药物相关被动警报系统的反应。我们发现只有7.3%的警报是临床适当的，6%的警报导致医生的不适当反应。当为少量适当的警报生成大量不相关的警报时，警报疲劳是不可避免的。有一些成功的警报，警报是适当的，医生接受了警报。医生不遵守警报可能是由于警报的内容含糊不清，没有提供有用的信息[ 26］．此外，大量不适当的警报可能是医生不遵守的一个原因[ 27］．随着警报数量的增加，医生不太可能接受警报，尤其是重复警报[ 6］．在考虑医生反应不当的情况时，适当警报的频率几乎是不适当警报的两倍。这一发现可以解释为由于大量不适当的警报而导致的习惯性覆盖[ 28］．少数警报被归类为导致意想不到的不良后果。在少数情况下，医生的反应适当性无法确定，因为被动警报系统没有收集覆盖原因。没有无法确定警报是否适当的情况。

许多研究已经根据警报的适当性确定了覆盖的适当性[ 1， 5， 15， 29， 30.]，但只有少数研究评估了医生的反应[ 31- 33］．杜克等人[ 31]对DDI警报目标进行了随机对照试验，以确定医务人员根据上下文增强警报的依从性。斯特罗姆等人[ 32]分析了几乎完全停止的CPOE处方警报的意外影响。了解医生对CDSS的反应是很重要的;然而，由于分析响应的困难，许多研究人员只是简单地评估覆盖的适当性。因此，有必要通过了解医生的反应来提高CDSS的效用。

在我们之前的研究中，我们报告的覆盖率为61.9% [ 22］．然而，在本研究中，我们发现重写率为92.9%。造成这种差异的原因有几个。首先，在本研究中，通过病历回顾，确认一些以前被日志数据评估为未覆盖的病例在临床上被覆盖。即使在同一个系统中，简单使用日志数据时的覆盖率与通过医疗记录审查时的覆盖率之间的差异也很大。在本研究中，通过详细的患者病历回顾来分析患者的整体处方，并扩大了“override”的定义。在之前的研究中，覆盖警报和未覆盖警报的分类仅基于日志数据[ 22］．然而，在这项研究中，医疗记录审查比以前的研究发现了更多的覆盖。经证实，大量未被日志数据覆盖的情况实际上被覆盖了。我们发现，许多医生开出的处方都被认为因为警报而被删除了。如果在警报发出后48小时内给同一名患者重新开了处方，则该处方被视为撤销。因此，在没有识别出未被覆盖警报的研究中，覆盖率可能更高[ 15， 29， 34， 35］．为了正确地计算覆盖率，有必要建立系统地确定覆盖率的机制。需要对覆盖进行标准化定义，以便对cdss进行详细分析和比较。此外，在本研究中，我们选择目标警报作为频繁被覆盖的警报，因此这可能是高覆盖率的一个原因。此外，CDSS知识库从Medi-Span (Wolters Kluwer Health)更改为KIMS POC (KIMS Co)可能影响了重写率。

进一步的研究应探讨利用机器学习(ML)和人工智能(AI)提高警报准确性的技术，分析尚未被广泛研究的被动CDSS，并探索警报数量与医生反应之间的因果关系。临床相关性低的多个警报降低了医生对警报的依赖。此外，许多不必要的警报会导致警报疲劳，并增加忽略真正重要的警报的可能性[ 2］．提高警报的临床相关性，提高医生的警报依赖度，优化警报。ML和AI可能是潜在的解决方案。通过引入ML，可以改进基于规则的警报系统，通过引入AI，可以根据患者的个人情况生成警报[ 36， 37］．尽管药物安全的技术方法有希望，但如果这些系统不被仔细应用，不高度重视建立更安全的护理系统，错误的风险将继续存在[ 2］．这些考虑是必要的，以减少不必要的警报，提高其临床相关性，并通过持续评估CDSS增加医生的警报依赖。

我们的研究有几个局限性。首先，它是在一个ED实践中心进行的。其次，对医生反应适当性的评估可能是主观的，因为被动警报系统不收集覆盖原因。此外，我们没有确认意外不良后果警报的临床后果。仅检查与处方阶段相关的临床后果，不分析调剂/给药阶段。

我们通过对与药物相关的被动警报系统的详细病历审查，评估了警报的适当性和医生的反应。只有更好地了解医生的整体行为，才有可能提高CDSS的有效性。在我们的研究中，大多数警报不能反映每个患者的临床情况;然而，医生们的回答大多是恰当的。当为了响应少量有用的警报而生成大量无关的警报时，警报疲劳是不可避免的。有必要减少不必要的警报，提高其临床相关性，提高警报可靠性，并优化警报。