使用与疾病药物相关的临床决策支持系统减少警戒性疲劳的机器学习方法:模型开发和验证

简介

采用电脑化的提供者订单输入系统，医生可以电子方式订购药物、化验及其他辅助服务[1］．CPOE系统创造了一个机会，通过减少用药错误，减少冗余的检测命令，促进标准化的临床实践来改善患者护理[2，3.］．然而，CPOE通常与临床决策支持系统(CDSS)集成，以便通过指导、警报和提醒做出更好的临床决策。CDSS总是与软件算法相结合，在医生向CPOE输入订单时生成警报[4，5］．这些警告中的每一个都涉及与给药过程相关的有意义的临床问题，并对识别和防止错误或不太理想的处方产生积极影响[6-8］．

cdss的工作效率常常因系统中产生分散注意力的警报(即大量临床无关的警报)而受损[9，10］．van der Sijs等[11]建议，理想的CDSS应具有较高的特异性和敏感性，提供清晰的信息，并便于安全有效地处理警报。最近的一项研究报告称，大约90%-95%的药物警报被提供者覆盖[12，13]，超过一半的撤销是由于警报被认为与临床无关[14］．主要的担忧是，这些大量的临床无关的警报可能会导致警报疲劳，并消耗太多的时间和精力。此外，它有时会导致员工忽略重要警告和不重要警告。频繁的错误警报会使医生变得麻木，因此提供者总是忽略和不信任警报。15］．过多忽视临床相关警报会引发患者伤害，并与死亡率增加有关。

到目前为止，在最小化警报疲劳方面已经实施了重大努力和策略，例如高度特定的算法的管理[16]，自定义第三方提供商的警报集[17]，并按严重程度分级，以分层及减少虚假警报的数目[18］．多项研究建议关闭经常被覆盖的警报[19]，更新临床内容以提供护理点的最新证据，并在医生和药剂师之间举行共识会议[20.］．由于医生越来越多地采用电子处方，CDSS警报的进展和公告可能在一定程度上取决于提供者是否发现药物安全警报有价值。

机器学习由一系列技术组成，这些技术有可能学习复杂的规则，并从多维数据集中识别模式。它已被有效地应用于许多领域，如疾病风险预测[21]，分类[22]，以及医疗保健利用[23］．据我们所知，在不同专业的医生之间进行的大量警报分析中，没有研究考察机器学习技术对药物警报降低的影响。我们假设机器学习模型可以预测医生的反应，这最终将直接帮助开发一种复杂的CDSS来减少警觉性疲劳。因此，本研究的主要目标是开发和验证机器学习模型，通过预测医生的反应来减少警戒性疲劳。这项研究可能为CDSS警报在患者护理中的感知有用性提供视角，并为如何在现实世界的临床环境中设计更好的警报系统提供见解。它有助于最大限度地减少用户界面中的警报数量，确保适当的处方，并降低意外后果的严重程度。

方法

伦理批准和研究过程

根据台湾国立卫生研究院的政策，这类研究不需要机构审查委员会的审查，因为它提供了大量计算机化的、不确定的数据。整个研究过程显示在图1．

‎ 查看此图

数据源

我们从台湾一所大学教学医院的电子健康记录(EHR)整合疾病药物相关CDSS中收集数据。我们只考虑了由于CDSS中的处方错误而产生警报的处方。数据收集时间为2018年8月至2019年5月。在10个月的研究期间，9213张处方产生了警报，约占医生提供的处方总数的3%。

数据预处理

这项研究的第一步是清理数据。在数据集中，出现了大量重复的处方，这意味着有几个处方具有相同的患者注册号、诊断代码(即国际疾病分类，第十次修订，临床修改[ICD-10-CM])和药物代码(即解剖治疗化学分类系统代码[ATC])。因此，我们删除了那些处方，保留了最近的处方。总共考虑了6453个处方来开发基于机器学习的预测模型。以台湾国民健康保险代码为诊断代码的处方被映射到ICD-10-CM代码。通过转换0到1之间的所有值来进行数据规范化。最后，数据被转换成一个矩阵，其中包括诊断代码、药物代码、部门ID和医生ID。

特征选择

在一个处方中可能有超过20个不同的临床变量。因此，特征选择是至关重要的，以保持变量在一个可管理的大小，以便能够优化预测模型。特征选择过程分三个阶段完成:(1)咨询cdss方面的医生和专家(YL)，(2)通过机器学习算法进行自动特征选择，(3)通过只使用诊断代码的前三位数字(即ICD-10-CM)和药物代码的前五位数字(即ATC)来减少输入变量的数量。以患者年龄、性别、诊断代码(即ICD-10-CM)、药品代码(即ATC)、医师ID、科室ID为输入变量。然后，我们为诊断代码(即ICD-10-CM)、药物代码(即ATC代码)、医生ID和科室ID创建了一个矩阵。总共使用6453个输入变量来开发一个具有二元结果的机器学习模型。

模型开发

概述

该模型的目标是可靠地预测医生对警报的反应。我们将整个数据集分为两部分:(1)训练数据集(数据集的80%)和(2)测试数据集(数据集的20%)。然而，该模型使用60%的数据集作为训练集，20%的数据集作为内部验证集进行训练。其余20%的数据集用于测试我们的模型的性能(见图2)．模型开发使用Python 3.6软件(Python software Foundation)。Python是一种免费的开源编程语言和环境，用于统计计算和图形。

‎ 查看此图

人工神经网络

人工神经网络(ANNs)首次出现于20世纪40年代;最近，它们已经变得非常强大，并且是与自适应简单处理元素相互连接的最流行的机器学习模型之一。它们通常通过模仿负责知识处理和知识表示的生物神经系统来工作[24］．基于ann的算法在分类问题的准确性、敏感性和特异性方面已经表现出了很高的性能。因此，近年来，人工神经网络在全球卫生保健研究中的应用有所增加，包括药物开发、模式识别、疾病预测、疾病诊断和疾病预后。ann由三层神经元组成:神经元输入层,的隐藏层,和输出层．隐藏层可以是单层，也可以是多层。每个隐藏层由一个激活函数组成。在我们的研究中，我们使用了三个隐藏层线性整流函数(ReLU)激活函数在第一和第二层隐藏层，和乙状结肠第三隐含层的激活函数。

ReLU是预测模型中广泛使用的激活函数。它将输入值从0转换为α。在第三层中，由于非线性性质，我们使用了sigmoid激活函数。sigmoid函数也是二进制分类中最常用的激活函数之一。sigmoid函数在0到1之间转换输出类。人工神经网络被设计成一个分类模型，可以预测多个医生的反应，同时通过使用最大限度地减少预测误差二叉叉作为损失函数和随机梯度下降法进行优化。此外，在人工神经网络模型中使用了100个epoch，可以达到最大的精度和最小的训练和验证损失。

随机森林

随机森林(RF)也被称为整体学习因为它是大量独立决策树的集合[25］．RF模型中的每棵树都吐出一个类预测，投票最多的类成为我们模型的预测。然而，射频适用于两者分类而且回归模型。

朴素贝叶斯

Naïve贝叶斯(NB)是一个分类模型，使用贝叶斯概率预测期间的理论[26］．它也被称为概率分类器。1960年，文本检索界首次将NB模型引入文本分类[27］．然而，有几种类型的NB算法用于参数估计和事件模型，例如高斯naïve贝叶斯，多项式naïve贝叶斯,伯努利naïve贝叶斯．贝叶斯定理用公式1表示图3．

‎ 查看此图

的变量y类变量，表示在给定条件下是接受还是拒绝警报。变量X表示诸如药物、疾病和人口统计等特征。X由方程2给出图3．

在这里,x₁，x₂.．.x_n表示特征(即，它们可以映射到结果:接受或拒绝警报)。通过代入X利用链式展开，公式(3)给出图3．在我们的模型中，类变量y有两种结果:接受或拒绝。在某些情况下，分类是多变量的。因此，方程4在图3用于查找类变量y最大概率。

梯度增加

梯度增强(GB)是一种很有前途的机器学习算法，它已经显示出更好的分类预测[28］．它既可以用于分类模型，也可以用于回归模型。与RF一样，GB也是一组决策树，但主要区别在于如何构建树以及如何组合结果。在RF模型中，每个树都是独立构建的，而在GB模型中，它们一次构建一个树。GB模型以前向阶段方式工作，并将弱学习器转换为强学习器[29］．GB算法最有趣的部分是它可以很容易地适应新模型。此外，RF模型在过程结束时通过平均或组合结果多数规则，而GB模型结合了整个过程的结果[30.］．

在训练集中，输入药物、疾病等变量，构成一个集合{(x₁y₁),…，（x_ny_n)}的已知值x和对应的值y．目标总是找到一个近似值一个（x)来寻找一个函数一个（x)，使指定损失函数的期望值最小化l（y，一个（x)，如式5in所示图3．

GB模型假设一个实值y然后计算一个近似值一个（x)以函数加权和的形式计算h_我（x)H类，这些类被称为基础或弱学习器，如式6所示图3．

支持向量机

支持向量机(SVM)是一种有监督的机器学习算法。两者都使用了SVM分类而且回归问题(31］．它也被用于解决线性和非线性问题，并适用于许多复杂的问题。SVM的思想很简单:它创建一条线或一个超平面，将数据划分为类。假设函数h定义如式7中图3．

超平面上面或上面的点被归为+1类，超平面下面的点被归为-1类。SVM分类器的工作形式如式8in所示图3．

模特表演

概述

为了评估五种机器学习算法的性能，我们计算了准确度、灵敏度、特异性、阳性预测值(PPV)、阴性预测值(NPV)和受试者工作特征曲线下的面积(AUROC)。为了计算这些测量值，我们测量了真阳性、真阴性、假阳性和假阴性。六个参数的定义如下。

精度

准确性是一种测试，通过它我们可以看到我们的模型有多准确。计算精度的公式如式9所示图3．

灵敏度

敏感性是一种测试，通过它我们可以确定一个确定的病例。灵敏度计算公式如式10in所示图3．

特异性

特异性是我们从阴性病例中衡量正确确诊病例的指标。数学方程如式10所示图3．

PPV和NPV

PPV和NPV是生物医学研究中的两个基本指标。PPV是阳性病例为阳性的概率。PPV的数学方程如式12所示图3．类似地，NPV是阴性识别情况为阴性的概率。数学方程如式13所示图3．

AUROC

AUROC是一种性能度量，我们可以通过它来评估模型的性能。AUROC是一个性能矩阵歧视；它显示了预测模型区分积极和消极情况的能力。

结果

数据集的特点

在为期10个月的研究期间，共收集了9214个警示处方。在预处理和删除具有相同注册号的重复处方后，使用6453个处方来开发我们的模型。神经内科的警报次数最多(1039/6453,16.10%)。在这些警告中，医生接受了546个(52.55%)，拒绝了493个(47.45%)多媒体附件1，图S1)。泌尿科、皮肤科、胸科、家庭科、代谢科、耳鼻喉科检出率较高，分别为10.61%(685/6453)、9.80%(633/6453)、6.91%(446/6453)、6.61%(427/6453)、6.52%(421/6453)、6.50%(420/6453)。康复内科、传染病科、眼科等8个部门的警报率超过1%。性别、诊断代码、疾病代码、医生id和部门id被用于开发和验证我们的预测模型(参见表1)．

机器学习算法的预测性能

我们开发了五种类型的机器学习模型来预测医生的反应。为了确定预测模型的整体性能，应用了六个评价指标。在所有的机器学习模型中，ANN表现出最好的性能(AUROC 0.94)图4而且多媒体附件1，图S2)。

ANN、RF、NB、GB和SVM模型的准确性分别为0.88、0.85、0.83、0.82和0.57。ANN、RF、NB、GB和SVM模型的敏感性和特异性分别为0.87、0.88、0.87、0.79和0.57,0.83、0.82、0.78、0.90和1.0表2)．

‎ 查看此图

讨论

主要研究结果

cdss直接帮助医生做出正确的临床决策，通过生成实时警报和减少可能的不良后果，最终减少处方错误。临床工作流程经常受到过多警报的影响;因此，医生对警报的重视程度较低，甚至不加区分地忽略警报。本研究重点关注医生最近的实践模式，并展示了机器学习模型的发现，以预测医生对疾病药物相关CDSS警报的反应。主要发现如下:(1)人工神经网络模型可以正确预测医生的反应，精度高于其他模型;(2)我们确定了可以为系统设计提供见解的潜在特征。这些发现可能有助于建立一个复杂的提供者友好的界面，其中CDSS可以提供实时警报，如果预测对个别医生是积极的。如果预测结果为阴性，这意味着医生可能不会接受警报;因此，CDSS将不会在处方期间产生警报，或将不间断地提供软或被动警报。但是，所有的警报都将被记录下来，并每周通过电子邮件将报告发送给每个医生，告知他们警报的重要性，以减少不必要的后果。

临床意义

cdss已经显示出其通过降低可预防用药错误数量来改善患者安全和护理质量的能力[32-34];然而，不合理的覆盖率引发了关于cdss质量的问题。通过在CDSS中启动复杂的警报生成标准，防止警报疲劳并将重写率降至最低，可以改善患者安全和有效的护理[35-37］．确定经常无视警报的医生和部门将有助于降低无视率，并帮助我们了解医生将如何应对药物-疾病警报，这将带来巨大的好处。以前没有研究使用机器学习预测模型来识别更经常无视警报的医生和部门。在这项研究中，机器学习算法被用来通过识别更经常无视警报的医生和部门来减少警报疲劳。我们的发现与现有的研究结果一致，这些研究表明，医生在警报覆盖中发挥了重要作用[38］．Bell等人表明，医生对警报选择的偏好可以将警报覆盖最小化[39］．有几个原因可以让医生忽略警报。首先，目前与药物相关的cdss并没有考虑到患者以前的用药史。有时病人已经对这种药物产生了耐药性，医生需要无视这种警告，开这种药物。40］．其次，一些CDSSs因为警报覆盖的原因需要一个条目，这给医生带来了不可接受的时间负担[41］．第三，医生相信他们已经知道了根据他们的经验，警报是不合适的，所以他们更有可能无视警报。13，42］．我们的研究还提供了一个非常重要的观点:无论CDSS根据最相关的知识库有多准确，警报接受程度都受到医生个人观点的高度影响。我们的模型将减少现实世界临床实践和知识型理论之间的差距。

叶等人[43]显示皮肤科、妇产科、家庭医学和眼科有较高的接受率;然而，儿科、精神科和内科，如心脏病科、内分泌代谢科、消化内科、血液科、风湿科和全科，接受率较低。在我们的研究中，我们还发现医生的决定因科室而异。

优势与局限

这项研究有几个优点。首先，这是第一个使用机器学习算法来预测医生接受或拒绝警报的意图的研究。该模型有助于减少当前CDSS中的警觉疲劳。其次，这项研究是针对每位医生的个性化研究。第三，模型的性能是令人满意的，这样它将有助于减少警报疲劳。尽管我们的研究有一些优势，但也有一些需要解决的局限性。首先，我们在分析中没有包含自由文本覆盖原因，而自由文本原因可以为我们的模型增加额外的价值。然而，我们的模型为AUROC提供了良好的特异性和敏感性。其次，我们在这个预测模型中没有考虑医生的经验、工作时间、年龄和性别。这些数据很难收集，因为电子病历系统不记录这类信息。 Third, we have only used one hospital dataset; multiple hospital datasets would make our model more reliable.

未来的工作

这是我们工作的第一部分。在未来，我们将把我们的预测模型集成到CDSS中，以检验我们模型的可行性。它将通过提供软警报或被动警报来帮助减少警报疲劳并产生复杂的CDSS。此外，我们还将尝试从医生那里获得关于我们预测模型的反馈(参见图5)．

‎ 查看此图

结论

研究结果表明，机器学习预测模型具有很高的灵敏度和特异性，可以预测医生的反应。在五种机器学习算法中，人工神经网络模型表现出比其他模型更好的性能。该模型是一种很有前途的工具，可以减少临床环境中CDSSs的警报疲劳，并有助于正确确定个体的警报接受率。