利用深度神经网络模型检测潜在的药物不良反应

简介

药物不良反应[1，2是一个严重的问题，指的是尽管服用了常规剂量的药物，还是会出现副作用。据估计，住院患者中发生严重不良反应超过200万例，每年造成10万人死亡[3.，4］．不幸的是，由于数据不足，很难识别或预测潜在的adr。

在上市前和上市后阶段的自发报告是早期识别adr最常见的方法。具体而言，临床试验的安全性报告用于列出上市前阶段常见的adr [5]，而从各种数据库和市场调查中收集和分析的数据，如药物警戒和风险管理，则用于上市后阶段。尽管大多数新的不良反应都是从自发报告中发现的，>90%的不良反应都没有报告[6，7];这被认为是一个主要的限制。制药公司正在努力避免药物开发阶段的副作用。然而，尽管它们可以识别和处理常见的副作用，但识别或预测罕见和严重的副作用通常是不可行的。为了克服这些限制，一些研究利用大量数据和各种信息来源，使用统计方法预测不良反应[8]和机器学习方法[9］．

识别不良反应的基本方法涉及从不同的信息来源识别药物及其副作用之间的关系[10-12例如临床试验、电子病历(EMRs)、社交媒体和生物医学文献。例如，PubMed包含有助于药品不良反应检测的有价值的信息。卡里米等[13]回顾了与计算机科学相关的数据挖掘和技术，这些技术已经在药物安全领域进行了研究，以识别来自不同来源的不良反应报告。Tatonetti等[14]提出了一种构建预测模型的新算法，该模型可以检测不良事件报告中的隐藏相互作用，从而推断未报告的不良事件。王等[15]开发了一个使用数据挖掘从数百万份emr中提取信息的adr识别模型。它使用带有特定药物和已知药物不良事件(ADE)信息的临床记录，这些信息已使用统计方法进行预处理，以计算给定药物障碍对代表有效ADE关联的概率。该方法根据PubMed引用的内容自动确定特定不良事件是否由特定药物引起[16］．芬克尔斯坦等人[17]开发了一种自动检测和总结期刊论文adr信息的工具。然后，它为医生在用户友好的界面上对药物的adr进行了排名。

一些研究利用药物的化学或分子途径来预测不良反应[18］．卡米等[19]开发了一种通过使用特定药物和不良事件的信息来预测可能未知的ade的新方法。洛伯鲍姆等人[20.)假设系统生物学和化学基因组学数据可以通过突出与目标表型有机制联系的药物并过滤那些没有机制联系的药物来改善药物安全性监测。他们提出了一种算法，药物安全子网络的模块化组装，以结合系统药理学和药物警戒数据。该算法显著改善了4种临床相关adr的药物安全性监测。黄等[21]提出了一个通过整合蛋白质-蛋白质相互作用网络与药物结构来预测ADR概况的框架。一些研究人员利用药物的化学、生物学和表型特征来预测不良反应。刘等[22]提出了一种整合化学结构、生物学特性、蛋白靶点和通路信息等表型特征的机器学习预测adr的方法。

然而，这些方法大多依赖于大量手工制作的特征，并将ADR识别视为一个分类问题，这没有考虑到所发现的ADR的顺序。因此，该过程往往更昂贵，并导致模型训练阶段药物-不良反应关系的重要信息丢失。此外，这些方法无法预测新药的不良反应，增加了ADR的检测难度[19］．

为了解决这些限制，我们使用深度神经网络(DNN)模型来检测药物的不良反应。该模型有两个目的:识别不良反应，这需要从已知的不良反应记录中发现药物的潜在不良反应，以及预测不良反应，这涉及到预测新药可能的不良反应。我们使用词嵌入方法和映射函数来处理数据集中没有出现的新药。此外，我们用不同的特征组合和DNN架构中隐藏层的数量来检查模型的整体性能。

方法

数据描述

为了开发和评估DNN模型，我们使用了Side Effect Resource (SIDER)的数据[23]，这是一个副作用药物数据库，载有2009年以来市面上药物的资料及其记录的不良反应[24］．我们从SIDER收集了2009年和2012年的ADR信息，以代表模拟前瞻性方法。这两年共记录了746种药物和1325种与这些药物相关的副作用。另有232种药物仅作为新药出现在2012年的数据集中。从临床前研究阶段到上市后监测药物整个生命周期的不良反应非常重要。药物的基本性质依赖于临床前在体外安全性分析涉及对化合物的化学和生物特性的测试。因此，我们将这些属性提取为模型中特征的一部分。我们从PubChem中提取了17种药物的分子描述符[25) (文本框1)．我们利用了DrugBank的生物学特征[26]来表示生物分子间的相互作用和途径。这些特征包括每种药物的靶标、酶、转运蛋白和载体及其作用。

为了丰富科学证据，加强药品不良反应的检测，我们从医学文献分析与检索系统在线(MEDLINE)收集了数百万篇论文[27作为辅助数据来丰富每种药物的信息。我们使用每种药物的名称作为查询词，并选择了2009年之前发表的所有与该药物相关的论文，如病例报告、临床试验和观察性研究。收集2009年以前发表的论文的原因是，我们想模拟2009年到2012年毒品监测的进展。

药品描述的特点

我们将ADR识别视为一个信息检索问题，这样我们的模型就可以发现每种药物与记录的1325种副作用之间的潜在关系。我们用1或0对应副作用的存在或不存在的元素的二进制剖面来表示1325个维度的预测目标，Y∈ℕ^n×1325与n就是药物的数量。每种药物都与3类特征相关:化学性质、生物性质和文献信息。同时纳入已知药品不良反应记录。预处理后，我们过滤掉2个空属性:同位素原子计数和未定义的键立体中心计数。随后，用15维向量表示化学性质的特征X_化学∈ℝ^n×15对于每个元素。从DrugBank中提取的生物特性包含4个阶段的信息，包括载体、酶(用于药物代谢)、蛋白靶标和转运体(用于药物转运)。预处理后，我们利用生物信息用1048维载体表示每种药物，其中包括788个蛋白质靶点，162个酶，85个转运蛋白和13个载体X_生物∈ℕ^n×1048用于每个元素中的不同操作类型。已知的药品不良反应记录在识别潜在的不良反应中起着重要作用。因此，我们利用这些信息来预测2012年出现的潜在adr。

生物医学文献在本研究中发挥了重要作用，因为生物医学文献中包含了大量与药物和adr相关的信息，如临床记录和病例报告。然而，从生物医学文献中提取药物信息的一个问题是不确定哪些词或文件代表药物。因此，我们利用最流行的嵌入方法之一Word2Vec[]训练模型来理解2009年之前介绍的764种药物的230万篇生物医学论文中的药物语义特征。28-30.]来使用skip-gram模型对其进行建模。随后，我们使用药名的载体作为药物载体(drug2vec, D2V)，X_D2V∈ℝ^n×400,n就是药物的数量。我们在实验中观察到D2V所代表的特征比内在特征更全面。但是，由于我们使用药物名称作为查询词，我们无法识别与232种新药相关的论文。为了解决在嵌入训练步骤中未观察到的药物，我们通过引入药物描述映射函数扩展了D2V。使用V_D2V表示训练和中存在的药物向量的词嵌入空间V_DDV表示新药描述向量的是论文中与新药相关的每个词向量的总和，即映射函数f（v)：V_DDV→V_D2V是由W，以致于v ' =西弗吉尼亚州为v∈V_DDV而且v '∈V_D2V［31]使用最小绝对收缩和选择算子回归来训练W［32］．这种扩展方法使模型能够处理新的药物，使其更加灵活。

‎ 查看此图

‎ 查看此图

药物不良反应检测深度神经网络模型描述

我们设计了一个DNN模型，可以识别和预测不同需求的药物的不良反应。这个模型(图1)是基于一种常见的DNN架构，多层感知器[33]，在之前的几项研究中已经成功应用。我们在每个密集层之间增加了dropout层，以避免在训练步骤中模型过拟合[34，35］．每一层的非线性转换过程保证了模型能够从输入数据中学习到更多的信息。该模型旨在识别和预测药物潜在的不良反应。识别功能是通过已知的药品不良反应记录和药品的各种特征来寻找药品的潜在不良反应。预测函数用于检测新药潜在的不良反应。我们设计了两种特征表示形式(图2)来区分识别和预测的任务。在预测中，我们假设一种新药的ADR记录为空。因此，已知ADR记录为零的特征说明新药可能的ADR仅依赖于语义特征(drug2vec)、化学性质和生物学性质。

我们将识别任务视为信息检索问题，因为药物可能有不止一种不良反应。因此，我们在最后一层设计了1325个隐藏节点，这等于数据集中adr的数量。评估不良反应发生的概率y一种给定的药物x，我们定义了p（y∣x) = σ(Wh+b)， σ为sigmoid函数，传递隐向量h取0到1之间的值。我们学过p（y∣x的交叉熵最小D．当θ表示模型的所有参数时，目标函数ℒ(D， θ)的公式如下:

ℒ(D， θ) =−求和（y_我日志［p（y | x)] + [1−y_我］日志［1−p（y | x]) / n

结果

在这项研究中，我们对DNN模型的性能进行了详细的分析。让问表示数据集中药物的数量。我们使用接受者工作特征曲线下的面积来评估模型，如图所示表1，平均平均精度(MAP)AvePrecision（问) /问该方法已广泛应用于多标签问题和信息检索评价。首先，我们评估了不同特征组合检测药物不良反应的能力。我们检查了我们的模型的性能，参考的特征提出图3(左图)。药物特征包括生物特征、化学特征和D2V特征。化学特征被发现表现不佳，因为重复和难以区分的化学性质提取。

此外，我们去掉了D2V，保留了其他特征来训练模型。结果表明，D2V的信息量最大，这可能是因为D2V从数百万篇论文中学习了有价值的信息。然后重点比较了几种常用的方法。我们比较了3种机器学习方法的能力，即概率矩阵分解(PMF)，线性支持向量分类器和高斯Naïve贝叶斯[36，37]，以预测和识别药物的不良反应。图3(右图)显示了不同模型的性能，基于5次交叉验证，使用所有生物、化学和D2V属性作为特征，PMF除外。PMF表现最差，因为它仅基于潜在信息考虑药物和不良反应之间的关系。我们的模型优于其他模型的原因之一是，通过深度学习中的非线性转换，药物的特征丰富了信息。

随后，我们研究了我们的模型是否可以处理预测和识别的具体任务。预测任务的表现(图4(左边的图像)超过了识别任务。识别任务比预测更困难，因为前者需要检测潜在的罕见adr。尽管该模型的识别功能可以改进，但其总体性能表明其能够同时处理这两项任务。

此外，我们用不同数量的隐藏层绘制模型的性能(图4(右图)。模型的性能并没有随着隐藏层数的增加而提高。有2个隐藏层的模型优于其他模型。具体而言，由于3个隐藏层的数据大小有限，模型无法从数据中学习到好的参数。显然，隐藏层的数量依赖于DNN中的数据属性和数据量。

为了评估我们的映射功能，我们通过将药物描述转移到D2V来检查药物扩展。结果，如图所示表2，表明我们的映射函数可以适应D2V的性能。通过映射函数对药物进行描述的性能略好于D2V，这可能是因为D2V的空间中并不存在某些药物。这一发现表明，如果没有映射功能，该模型无法预测此类药物的不良反应。因此，发现映射函数使模型更灵活地处理新药。

‎ 查看此图

‎ 查看此图

讨论

主要研究结果

在这项研究中，我们的目标是增加药物信息的多样性，以提高我们检测adr的能力。因此，我们从药物的化学和生物特性以及现有的生物医学文献中提取信息。选择MEDLINE作为生物医学文献的来源，以确定重要的辅助数据，因为它包含几种类型的生物医学论文，如临床试验、病例报告和观察性研究，与药物有关。然而，从数以百万计的论文和单词中，很难使用关键词来识别特定的药物。因此，我们利用230万篇生物医学论文，使用Word2Vec中的skip-gram模型来识别药物的语义特征。特别是一个中心词w_t在考虑下，概率p（w_t±我∣w_t)来预测周围的单词w_t±我取决于w_t．下标t表示目标词，例如药物名称“Dantrolene”，而我表示目标字的Windows大小。这个特征帮助我们提取每个单词的潜在信息，包括构成药物名称的单词。在这个词嵌入训练之后，我们研究了语义特征(D2V)是否可以代表药物的性质，如生物医学和化学性质。我们将学习到的药物嵌入向量之间的关系基于它们的相似性(图5)．该图包括746种药物，并展示了这些药物与从语义特征中学习到的潜在信息之间的关系。每个节点表示一种药物，边缘表示其他药物之间的相似性。每对药物越相似，它们在图中的位置就越接近。较大的节点代表与其他药物更相似的药物。我们发现该模型似乎集中了用于特定治疗的药物。

‎ 查看此图

例如，蓝色圆圈所示的簇中的药物图5(上图)包括抗抑郁药，如曲唑酮、西酞普兰、氯丙咪嗪和帕罗西汀。右边的簇含有抗生素，如氨苄西林、头孢他啶、头孢氧肟，如图所示图5(中间的图片)。此外，底部的群集包括眼科药物，如氟米隆、左旋他汀、布林唑胺和地哌弗林(图5，图片在底部)。还有其他一些小的集群，它们有自己的特定治疗方法。因此，我们从文本层面的嵌入功能所包含的论文中了解了药物与潜在信息之间的关系。因此，语义特征对模型的性能有很大的影响。

随后，我们参照Micromedex定义的严重不良反应，检查了该模型执行其识别和预测功能的能力。利用模型的识别函数，我们将潜在adr按其出现的概率在列表中排序(表3)．其中一个原因是ADR出现的概率表3不是很突出的是这些adr的阳性样本在这个数据集中很少被报道。然而，我们的模型可以确定羟氯喹导致肌肉痉挛，这是严重的神经肌肉疾病中发生的严重不良反应。此外，我们提取了仅在2012年被记录的5种药物来检验该模型的预测功能。

结果表明，我们的模型具有预测新药严重不良反应的能力。例如，该模型预测Zoladex可能导致严重的不良反应——心肌梗死，这是发展中国家最常见的死亡原因之一。

限制

这项研究有几个局限性，需要在未来的研究中加以解决。首先，数据多样性在模型中起着重要作用。我们只使用了在SIDER上发表的数据。如果我们能从不同的数据集中包含更多的数据，我们的模型将更有说服力和可靠。由于药物的化学和生物特性对其对人体的影响影响最大，因此包含药物特性的数据库越多，我们的模型性能越好。另一方面，如果我们能够获得更多的开源数据，包括临床试验、自发报告系统和政府和制药行业支持的EMRs，我们的模型将有更好的预测。此外，我们的模型侧重于ADR的预测和识别。为了识别每个ADR发生的概率，我们在输出层设置了1325个隐藏节点和数据集中ADR的总数。换句话说，虽然我们有一个映射功能来处理新药，但这个模型只能预测现有的adr。因此，在未来的工作中，我们计划利用药物- adr相互作用等更详细的特征[13]，药物-药物相互作用，ADR-ADR相互作用网络预测不良反应。此外，我们还计划研究其他嵌入方法来表示adr，以帮助预测药物和新的adr之间的关系。

结论

基于药品的生物化学特性和语义特征(D2V)，建立了一种新的药品不良反应检测模型。在与成功大学医院和临床药学与药学研究所的领域专家讨论药物相似性后，我们发现D2V可以代表药物的一个特征。我们的模型不仅可以发现药物潜在的不良反应，还可以预测新药可能的不良反应。为了根据以往的记录发现潜在的adr，我们的模型可以识别ADR-ADR相互作用之间的隐藏关系。此外，为了预测没有任何ADR记录的新药可能的ADR，使用D2V特征，我们的映射函数在将药物描述转移到D2V方面表现出良好的分析。该模型在两项任务中都表现良好，并产生了最合适的结果。它将帮助药剂师和卫生保健提供者了解药物副作用的潜在风险，并解决自发报告漏报的问题。最重要的是，我们的模型将通过识别和预测潜在的不良反应来帮助药物警戒。