用众包对药物不良反应进行排序

介绍

药物警戒在药物安全性的持续评价中起着至关重要的作用。药物不良反应(adr)导致住院时间延长、医疗费用增加和可归因死亡率增加[1，2]。因此，近年来，随着几种评估药物安全性和有效性的风险-收益方法的提出，对药物不良反应对药物风险-收益评估的影响的评估获得了极大的关注[3.，4]。有两个因素对风险评估至关重要:不良反应在人群中的流行程度(即频率)和不良反应在医疗(发病率和死亡率)或经济后果方面的严重程度。风险估计主要集中在不良反应频率上，因为没有公开的资源提供对不良反应相对严重程度的估计。因此，这些方法一次处理一个ADR [3.]或为所有药物不良反应分配相同的权重[5]。然而，并不是所有的不良反应都同样重要:危及生命的不良反应需要更多的关注，而轻微的不良反应可能不需要。虽然一些严重的危及生命的不良反应是公认的，包括肝功能衰竭、心脏骤停等，但可能有一个严重程度的等级，从这些到最良性的。当然，患者对不良反应严重程度的主观认知差异很大，因此，当涉及到个体患者的决定时，对不良反应进行排名基本上是一项个人活动。尽管如此，基于感知严重性的不良反应排名是风险-收益评估和以患者为中心的护理的有用起点，也是本文的重点。

对大量adr进行排名是一项挑战;理论分析为这种评价提供了框架[6，7]。Tallarida等人要求53名医生将权重分配到七个严重程度级别，但他们的研究只包含两类药物(治疗高血压和类风湿关节炎)的特异性不良反应，因此一般实用性有限。在随后的工作中，作者展示了53名医生和56名非专业排名者之间的一致排名。受此结果的鼓舞，我们寻求众包排名以获得更全面的ADR排名。为了完成这个任务，我们将这个复杂的任务分成更简单的微任务(两两比较)，非常适合众包平台，比如亚马逊土耳其机器人(MTurk)。MTurk是一个众包微任务平台(微任务是指被分成多个更小的子任务的任务)，它允许人类工人执行任务以换取报酬(参见扩展描述的方法)。先前的评估表明，MTurk可以像传统的调查方法一样可靠，并且使用控制验证问题可以显着提高可靠性并减少变异性[8]。据我们所知，众包还没有被用于药物警戒应用。

我们的目标是从人群(非专家、非临床医生)的角度对不良反应的严重程度进行排序。我们对2929例ADR进行了排序，将126512例ADR两两比较分配给2589名个体，并用优化算法对比较结果进行排序。

临床试验后，药品标签上会报告不良反应。通过报告系统，如美国食品和药物管理局(FDA)不良事件报告系统(AERS)，或基于计算预测(使用药物相似性)，可以根据经验推断出其他药物- adr关联。9]，基因重叠[10]和通路分析[11])，随后进行药物流行病学研究以证实这些预测。这些关联数不胜数:FDA标签上平均列出100种不良反应，一些预测工作表明，不良反应的数量可能会增加一倍。严重程度分级对进一步调查的不良反应预测分类是有用的。在讨论中，我们列出了我们的排名列表的另外三个用途，包括减少“警报疲劳”，即警报被忽略[12]，识别更大程度上反映患者偏好的不良反应，以及个体基因与不良反应严重程度的关联。我们将分析所依据的原始数据以及由此得出的ADR排名公之于众。

方法

数据

adr从“SIDER2”副作用数据库(2012年10月版本，共列出4192个adr)中检索[13]。从FDA遗留AERS中挖掘的预测adr -药物关联检索自[14(“OFFSIDES”标签外副作用数据库)。基因与adr的关联从文献中检索[15]，并根据推断的药效学途径预测基因与adr的关联。11) (DrugRouter)。来自SIDER2、AERS和OFFSIDES的adr使用监管活动医学词典(MedDRA)术语进行编码[16]。

AERS数据文件可从FDA网站[17]。数据涵盖了2004年第一季度至2012年第三季度。所有文件都导入到SQLite数据库中，并根据下载中FDA提供的文档中列出的允允值列表检查字段。手动更正了三个格式错误。单独的安全报告被汇总到案例中，每个案例删除重复的报告(后续)。2013年排名前100的处方药检索自[18]。

使用人类表型本体(Human Phenotype Ontology, HPO)计算adr之间的语义相似性[19]，于2014年5月30日下载，使用Semantic Measures Library v0.8 [20.]。

什么是亚马逊土耳其机器人(MTurk)?

MTurk是一个任务创建、劳动力招聘和薪酬的平台。“请求者”创建并发布“人工智能任务”(hit)，“工作者”完成这些任务。这些任务可以用计算机完成，通常需要很短的时间来完成，并有相应的小补偿。在发布任务之前，请求者设置补偿金额(Amazon额外收取10%的佣金)。工人可以浏览和选择可用的任务，并在成功完成每个任务后获得报酬。请求者也可以拒绝不合格的工作。在这种情况下，被拒绝的工人不会收到报酬，这也会对工人记录产生负面影响，因为请求者可能会将他们的任务限制在拒绝率低的工人身上。

药物不良反应排名2929

我们从药品标签中检索了2929个常见adr(用MedDRA术语表示)，如SIDER2数据库所示[13]。FDA AERS收集了临床医生、患者和制药公司的ADR报告，也报告了所有2929例ADR。我们使用Amazon MTurk众包平台将126,512个ADR比较任务分配给2589名个人排名者(MTurk术语中的“工人”)(图1A).每个工作人员都有多达15组10对ADR比较，并被要求在每对中选择哪个ADR更严重。用户界面提供了带有不良反应名称的谷歌查询的可点击链接，以帮助工作人员了解用他们不熟悉的医学术语表示的不良反应(多媒体附录1显示呈现给工作器的比较示例集)。

工人被要求拥有令人满意的任务完成记录，过去任务的拒绝率低于5%(满意率为95%)，并且位于美国，作为英语熟练程度的代表。为了确定可靠的工人，每10对工人任务包括3对预定义的质量控制对和7对随机选择的预期答案。这些质量控制对是通过对人工选择的一组严重adr和一组轻度adr的所有组合进行配对来构建的。

使用预定义的质量控制比较集，我们删除了没有正确回答这些问题的不一致的工人，产生了124,513个可用的两两比较(57,901个唯一比较，进行了多次比较以进行一致性评估，见多媒体附录2用于原始比较)。

在两两比较的构建中，我们采取了以下措施，以最大化被检验对，尽可能减少潜在的偏倚:(1)任务分布在1个月的不同工作日，(2)使用从第一批比较中计算的初始粗略排名，我们随机选择不太容易的ADR对(比较严重和轻微的ADR)或相当的ADR对(非常接近的ADR)，因为相当的ADR很难比较，并且有可能使MTurk工人在被迫选择时感到沮丧。

两两比较的质量控制批(14645对)重复3次以评估可重复性。它还被构造为最大化可以测试三角形不等式的对的数量(即，对于adr A, B和C，测试A vs B, B vs C和A vs C)。

每项任务由10个两两比较组成，平均耗时5分钟完成，每位员工的收益为0.45美元(包括亚马逊的费用在内为半美元)。整个排名共计146人日，花费6300美元。更详细的描述和工人统计数据见多媒体附录3。

药物不良反应排名

我们制定了一个线性规划方案，从两两比较中计算adr的排名列表(见图1B).由于时间和预算的限制，我们只能对近430万个可能的ADR对中的一小部分(1.5%)进行抽样。为了根据两两比较对ADR进行排名，我们使用线性规划，试图保留尽可能多的工人的原始排名(在效用函数的最小化中)，同时确保ADR服从三角不等式，即对于每个ADR三元组A, B和C，我们将更严重的表示为“大于”，因此如果A b> B和B>C，则遵循A>C。给出了线性规划优化函数和约束条件多媒体附录3， adr排名部分。

采用IBM CPLEX软件包12.6版本在MATLAB中实现线性规划[21]。

‎ 查看此图

药物不良反应排名的一致性

概述

我们使用为质量控制目的而构建的一批比较来估计两两比较的一致性。该研究重复了三次，包括多个ADR三胞胎，并对三角关系进行了测试。具体来说，对于每个ADR (A)，我们包括10个比较，形成10个可测试的三角关系(即，对于ADR B和C，我们包括A与B, A与C和B与C的三个比较)。

我们在三个重复批次中测试了排名的可重复性。只有16%的工人参加了一个以上的重复批次(13%参加了两个批次，3%参加了所有三个批次)。

药物不良反应等级与不良事件报告系统(AERS)报告的相对死亡人数相关

我们统计了AERS中与ADR相关的报告数量，以及指定六种结局之一的报告数量(死亡、残疾、危及生命、需要干预以防止永久性损害/损害、住院和先天性异常)。每个ADR结果的比率是报告该结果的数量除以该ADR报告的总数，包括标记为“其他严重”的非特定结果的报告(25%)和未指定结果的报告(20%)。

为了提取与严重程度排序相关的主要结局，我们采用lasso回归方法[22进行了10倍交叉验证。相对死亡率是主要因素(比最佳平均标准误差增加4%)。

结果

药物不良反应排名2929

我们从SIDER2数据库中对2929种常见adr进行了排名[13使用亚马逊MTurk众包平台的员工(见图1A、方法)。我们使用了一套预定义的质量控制比较与预期的答案，以消除不一致的工人。在所有的质量控制对中，共有90%的工人回答正确。我们制定了一个线性规划方案，从这些两两比较中计算adr的排名列表(见图1B和方法)。最严重的不良反应是心脏骤停和转移性骨癌，最不严重的是欣快或情绪升高。我们列出了20种最严重和最不严重的不良反应表1完整的排名在多媒体附录4。

药物不良反应排名的一致性

我们通过重复两两比较的质量控制批次三次来估计两两比较的一致性。这批药品包括多个不良反应三联，对它们进行了三角关系测试。这些不良反应三胞胎中只有10%(标准差0.3%)违反三角形不平等(每批重复共有23,071-26,245个三胞胎，变化是由于排除了在预定义的质量控制两两比较中被判定不一致的工人)。

接下来，我们在三个重复批次中测试了排名的可重复性(见方法)。在这三个重复批次中至少有三个不同的工人进行的配对比较中，58%的人完全同意。尽管如此，从三个重复批次独立计算的排名之间的Spearman相关系数为0.71 (SD .009)，P<措施)(图2a - c)。根据三个重复批次的等级标准偏差，单侧方差分析确定了六个稳健性adr类别(P(见<措施)图2D和多媒体附录3详情)。在高度可变等级的不良反应中，我们发现溶血、气管食管瘘、光化性角化病、自杀意念和慢性中耳炎。变化等级最小的不良反应包括疖肿、呻吟、嘴唇干裂和不适。

最后，具有高语义相似性的不良反应在严重程度等级上表现出较小的差异(Pearson相关ρ= - 0.94，P(见<措施)多媒体附录5)。

‎ 查看此图

在FDA不良事件报告系统(AERS)中，严重药物不良反应与更多死亡相关

AERS包含提交给FDA的不良事件报告。一些报告包括ADR的具体结果(在我们的集合中55%的报告包括ADR)。这些具体结果包括死亡、残疾、危及生命、需要采取干预措施以防止永久性损伤、住院和先天性异常。我们发现AERS报告中的相对死亡率(即所有ADR报告中的相对死亡人数)与ADR严重程度等级之间存在显著相关性(ρ= 0.53)。P<措施)(图3此外，危及生命和住院治疗结果与我们的排名有中等相关性(ρ=)。35和ρ=。3.4，respectively,P<。两者均为001)(图3B和C)。其他可能的结果与我们的ADR严重程度没有很强的相关性(见图3D-F和讨论)。死亡率也是套索回归中影响最大的因素[22的AERS结果与ADR评分的百分比(方法)。有一些例外情况说明了这种评估的局限性:特发性肺炎综合征(与大剂量卡莫司汀化疗相关的不良反应)[23)排在第48位^th严重程度的百分位数，但显示高的相对死亡率(84%)。相反，乳腺癌和甲状腺癌也在99种癌症之列^th严重不良反应的百分位数，但在AERS报告的死亡率低于10%。在AERS报告中，我们发现ADR严重程度排名与患者人口统计学特征(年龄和性别)之间没有显著相关性。图4显示了最严重和最不严重的不良反应的云，按其在AERS系统中的相对提及度进行排序，显示了相似排名的不同不良反应之间的很大差异。

‎ 查看此图

‎ 查看此图

一些治疗类别有更严重的药物不良反应类型比其他

药物风险评估受其相关不良反应严重程度及其在人群中的发生频率的影响。为了评估ADR频率的可靠性，我们调查了65种严重和频繁的药物-ADR关联的药品标签，其中我们将严重ADR定义为排名在95以上的^th百分位数和频繁药物- adr关联为SIDER数据库中报告频率大于1%的关联。这些标签上的频率信息在很大程度上不足以估计高于对照(即安慰剂)的边际频率。只有两种关联(3%)与对照组相比，对照组接受手术(睾丸切除术)而不是接受不同的药物。报告的频率显著高于对照组(服用唑拉德后充血性心力衰竭和慢性阻塞性肺疾病发生率为5%，对照组为1%)。P<措施)。因此，我们忽略了频率信息，并将重点放在最严重的不良反应上，假设在确定其频率之前，必须强调它们。

我们根据药物解剖治疗化学(ATC)分类系统的第二级定义，通过汇总药物- adr关联，将adr与一组治疗药物类别联系起来。我们统计了SIDER中每种药物不同严重不良反应的数量。综合ATC类别，我们确定了在相关严重adr数量方面具有高变异性的药物类别(图5)。每个治疗类别严重不良反应的中位数与FDA对该类别有盒装警告的药物比例呈正相关(ρ= 0.64;P<措施)。我们强调了两个类别，显示出高数量的相关严重adr(中位数≥5例严重adr)和大变异性(SD bbb9)。免疫抑制剂包括仅与两种(硫唑嘌呤)或三种(来氟米特)严重不良反应相关的药物，以及与大量严重不良反应相关的药物(来那度胺与29种相关，他克莫司与19种)。与免疫抑制剂数量最多相关的严重不良反应是坏死、肾功能衰竭和充血性心力衰竭。抗帕金森药物包括无严重不良反应相关的药物(奥非那定、双哌啶和苯托品)以及多重严重不良反应相关的药物(普拉克索，相关36，罗匹尼罗，相关23)。抗帕金森药物中最常见的严重不良反应是心脏骤停、昏迷、肾衰竭、皮肤癌和脑缺血。

‎ 查看此图

排序可以优先预测药物不良反应

最近的一项研究通过对AERS(438,801对药物- adr)的统计分析预测了药物- adr之间的关联[14])。对如此大量的预测进行实验验证是不切实际的，然而监管机构需要优先考虑这些关联，以便进一步调查。由于ADR频率不能从AERS的自发报告中确定，因此我们强调了在高处方药物中发生的严重ADR，即使低频率也会产生重大影响。我们专注于2013年排名前100的处方药[18]，并在OFFSIDES数据库中确定了53种具有新型严重adr的药物(多媒体附录6)。我们重点介绍了两种新型严重adr数量最多的药物。首先，选择性雌激素受体调节剂雷洛昔芬的药物标签上列出了肺栓塞。OFFSIDES数据库预测相关的不良反应、肺血栓形成，以及颈动脉和脑血栓形成。其次，塞来昔布是一种非甾体抗炎药，与心肌梗死、急性冠状动脉综合征和短暂性脑缺血发作有关，这些都是预测的冠状动脉闭塞和心肌病的结果。此外，预测的心肌病经常导致报告的心力衰竭。

与药物不良反应相关的基因分类

在药物开发过程中，识别与不良反应相关的基因和途径是有用的;使用我们的严重性排名对这些进行定量比较可能更有用。因此，我们使用了从文献[15]，并使用每个基因的综合不良反应严重程度对其“不良反应风险”进行评分。多媒体附录7列出了基因及其最严重的相关不良反应。我们的分析强调了先前相关的基因和严重的adr [15]，如表2。我们还强调了[11]与抗精神病药恶性综合征(NMS)相关:HTR2A、NGPR和COMT。

讨论

主要结果

我们使用众包平台对2929种adr的严重程度进行了排名。该排名有助于根据药物相关不良反应的严重程度突出药物类别，分类预测药物相关不良反应以进行进一步调查，并根据药物与不良反应的关联将基因与严重程度评分联系起来，这对药物设计有一定的影响。虽然我们的排名是一致的和可重复的，但我们不能说它是最优的。对潜在的不良反应空间进行更广泛的抽样(可能包括经历过这些影响的专业人员和患者)或采用更复杂的排名方法可能会提高排名的质量。我们纳入了原始的两两比较数据(多媒体附录2)和我们的排名，以便进行其他分析。

限制

我们的排名是基于非专家和没有经验的人对ADR严重程度的理解和解释。我们的分析包括点事件和间隔事件，这些事件的比较没有(1)参考其不同的时间过程，或(2)相同ADR的不同实例之间严重程度的变化- MTurk工人被简单地要求决定一个ADR是否比另一个更好或更差，综合所有考虑因素。质量控制上的高性能ADR对(标在多媒体附录2)，排名的一致性表明他们基本上理解了医学术语(可能是通过使用提供的谷歌查询链接)。调查的平均完成时间(包括10个两两比较)为5.33分钟，高于生物医学科学家完成此类调查的平均时间(4分钟)。最后，我们只包括来自美国的工人，但我们的方法可能会受到工人的其他人口统计学特征的影响。虽然我们在研究中无法获得此类信息，但我们从其他来源估计平均年龄为33-35岁，其中63%-72%为女性(19)。

如上所述，我们发现一些不良反应在我们估计的严重程度和AERS报告中的死亡率之间不一致。造成这种差异的原因有两个:(1)外行人对不良反应的真正严重程度的误解(例如，“癌症”一词可能会得到很高的排名，而不管其生存统计数据如何)，和/或(2)在AERS系统中相关死亡率的偏差。我们无法区分这些，很可能两者都有贡献，突出了潜在改进的领域。

致残率、需要干预以防止永久性损害/损害或先天性异常与ADR排名之间没有相关性。在对这三种类型的高发生率的adr进行人工检查后，我们发现，对于前两种，残疾和“需要干预”的结果，缺乏背景导致高发生率的adr被归类为轻度。例如，扮鬼脸或直肠痉挛与55%以上的致残率相关，并且可能是常见的残疾合并不良反应。同样，对于“必要的干预”，轻度麻醉(>42%)和低氧(>25%)是中度的，没有背景。在先天性异常的情况下，许多异常不会危及生命，因此排名较低(例如，乳头多余，耳朵低置或耳朵畸形)。

最后，我们使用SIDER和FDA AERS系统中“按原样”出现的adr列表。我们列出的一些不良反应可能不是由药物直接引起的，但与药物有关(例如，感染可能作为药物的副作用更频繁，或者可能只是与药物治疗的疾病同时发生)。我们保留了这些adr，因为它们提供了关于个体如何感知其相对严重性的重要见解。

影响

我们强调了药物治疗类别在严重ADR的发生方面在药物成员之间表现出很大的差异，建议对药物选择对患者ADR发生的影响保持警惕。我们还强调了与严重不良反应相关的基因，这些基因应该进行进一步的研究。

在不良反应排序列表的潜在应用中，我们建议将这些不良反应映射到药物-药物相互作用可以帮助减少由于过于频繁的警报而产生的“警报疲劳”，这通常出现在相对轻微的事件中。这种现象可能会导致医生忽略这些警告，如果这些警告主要集中在主要的不良事件上，则可能会减弱[29]。某些adr在等级上的偏差比其他adr更大，这表明它们感知到的严重程度更多是个人偏好(多媒体附录4)。这些信息可以确定在做出处方决定时应更强烈地考虑患者偏好的病例。

最后，我们关注的是不良反应的严重程度，但不良反应发生的频率也是评估药物风险的关键。这些ADR频率需要适当的控制以校正背景频率。精心构建的临床试验，允许以严格的方式提取统计上显著的频率，应该给予高度优先考虑。

结论

我们认为，我们对不良反应的排名可能具有有用的临床和财务意义，应该在卫生保健决策的背景下进一步研究。