用无监督词嵌入和机器学习预测快速扩展的COVID-19文献中的新兴主题:基于证据的研究

简介

COVID-19大流行是一项全球健康威胁，并已被证明是一个谜，其临床表现多样，治疗证据有争议，疫苗研发快速，系统性影响尚不明确。大多数国家都受到COVID-19的影响，截至2021年7月13日，短时间内约有1.87亿例确诊病例，有400多万人死亡[1］．关于COVID-19的文献呈指数级增长，世界卫生组织(世卫组织)审查了15万多篇关于COVID-19的文章[2］．随着研究人员、临床医生和政策制定者越来越难以从同行评议的文献中合成知识，理解COVID-19等背景下不断演变的主题至关重要。以前的研究方法，如主题建模和情感分析，仅在短时间内将预印本与同行评议文献进行了比较。伊巴迪等[3.]研究了情绪的时间模式，以及不同来源的出版物随着时间的推移的相似性，使用文档嵌入。使用结构主题建模发现了肿瘤学、个人防护设备、分析学、康复恐慌、高危人群和基因组学等高水平研究主题。尽管这样的分析反映了广泛研究领域的抽象概述，但它们并没有捕捉到不同领域特定实体之间不断发展的上下文。我们的研究目的是分析和跟踪生物医学实体之间的词级语义相似性，以揭示新兴主题。

文章摘要包含了文献中大量的信息。摘要中的命名实体在从大量文本中推断有价值的信息和影响文学趋势方面发挥着至关重要的作用[4］．已使用在生物医学、科学和临床基准数据集上预训练的模型从连续文本中提取各种临床实体，如疾病、症状、化学物质和药物不良反应。随着时间的推移，这些实体的相对上下文会发生变化，导致与其他单词的相似度发生变化[5］．无监督词嵌入以前曾用于捕获复杂的科学概念，使用由余弦相似度表示的语义关系[6］．

预测“医学术语”之间的联系对于理解文献和现象中的潜在主题具有重要意义。链路预测是根据一组拓扑特征预测复杂网络中2个节点之间是否存在链路的任务。近年来，现实世界时间网络中的链路预测问题已经被探索了很多[7]，主要用于在线社交媒体网络，其中节点由用户表示，边由用户之间的关系表示。基于拓扑邻近度量的监督学习方法已被广泛用于捕捉网络中链接随时间的移动[8，9］．我们的论文旨在通过我们提出的框架来填补这些空白，证据流[10，这是一个交互式web应用程序，使用冲积图、有影响力的实体投影和不同月份的网络分析来跟踪文献趋势。我们首次提出使用历时词嵌入、实体动态网络中的链接预测和机器学习来预测新兴主题文献，并将这些作为web应用程序公开提供。本文还研究了基于加权时间网络中提取实体间余弦相似度变化的文献演化，并利用链接预测预测未来的新兴趋势。

我们主要关注快速出现的COVID-19文献，以训练和验证我们的研究架构。我们预测了命名实体对在前几个月的时间趋势中产生的语义和拓扑接近特征。此外，我们使用这些预测特征来预测从文本数据中提取的临床实体之间的联系，使用机器学习算法在预测的时间间隔内。此外，这些链接被用于创建一个由预测余弦相似度加权的网络，用于检测倾向于反映当月发表文章主题的实体社区。为了评估我们的预测模型的有效性，我们使用均方误差(MSE)验证了从自回归综合移动平均(ARIMA)预测的实体对的接近特征。我们还评估了机器学习算法在3个月时间跨度内预测链接的性能。

工作流程的示意图已被演示(图1)．新兴主题的互动分析和结果可以在我们名为EvidenceFlow的网络应用程序上公开获取。关于其工作的细节也可以在多媒体附件1．这项研究提出了一个框架，用于捕获和跟踪由医疗实体在时间空间中形成的迫在眉睫的主题，该框架基于使用不断发展的COVID-19文献训练的词嵌入构建的网络。

‎ 查看此图

方法

数据集与文本预处理

数据集是根据公开的世卫组织数据库中发表的约15万篇COVID-19文章摘要创建的[2] 2020年2月至2021年6月(图2A).对于每一篇研究文章，数据库包含相应的标题、作者、发表来源、期刊、数据库、语言、发表类型、发表日期、国家和全文URL。我们在数据库中查询了所有英文全文文章，其余的字段未被过滤。中描述了有关特定类别和关键字的文章的频率多媒体附件2．使用自然语言工具包(NLTK)包对小写转换的文本进行格式化，删除空格、标点符号、数字和停止词[11］．我们列出了进一步分析中使用的所有软件和软件包，以及相应的版本和来源多媒体．

‎ 查看此图

命名实体识别

命名实体识别(NER)用于从经过审查的研究文章的原始摘要中提取2种类型的实体(疾病和化学品)，使用由生物医学自然语言处理开源项目SciSpacy在BC5CDR语料库上预训练的模型[12］．该模型识别F1分数为84.49%的实体[13］．在疾病类别下提取的词语还包含症状、不良反应、条件、障碍和综合征。所有这些疾病在其他部分统称为疾病。实体被进一步用于创建网络，通过冲积图研究趋势，并预测过去和未来几个月节点之间的联系。

无监督词嵌入

词汇嵌入是根据从世卫组织数据库获得的摘要进行训练的，这些摘要随着每月提供的新出版物和预印本而得到更新。对于摘要语料库中出现的单词，使用带有跳跃式图算法的Word2Vec模型和在Gensim中实现的固定窗口大小为5来学习低维表示(d=100) [14-16］．计算提取的实体词向量之间的余弦距离，分析实体对之间的不相似度。词向量的可视化使用TensorFlow Embedding投影仪进行[17使疾病和化学物质之间的关系得以互动探索。为了创建每个月的实体网络，单独的Word2Vec模型被训练来捕捉随时间发表的文献中单词相似性的变化。

纵向实体网络和社区

高余弦相似度代表单词之间的强关联。我们使用历时词嵌入来捕捉各种疾病之间不断演变的上下文相似性，并研究随时间的演变。利用提取实体词向量之间的相似度作为边权，构建加权网络。从每个月的摘要语料库中，提取出前N(=100)个最常发生的疾病，并使用基于相应月份的词嵌入的余弦相似度大于90百分位的对来创建跨月份的实体联合集，保存为时间网络中的节点。因此，每个月的网络都有一组固定的节点，这些节点具有不同的链接，根据余弦相似度的阈值标记为0或1，以及根据不断进化的语义紧密度计算的不同权重。所述阈值是在实验的基础上进行经验选择的;我们选择了一个高阈值来描述存在于同一潜在空间的两个单词之间的上下文相似性。为了培训和评估，使用上述程序，从2020年2月至2021年2月发表的论文摘要中确定的疾病创建了一组固定的实体对。在接下来的几个月里，词嵌入模型在各自的摘要语料库上进行训练，如果它们出现在词汇表中，则分配固定节点对集之间的链接，并通过它们的词向量之间的余弦相似度进行加权。使用Infomap算法在每月的网络中进行社区检测[18］．词嵌入的语义变化导致了社区的形成，随着几个月来出现的主题而变化。使用基于PageRank值的冲积可视化来跟踪每个节点(实体)的重要性，该值在不同月份之间发生变化[19］．带参数的详细步骤可在多媒体附件1．

邻近度分数的时间序列预测

为了预测接下来几个月网络中节点之间是否存在链接，我们计算了每个月网络的5个邻里接近度分数。花牌相似，共同邻居，优先依恋20.]，和Adamic Adar相似度[21]作为拓扑特征，节点表示的实体之间的余弦相似度作为语义特征。这些基于网络拓扑的接近度分数是使用NetworkX包计算的[22］．adam Adar相似度、共同近邻和优先附着值在0.00 ~∞之间，Jaccard相似度和cos相似度在0.00 ~ 1.00之间。为了缩放这些值，我们将每个网络中的前3个分数归一化，使其在0.00到1.00的范围内。

每个接近度得分被建模为每个节点对的时间序列，并使用ARIMA模型预测接下来一个月的值[23］．使用增强Dickey-Fuller检验评估时间序列的平稳性。平稳序列采用一阶自回归模型(p=1, d=0, q=0)，非平稳时间序列按模型的随机游走顺序(p=0, d=1, q=0)传递。为了验证，使用时间戳τ处网络的接近度得分＋1根据它们在时间戳τ之前的网络中各自的过去值进行预测。通过将预测结果与τ中的原始接近度分数进行比较，评估了模型的性能＋1时间使用MSE。MSE是一个稳健的指标，以衡量预测输出接近实际值的时间序列设置。为了评估其对异常值的敏感性，我们分析了误差的分布(多媒体附件4)．可以看到，误差的中位数接近于零，异常值的影响最小。带参数的详细步骤可在多媒体附件1．

实体间链路预测

使用ARIMA模型预测的接近度分数进一步用于识别网络G中实体之间是否存在链接_＋1基于邻近性得分和所有以前的网络链接(G₁G₂G_3.，…)，使用监督机器学习。我们利用逻辑回归试验了所提出的链路预测方法[24]，随机森林[25]，支持向量机[26]， AdaBoost [27]， XGBoost [28］．为了训练模型，在每个时间戳到之前，使用4个临近分数(Jaccard系数、优先依恋、Adamic Adar指数和共同邻居)作为节点对的特征。为了验证，预测网络在时间戳的接近得分＋1用于预测节点之间的链接。由于标签之间的高度不平衡，我们评估受试者工作特征曲线(AUROC)下的面积，以选择最优阈值进行二元分类。在训练、验证和测试模型时，我们没有使用余弦相似度作为特征，因为它是链接的标识变量。对2021年4月至2021年6月的预测接近度得分进行了模型验证。对于逻辑回归，关键假设的评估是用方差膨胀因子来衡量多重共线性的程度，用库克距离来检测有强烈影响的离群值的存在，用对数概率散点图来检查自变量的线性。这些测试对大多数月份的数据都不满意;因此，逻辑回归并不是我们首选的模型，我们也没有在结果中进一步考虑它。韦尔奇的t进行测试，以比较机器学习模型的性能，然后进行Bonferroni校正[29］．详细的算法和功能，可在多媒体附件1．中为所有模型设置的参数多媒体．

预测网络中的团体检测

使用最佳性能模型预测的节点对之间的链接来创建由ARIMA模型预测的余弦相似度评分加权的网络。在预测的和原始的测试网络上应用Infomap算法，将节点聚类为10个模块。这些模块使用交集/并集(IOU)进行比较，并使用以下公式:

其中A表示预测的第i个模块中的节点集合，i∊{1,2，…，10}，B表示原始的第j个模块中的节点集合，j∊{1,2，…，10}。

结果

总共鉴定出46,885种不同的疾病和53,375种独特的化学物质。顶部实体显示在图2C和2D。焦虑、抑郁和高血压被发现出现在研究文章中讨论最多的20种疾病中。氧和羟氯喹紧随其后的是核酸和血管紧张素(一种导致血管收缩的肽激素)，这些都是讨论最多的化学物质。利用t分布随机邻域嵌入图(图2B)描述了“慢性疲劳”、“衰弱”、“神经退行性疾病”和“血管并发症”在最接近的医疗实体中的余弦距离。类似的可视化术语“精神障碍”可以在多媒体附件6，与“疫苗”、“共病”、“不良反应”、“社会”和“心理”等关键字最相似的前10个实体可以在其中找到多媒体．

我们对不同月份的冲积图进行了详细的推断，以图形化的方式探索文献中基于流行医学实体的动态和同质网络及其相关余弦相似度的时间趋势。图3A代表在2020年发表的文献中发现的主题流。2020年3月，注意到的主要主题是胸痛、急性肾损伤和淋巴细胞减少症。虽然在前几个月的文献中，“血栓栓塞并发症”的痕迹较少，但它在2020年8月成为最重要的主题(图3A)心肌损伤和心血管疾病在2020年12月成为一个关键的实体集群。心理健康因素，如抑郁、孤独、焦虑和倦怠，在2020年最后一个季度的文献中变得重要起来。图3B展示了在2021年发表的文献中发现的主题流。虽然直到2021年1月，血栓栓塞、低氧血症和心肌梗死仍然是主要问题，但在2021年3月，发现向长COVID症状的重大转变是一个主要主题。2021年6月，人们发现，包括后遗症和神经并发症、中风、头痛和嗅觉丧失在内的核心模块，以及围绕免疫功能低下和慢性疾病的新主题，变得越来越重要。由于全球多个国家出现第二波COVID-19病例，交叉感染相关实体受到关注。心理健康影响的重要性由第一季的较不重要，转变为第二季更为显现和突出的联系，详见冲积图(图3)．

我们进一步推进了趋势分析，以预测未来几个月实体对之间的联系。我们提出的时间链路预测框架通过使用ARIMA模型对时间序列建模，有效地预测了节点对之间的5个接近度得分，包括语义和拓扑度量。2021年4月、2021年5月和2021年6月各邻近得分预测的MSE为图4一个(多媒体附件8)．使用基于属于前几个月的动态网络的监督学习，预测连续一个月疾病之间的关联作为链接。我们的结果显示，在4个分类器中(多媒体)， AdaBoost模型具有50个估计量，学习率为0.1个分类链接，平均AUROC为0.871P<措施;2021年6月的测试数据在bonferroni校正显著性水平为0.02)上具有统计学意义(图4选项B和选项c。中显示了其他分类器之间的比较多媒体附录10．通过预测余弦相似度加权的预测链接显示出与原始模块的高度交集，从而验证了所提出的体系结构。多媒体附件11显示在原始网络和预测网络中检测到的集群。ARIMA模型用于根据从前几个月(2020年2月至2020年6月)检索的节点对接近性度量的趋势预测随后几个月的接近性得分。我们的研究结果表明，易感条件和风险因素的主题，以及交叉感染和神经精神表现的研究将在2021年即将到来的季度占据更高的中心地位(多媒体附件12)．

分析了预测模块与原始模块之间的节点交集，以前瞻性地验证所提出的预测框架的有效性。表1描述了不同模块中的顶部节点以及它们各自在2021年1月和6月的IOU分数。交叉节点的集合被解释为代表广泛的主题。2021年1月以来，与COVID-19相关的急性肾损伤和肺栓塞等器官损伤是文献中最核心的主题，其次是心血管疾病、呼吸道感染和心理影响。有趣的是，2021年6月的主题转向了与长冠病毒和神经系统症状相关的疾病。头痛、脑炎和精神错乱被预测为中心节点，与原始网络相比显示出较高的IOU评分。2021年6月发表的文章中提到实际和预测网络中每个模块的实体的百分比显示在多媒体附件13．节点的子集属于不同的模块从预测和真实网络已提出多媒体附件11．

对基于化学实体构建的网络的分析揭示了COVID-19文献中研究的各种药物的进化。在2020年2月期间，主要模块包含扑热息痛、托法替尼、沙利度胺、维生素、锌和其他相关化学物质等实体。另一个相关模块包括多西环素、鲁索利替尼、肝素和伊维菌素等中心实体，这些实体在治疗和预防COVID-19的科学研究中被讨论。相比之下，我们最近更新的模型显示，2021年11月期间出现了各种免疫抑制药物(如他克莫司)和抗炎药物(如糖皮质激素和秋水仙碱)的证据(多媒体附件14)．随着文献的扩展，这些在前几个月相对不那么重要的实体开始变得更加突出。最近几个月，有关“他汀类药物”的证据也越来越多。我们的研究结果表明，所提出的框架基于实体与相邻实体之间不断发展的关系，捕捉了实体重要性的动态变化。

‎ 查看此图

‎ 查看此图

讨论

主要研究结果

在本文中，我们演示了一种计算方法EvidenceFlow，在这种方法中，用户与快速扩展的COVID-19文献进行交互，以推导和预测新出现的主题。所提出的框架跟踪实体对之间语义和拓扑接近性变化的模式。此外，它还预测了未来几个月可能出现的链接和网络社区。因此，用户可以关注有助于新兴主题社区的论文，例如，早在2020年8月捕获的关于血栓栓塞并发症的文献，以及2020年底期间的心理健康因素。在EvidenceFlow模型的交互界面上与聚类交互显示，长冠状病毒的症状，如疲劳、头痛、肌痛、咳嗽和嗅觉丧失，在2021年3月形成了一个中心聚类。这一积累证据的早期信号后来在大型前瞻性和回顾性COVID-19患者队列中得到验证[30.-32］．用户与EvidenceFlow交互的另一种方式是了解主题的演变，超越当前的方法，如主题建模和情绪跟踪[3.］．例如，在2021年6月，早期发现了神经系统并发症(如混乱、精神疾病和中风)和心理健康因素(如焦虑、抑郁、创伤后应激障碍、倦怠和失眠)的迫在眉睫的主题。我们的小提琴情节分析(多媒体附件4)表明，尽管平均误差以零为中心，但仍有一些离群节点对，其预测的关联偏离了地面真相。这项工作的未来范围将包括对这些关联的分析，以及通过在EvidenceFlow应用程序上对这些对进行交互式分析而获得的见解。

对实体中心性上升所代表的主题进行预测，有助于形成有前景的研究假设。文学的动态揭示了中心主题的出现，是近代已有主题的结合[6］．例如，冲积图(图3A)演示了2020年3月来自多个模块的实体如何合并成一个主要的血栓栓塞并发症集群。同样，几个月来心理障碍的重要性流动表明了它们在COVID-19文献中的当代相关性，以及它们与集群中其他实体的联系。我们的框架可以潜在地帮助研究人员监测现有的主题，并根据趋势和预测指导他们的研究。

我们对选定的化学和疾病实体的PageRank中心性趋势进行了分析。他汀类药物是一类降脂药物，与之前的值相比，在2021年底被发现越来越占中心地位(多媒体附件15)．许多研究讨论了他汀类药物具有抗炎和免疫调节作用，可能降低COVID-19的严重程度[33，34］．糖皮质激素，一类减少炎症和抑制免疫系统的类固醇激素，也作为一个不断上升的实体出现(多媒体附件15)．抑郁症和其他精神健康障碍在2020年年中开始成为一个突出的研究主题，并在随后的几个月里变得更加重要(多媒体附件15)．COVID-19也在血栓栓塞的背景下进行了大量讨论，我们的模型将其新出现的证据作为一个主题，直到2020年底。然而，趋势表明，其在文献中的中心地位在2021年相对下降(多媒体附件15)．通过专家的手工管理和分析，从大型语料库中发现这种趋势确实是可能的。然而，我们的EvidenceFlow管道提供了一个有效的镜头来发现、跟踪和预测新兴趋势。这一框架将能够更快地综合证据，然后由专家进行验证。

为了探索无监督词嵌入和改变词间余弦相似度的潜力，我们分析了与所选关键词具有最大相似度的词的趋势。例如，我们通过找到与“疫苗”最相似的前10个术语，分析了几个月来“疫苗”上下文的时间变化疫苗在每个月的摘要上训练的词嵌入的潜在空间中(图5)．2020年2月至8月，COVID-19疫苗的研究正在进行中，研究围绕“治疗”、“预防”、“药物再利用”以及与MMR(麻疹-腮腺炎-风疹)疫苗和卡介苗(芽孢杆菌Calmette-Guérin)疫苗的关系。2020年8月之后，随着部分候选疫苗的临床试验变得突出，疫苗的主题犹豫出现在2020年10月，并在随后的几个月里获得了更高的相似性。此外，随着2021年文献的发展，人们发现，在疫苗研究的背景下，主要讨论了各种COVID-19疫苗，如BNT162b1、辉瑞- biontech、阿斯利康、ChAdOx1、mRNA-1273和Moderna。术语，例如免疫原性而且功效，进一步表明与疫苗试验和推广高度相关。最近更新的模型显示，从2021年8月起出现了“加强”剂量。随着时间的推移，这种对文献证据发展的回顾性评估可以帮助研究界利用词嵌入的应用获得详细的见解。

‎ 查看此图

限制

我们的研究有一些局限性。首先，尽管世卫组织数据库是使用COVID-19文献的详细搜索策略建立的，但它没有明确报告搜索和决策过程的确切目的或准确性。文件[35]提到了由专家审稿人进行的筛选和试图删除重复的内容，但缺乏进一步的细节。例如，该过程没有说明是否考虑了不同发布者之间的冗余。此外，频繁使用关键词的“OR”组合可能导致收录不太相关的文章，而其他形式的文献，如专利申请，可以为研究增加价值，却没有包括在这个数据库中。尽管如此，我们选择了世卫组织COVID-19数据库，因为它提供了大量定期从多个书目数据库搜索更新的文章[2］．这一点，再加上精心策划的专家推荐的科学文章，这些文章在自定义搜索中不容易获得，对于构建EvidenceFlow管道非常有用。未来使用该框架的工作将包括可能扩展到通过通用查询和专家审查策划的数据库，从而促进从各种数据库中有针对性地合成证据。

此外，我们目前正在使用研究文章的摘要来提取命名实体，在训练词嵌入时，可能会遗漏文章全文中包含的细节。因此，今后的工作可以在这一框架的基础上，在任何可能的地方包括条款的全文。据报道，我们研究中使用的NER模型在基准数据集上取得了84.49%的F1分数[13］．尽管F1评分存在局限性，例如给予精度和召回率的权重相等[36，37]， F1仍然是报道最广泛的性能指标之一。我们在这个NER模型中没有报告其他指标的情况下选择了这个指标。对于预测，我们使用了一个相对基本的模型(自回归方法)，因为我们的目标是捕获健壮的模式。然而，对于具有更高阶差和滞后的更复杂的时间序列方法的使用，可能进行进一步的研究。此外，随着时间戳和数据点数量的增加，高级架构，如循环神经网络和长短期记忆[38，39]，可以有效地处理时间序列中的复杂趋势。对更大网络的进一步实验可以揭示出在前100个实体中没有发现的主题。重要的是，我们的模型支持早期发现新兴趋势，但它无法捕捉到没有证据积累的主题。

结论

为了推进COVID-19相关研究，在全球范围内成立了财团。全球的关注导致研究和预防疾病传播的科学文献广泛增加，从而从多个角度了解疾病。我们引入了一个基于世卫组织审查的covid -19特异性文献的框架，并将其部署为一个名为EvidenceFlow的仪表板[10］．该仪表板允许用户通过基于Tensorboard提供的可视化的交互式嵌入地图来解开文献。它旨在通过冲积图、多层社区检测和不同月份的网络分析对有影响力的实体进行预测来跟踪文献趋势。这项研究展示了基于机器学习的新兴链接预测如何有助于分析研究，通过捕获由医学实体组所代表的主题，基于随着时间推移的语义关系模式。