通过对所有医学主题标题描述符的四种搜索策略的自动性能评估，确定查询PubMed的最佳语义扩展:比较研究

简介

背景

随着现有生物医学数据的不断扩大，高效有效的信息检索变得极为重要。2019年1月，通过美国国家医学图书馆(NLM)的一项服务PubMed搜索引擎可访问的生物医学文献引用数量超过3000万次，其中2600多万次来自MEDLINE数据库。MEDLINE每年新增引用数量超过100万次(2016年新增引用1178,360次)[1］．PubMed是访问这些数据最常用的工具之一，其受欢迎程度每年都在稳步增长(从2013年的25亿次搜索增长到2017年的33亿次)[2］．

然而，大量研究报告显示，用户缺乏有效使用PubMed的搜索技能[3.-5］．虽然使用PubMed进行基本的搜索相对简单，但是需要对其结构和底层搜索算法进行更深入的了解，才能有效地搜索文献。为了提高信息检索的准确性，MEDLINE引用被编入医学主题标题(MeSH)词库[6]，但大多数用户对它还不够了解，通常也不使用它的描述符来构建查询[7，8］．由NLM开发的MeSH词库是一个涵盖生物医学领域的描述符列表。此外，用户很少使用搜索标签，因此没有充分利用PubMed的功能[9］．因此，NLM开发了一个自动过程来修改用户的显式查询，称为自动术语映射(ATM)。条目术语被映射到它们相应的MeSH描述符，复合词被分解并与布尔运算符“and”和“OR”结合，并使用标签[所有字段][10］．

综合文献检索既需要书目数据库检索，又需要多种补充检索方法[11，12］．ATM的目的是改进书目数据库搜索中的信息检索，但一些研究提出了替代过程来增强用户的查询，并产生了更好的结果。例如，Kim等人提出使用语义技术，如文档相似性[13］．PubMed还实施了“相关文章”推荐功能[14］．该特性使用了pubmed相关引用算法，这是由Lin和Wilbur开发的基于概率主题的模型[15］．Wei等人提出了一种增强这一特征的策略[16］．此外，Afzal等人提出了查询生成自动化的方法[17，18］．其他流行的策略建议使用条目术语的同义词进行语义扩展。这些策略在用于执行扩展的知识组织系统(KOS)上有所不同。Aronson等人在1997年[19]和Hersh等人在2000年的研究[20.]提出使用UMLS (Unified Medical Language System)映射来进行查询扩展。UMLS同义词典使用概念唯一标识符(CUIs)映射不同kass的术语。2009年，Thirion等人提出使用MeSH同义词扩展查询[21］．Wright等人也在2016年探索了这一策略[22］．在MeSH同义词典中，每个描述符都有一个首选术语，并且可能有一些同义词。这种优化极大地提高了信息检索的性能。2012年，Griffon等人提出使用UMLS进行扩展[23]，导致回忆率略有提高，但准确性却有所下降。在其他策略中，Xu等人[24]提出了一种基于学习排序方法的生物医学查询扩展框架，该框架通过训练术语排序模型，通过选择最相关的术语来丰富原始查询，从而细化候选扩展术语。

之前的工作

为了改进信息检索，我们的团队(医生、图书管理员和术语专家)开发了一种使用不同kss之间的新映射的语义扩展新策略，称为CISMeF(法语首字母缩写，catalog et Index des Sites Médicaux de languue Française)映射。卫生术语/本体门户(HeTOP)是由CISMeF团队开发的跨语言多术语服务器，包含45种语言的86个kass。CISMeF映射是这86个kass项之间的映射。映射是通过各种方式创建的。使用UMLS cui自动映射了一些概念。但是，HeTOP中包括的大部分KOSs(86个KOSs中的65个)都不包括在UMLS中。对于这些kass，术语可以使用自然语言处理自动映射，也可以由图书管理员和KOS专家手动映射。此外，一些自动映射的术语由图书管理员和KOS专家进行了验证和手动管理(监督映射)。关于HeTOP和CISMeF映射的信息已在之前的论文中详细介绍[25］．这种使用CISMeF映射的新型语义扩展的性能在之前的研究中由Massonnaud等人手动评估[26］．

尽管这些不同的策略极大地提高了信息检索的有效性，但对其性能的评估仍存在局限性。评估是手动进行的，只允许少量的描述符和引用样本。此外，所有的研究都显示，根据所使用的描述符，结果有很大的可变性。这种行为表明，不存在对所有描述符都最优的语义展开，要使用的语义展开应该根据特定的描述符和用户的目标来选择(例如，在使用f测量寻求更好的精度或召回率或谐波平均视图时)。

客观的

这项研究的目的是自动构造和评估表单的扩展PubMed查询“首选术语”[MH]或“首选术语”[TIAB]或“同义词1”[TIAB]或“同义词2”[TIAB]或…通过使用不同的语义扩展策略，为28,313个MeSH描述符中的每一个进行扩展。我们试图提出一种创新的方法，可以自动评估这些策略，基于信息科学中使用的三个主要指标(精度、召回率和F-measure)。

方法

语义扩展策略

本研究评估了四种策略，包括PubMed的标准ATM和三种语义扩展增强的查询(MeSH、UMLS和CISMeF)。这三种语义扩展策略在用于扩展查询的同义词集上有所不同。例如，对于MeSH描述符“diabetes mellitus, type 2”[MH]，使用ATM策略构建的查询如下:(“2型糖尿病”[MeSH术语]或“2型糖尿病”[所有领域]或“2型糖尿病”[所有领域])，使用UMLS策略构建的查询如下:(“糖尿病，2型”[MH]或“成人发病糖尿病”[TIAB]或“成人发病糖尿病”[TIAB]或“成人发病糖尿病”[TIAB]或“成人发病糖尿病”[TIAB]或…)这四种策略分别应用于28,313个MeSH描述符，并通过计算标准指标(精密度、召回率和F-measure)评估它们各自的性能。

自动度量计算

图1描述度量是如何计算的。精度定义为检索到的引文中相关引文的比例。召回率定义为检索到的相关被引数占相关被引总数的比例。传统的F-measure(或F1评分)定义为精密度和召回率的调和平均值，其值由以下公式提供:2 ×(精密度×召回率)/(精密度+召回率)。因此，为了为给定的查询和给定的描述符自动估计这些指标，有必要为描述符识别所有相关引用的集合(a;即金标准)、查询检索到的所有引用的集合(B)和查询检索到的相关引用的集合(C;即A和B的交点)。

‎ 查看此图

相关引用集(A)的定义使用NLM的索引作为金标准。对于从特定MeSH描述符构建的查询，如果引用使用相同的描述符进行索引，则认为引用是相关的。因此，通过以下查询检索相关引用的总数(A):“首选项”(MH)。对集合(B)的查询构造如下:对于ATM策略，查询用“首选项”[TIAB]。对于其他三种策略，查询是用扩展策略检索的同义词构造的(“同义词1”或“同义词2”或等等。)．因此，检索到的相关引用的数量(C)可以通过将前两个查询与“AND”运算符结合起来计算，如下所示:(“首选术语”[MH]及“首选术语”[TIAB])自动柜员机及(“首选术语”[MH]及(”同义词1 " [TIAB] OR " synonym 2 " [TIAB] OR等等))对于其他三种策略。标签(所有字段)被替换为(TIAB)自(所有字段)也搜索引文的索引字段，因此与(MH)标签。此外，通过添加标签，搜索范围缩小到索引引用medline(某人)因此，所有查询都是在同一组手动索引的引用上执行的．表1显示结果9个不同查询的语法摘要。

数据收集

最初，查询是使用HeTOP术语服务器构建的[25，提供了多个kass之间的关系。给定一个特定的概念，可以自动从感兴趣的KOS中收集该概念的MeSH首选术语及其同义词。由于在本研究期间MeSH的2018版尚未发布，因此使用了包含28,313个描述符的2017版，其中26,636个描述符至少被用于一次索引引用。然后可以通过编程方式构建9种不同类型的查询(表1)对26,636个描述符中的每一个进行查询，结果共产生239,724个查询。准确再现了ATM在拆分复合词时的行为。为了缩短查询的长度，将术语设置为小写，并删除多次出现的完全相同的术语。此后，通过PubMed的应用程序编程接口检索了239,724个查询中的每一个的引用计数。在微型计算机上处理这239,724个查询的时间约为3小时30分钟。因此，它是可伸缩的，可以经常运行。

统计分析

计算了26636个描述符和四种搜索策略的平均精密度、召回率和F-measure。对四种策略进行了排名，并计算了CISMeF策略比其他三种策略结果更好的描述符的数量，考虑到至少5%的差异(任意)。指标也根据MeSH类别分层计算。采用R软件(3.4.3版本;R统计计算基金会，维也纳，奥地利)。由于分析是在整个MeSH描述符集上进行的，置信区间和P不需要值，因此不计算。

结果

表2分别为四种搜索策略的平均精度、召回率和F-measure。ATM在所有三项指标上的表现都是四种策略中最差的。MeSH的平均精密度最高(51%，SD 23%)。CISMeF和UMLS的精度结果相同。UMLS有最好的回忆和f测量(分别为41%和36%)。CISMeF的召回率和f测量值排在第二。

表3显示了两种策略具有相同精度、召回率或F-measure的描述符的数量。表4显示一种策略的指标得分至少比另一种策略好5%的描述符的数量。

根据MeSH描述符的类别(树)进行分层的分析揭示了所有三个指标的相同趋势。MeSH策略对C类(疾病)的准确率最高(58.16%)。MeSH在除B类(生物)外的所有类别中均具有最佳的精度，ATM在B类(生物)中具有最佳的精度(数据未显示)。UMLS的B类召回率最高(64.28%)，在15个类别中有11个类别的召回率最高。CISMeF对其余四个类别的回忆率最高:H(学科和职业)、K(人文学科)、L(信息科学)和N(医疗保健)。ATM在所有类别中召回率最差(数据未显示)。图2根据描述符的MeSH类别，显示了四种策略的F-measure得分。UMLS中B类f值最佳(47.55%)。UMLS在除H类(CISMeF在H类中得分最高(19.82%)和I类(人类学、教育、社会学和社会现象)(MeSH在H类中得分最高(22.38%)外的所有类别中F-measure均为最佳。

‎ 查看此图

讨论

主要研究结果

在本研究评估的四种策略中，PubMed的标准ATM在三个测量指标(即精度、召回率和F-measure)上的平均表现最差。这些结果与以往的研究结果一致[21，23，26］．MeSH策略的精密度最高(50.93%)。CISMeF和UMLS策略的平均精密度值相同(49.20%)。在召回率和F-measure方面，UMLS策略的性能最好，其次是CISMeF策略和MeSH策略。

尽管三种增强策略(即MeSH、CISMeF和UMLS)的平均表现之间的差异很小，对于许多描述符根本没有差异，但这一发现并没有反映结果的重要可变性。事实上，对于每个指标，四种策略的排名在很大程度上依赖于描述符。例如，尽管UMLS和CISMeF在平均精度方面具有相同的性能，但对于1180个描述符，CISMeF的精度优于UMLS。同样，CISMeF策略对793个描述符有更好的回忆性，对678个描述符有更好的f测度。即使是ATM策略，它在所有三个指标上的平均结果都要低得多，在几个描述符中排名第一(数据未显示)。

这里发现的性能的重要可变性与以前的研究结果是一致的[21，23，26］．这种可变性是这些研究的一个重要限制因素，因为评估是人工进行的，因此是在一组有限的描述符上进行的。因此，结果的解释是困难的，并有重要的局限性。本研究的目的是实现和评估一个原始的方法，自动评估信息科学的三个主要指标。这种创新方法允许我们在整个MeSH首选描述符集(n=28,313)上测试四种不同的语义扩展策略，而不是在一个小子集上测试。该方法的结果与以往的研究结果一致，四种搜索策略的排序基本一致。找出变化的原因将是一项复杂的工作，因为它们在一个描述符与另一个描述符之间是不同的。例如，准确性下降的第一个明显原因是同义词的使用越来越多。查询中术语数量越多，其精度越低的可能性越大。例如，CISMeF扩展术语“肾小管坏死，急性”的精度为97.4%，而UMLS扩展的精度为36.6%。 The CISMeF expansion included eight terms, whereas the UMLS expansion included 18 terms. Even with a comparable number of terms, a loss in precision could be caused by a single term in the query, for instance, an acronym or a broader synonym (hyperonym). For example, the CISMeF expansion for the term “drug interactions” had a precision of 56.3% as against 5.1% for the UMLS expansion. Both expansions are based on slight variations of the combination of “drug” and “interactions,” but one term in the UMLS expansion is simply “interactions,” which leads to a lot of noise and thus a decrease in the precision of the query. For recall, the reasons for variation are somewhat reciprocal. For instance, the CISMeF expansion for the term “chronic disease” yields a recall of 73.8% as against 7.8% for the UMLS expansion. Both expansions use variations of the combination of “chronic” and “disease,” but the CISMeF expansion uses an additional “chronic” term alone. However, this gain in recall is at the cost of a loss in precision (13.1% loss).

根据MeSH树中描述符的类别进行分层后，四种策略的排名相似。对查询中的不同标签执行完全相同的计算[14］．评估也在不同的时间间隔内进行。标签* (majr)被测试而不是* (mh)，所有的策略都在有和没有爆炸行为的情况下进行了测试。在PubMed的ATM中，爆炸是默认激活的，但在我们的扩展查询中重现爆炸是不可行的，因为这会导致太大的查询。这可能会使广义MeSH描述符的结果略有偏差，但我们通过为金标准(使用【网:noexp】)揭示了四种策略的相似排名和相似的变异性(数据未显示)。此外，新版本的PubMed自2019年11月起可用，并提供了ATM的修改版本。不幸的是，在本研究进行时，关于其修改的细节还没有公布，因此，它是不可重复的[27］．未来的研究可以分析新版本的ATM与扩展策略以及与传统ATM的比较。

我们的结果表明，用于构建查询的语义扩展策略的选择必须根据描述符进行。由于这里测试的自动评估允许评估所有MeSH首选描述符，因此现在可以根据精度、召回率和F-measure这三个指标的性能，选择使用哪种语义扩展策略来为给定的描述符构建查询。由于此自动评估的处理时间较短，可以频繁更新(每天、每周或每月)。从技术上讲，评估也可以实时执行，尽管这似乎没有必要，因为结果在短时间内不应该有很大变化。

现在，不同策略性能的定量测量的可用性允许用户在给定特定MeSH描述符的情况下决定使用哪种语义扩展。根据用户的具体需求，用户可以选择提供最佳精度、最佳召回率或最佳F-measure的策略，因为这些性能可以通过不同的策略来实现。这些考虑导致我们的团队开发了一个接口，允许用户输入他们的MeSH首选描述符，并选择他们希望最大化的度量(精度、召回率或F-measure)。此工具可在HeTOP网站上免费获得[28) (多媒体附件1)．用户可以搜索一个术语，算法将尝试将该术语与相应的MeSH描述符匹配。进入描述符的描述页面后，需要选择“PubMed/Doc 'CISMef”选项卡，以转到查询构建部分。在第2部分“选项”中，用户可以选择他们想要最大化的指标(精度、召回率或F-measure)。该算法将确定哪种扩展策略为该指标获得最佳分数，并自动使用相应的语义扩展构建查询。之后，在第3节“查询”中，会出现一个带有PubMed图标的按钮，该按钮带有一个对应于将用于构建查询的语义扩展的标记。通过单击此按钮，查询将自动构建，并在新的浏览器页面中发送到PubMed搜索引擎。透视图可以进一步定制查询，可以依次添加每个同义词，每次都实时评估这个定制查询的性能。

限制

本研究有一定的局限性。首先，为了以自动的方式评估指标，搜索的范围必须限制在MEDLINE数据库的索引引用范围内。由于之前文献中描述的所有限制因素，最近的非索引引用的评估只能手动进行。但是，可以合理地假设不同的语义扩展对整个数据库执行相同的方式，因为没有理由认为索引范式会对给定的描述符突然改变。此外，本文提出的结果与以往研究的人工评估一致，表明这种新方法没有重大偏差。其次，所构建的查询是仅基于一个MeSH首选项的简单查询。有必要使用更复杂的查询来评估这些不同语义扩展的性能，并关联多个MeSH首选术语。但是，这类查询的行为是相同的，因为每个术语的语义扩展都是独立处理的，然后用布尔运算符重新组合，这是PubMed的ATM的默认行为。

结论

在这项研究中，我们提出了一种自动计算PubMed引文的创新方法，这是信息科学中使用的三个主要指标。这种新方法允许我们比较四种语义扩展策略，以在所有MeSH描述符上查询PubMed。结果证实了很大的可变性取决于描述符。因此，有必要向用户提出最适合其特定目标的语义扩展。由于可以为所有MeSH描述符定期更新这些搜索策略的性能，我们的团队开发了一个接口，允许用户输入描述符，然后提出最佳语义扩展，以最大化精度、召回率或F-measure。