用于从Medline检索临床检查研究的过滤器的开发和验证

简介

在作出诊断时，临床医生通常依赖临床检查结果(即来自患者病史和/或体格检查的信息)[1-3.］．因此，临床检查研究结果的易得性可以极大地影响医疗服务。自1980年以来，每年发表的专注于临床检查的研究数量增加了两倍多。随着这类文献的增多，可靠而简单地识别声音研究的任务变得越来越具有挑战性。

在医学的许多领域，已经开发了过滤器以促进对相关文章的搜索。筛选是预先测试的搜索策略，它有助于从Medline的所有其他研究中识别特定类型的研究。可获得针对诊断、治疗和临床预测规则的研究检索优化的搜索过滤器[4-6］．这些过滤器通常被临床医生使用(例如，PubMed Clinical Queries [4])和系统审稿人(例如，Cochrane对治疗文章的高敏感搜索策略[7])。然而，尚未开发出任何已发表的过滤器，以促进对临床检查研究的搜索[8］．临床检查过滤器可能对临床医生和系统综述的作者有用。临床医生需要及时识别合理的临床检查文章，以便有效地护理患者。随着Cochrane对诊断测试准确性的评审开始[9]，其中将包括临床检查的审查，因此越来越需要为临床检查研究的检索优化的过滤器。

本研究的目的是开发和评估能够促进临床检查研究检索的Medline过滤器。

方法

概述

过滤器的训练和测试包括8个步骤:(1)开发训练数据库，(2)识别候选单项过滤器，(3)识别训练数据库中性能最好的单项过滤器，(4)使用递归分区识别训练数据库中性能最好的多项过滤器，(5)开发测试数据库，(6)评估本研究开发的过滤器在测试数据库中的性能，(7)在测试数据库中评估先前开发的过滤器的性能，(8)审查收录文章的参考文献列表对召回的影响。我们使用PubMed进行研究，PubMed是美国国家医学图书馆用于访问Medline的公共搜索引擎。

开发培训数据库

我们使用了临床限制数据库，其方法已经在前面描述过[10]，作为本研究的起点。简单地说，赫奇斯团队对2000年发表在161家知名期刊上的文章进行了手工搜索，这些期刊符合高质量标准;共审查了52,636篇文章。研究小组根据先验标准将文章分类为与诊断、治疗或预后相关的文章(在其他类别中)。对于这里报道的项目，我们回顾了临床限制数据库中确定的与诊断或预后相关的研究，以确定那些专门与临床检查相关的研究(n = 1347)。

一名研究者(作者NS)最初审查了1347项研究的标题和摘要(如果有摘要的话)和全文(如果有必要的话)，并将每一篇文章分类为临床检查(金本位文章)或非- - - - - -临床检查文章(图1)．金标准文章是那些符合我们临床检查价值量化的先验标准的文章。我们只考虑那些可以用听诊器或检眼镜等常用工具得出的体检结果。我们纳入了报告至少一种症状、体征或体征和症状组合的敏感性和特异性的文章(图1)．如果诊断规则仅由体征或症状组成，我们将纳入多变量诊断规则;没有考虑描述多变量规则的研究，其中包括图像或实验室发现，因为使用现有的、更通用的诊断试验检测过滤器可以很容易地发现这些研究。例如，Breese评分——一种有效的用于诊断儿童链球菌咽炎的评分系统——不被认为是一项临床检查研究，因为除了体征和症状外，还需要白细胞计数来计算总分[11］．我们排除了预后因素的研究，即那些专注于预测未来疾病的研究(例如，基于入住重症监护病房的发现预测死亡率)。少于10例患者的文章被排除在外，因为这些研究由于样本量非常小，无法提供准确的敏感性或特异性估计。不容易分类的研究由第二名审稿人(作者RGB)独立审查，分歧通过讨论解决。经过这个程序，52,636件物品中有60件符合金标标准(图1)．

然后，我们通过输入Medline上的161种期刊并将出版年份限制在2000年(图1)．我们把文章分成两组存放在PubMed的一个账户里。一个集合包含了符合我们金标准的文章，另一个集合包含了剩余的文章。

‎ 查看此图

候选单项过滤器的识别

在两位临床医生、三位参考图书馆员的帮助下，我们用PubMed语法生成了一个包含65个候选搜索词的列表，并对相关文献进行了全面回顾。专家搜索独立审查了我们的候选术语列表，并提出了额外的术语。我们使用了与临床检查和诊断相关的术语以及否定的术语(例如，非MRI)。(见多媒体附件1查看所使用的搜索词列表。)使用了以下PubMed语法:[tw] = text word;[MeSH] =国家医学图书馆的医学学科标题;[sh] = MeSH子标题;[TIAB] =标题或摘要;[pt] =出版物类型;[ti] = title;du[sh] =诊断使用MeSH子标题;noexp =不爆炸(即，不自动在MeSH层次结构中MeSH术语下面包含更具体的术语)。

利用训练数据库识别性能最好的单术语过滤器

我们根据训练数据库对每个单独的过滤器进行评估，以确定其查全率(过滤器检测到的临床检查文章的比例)、精确度(检索到的相关文章的比例)、F-measure(综合查全率和精确度的测量方法)、“结果”(检索到的不相关文章的比例)和需要阅读的数量(搜索者需要查看的文章的平均数量以找到每一篇相关文章)[12］．在临床检查术语中，有7个召回率高于25%，沉降率低于50%。我们评估了这7个术语的所有可能的组合(2-term组合、3-term组合、4-term组合、5-term组合、6-term组合和一个7-term组合)，以确定召回率、精度和f测度最高的组合。我们对所有可能的8个诊断术语组合重复这一过程，召回率大于25%，沉降率小于50%。

利用训练数据库递归划分的多项滤波器的开发

因为测试所有单项过滤器的组合将是禁止的，我们使用递归分区来开发最佳的多项过滤器(以下简称递归分区过滤器)[13］．递归划分是非参数判别分析的一种形式，它根据一组预测变量反复将组分层为更小的互斥子组。除了效率之外，递归分区的另一个优点是它能够创建包含布尔条件OR和and的过滤器。递归分区还增加了改变错误分类成本(假阳性的成本vs假阴性的成本)的能力，以确定最适合分析目标的术语。对于召回率超过25%的41个术语中的每一个或当辐射低于75%时，我们根据训练数据库计算召回率、精度、f -测度和辐射。为了确定树中的第一个分支点，我们选择了加权错误率最低的术语(权重基于数据库中所有研究中临床检查研究的流行率)[13］．一旦找到错误率最低的术语(即诊断[tw])，我们在PubMed中创建了4个新的数据集(“临床检查”和诊断[tw];“临床检查”不是诊断[tw];“非临床检查”和诊断[tw];“非临床检查”不是诊断[tw])。然后，我们针对这4个新数据集测试了所有剩下的过滤器，并再次识别出错误率最低的术语。这允许我们增长递归分区树。我们重复这个过程，直到拆分所创建的两个2x2表不再有显著差异(P> . 05)。因为这种方法可能导致过拟合，所以我们还要求每个新分支的召回率至少为99%。

建立测试数据库

为了开发测试数据库，我们使用了文献中最大的临床检查系统评论集合:《美国医学会杂志》(JAMA)的《理性临床检查》系列[14］．一位作者(NS)使用了类似于用于建立训练数据库的先验包含和排除标准来开发测试数据库。我们纳入了至少10项原始研究的系统综述，报告了体征或症状的敏感性和特异性，并从1996年到2006年发表(图2)．不涉及临床检查的综述、问卷的综述、包括实验室或影像学变量的多变量诊断规则的综述以及预后或筛查试验的综述被排除在外。共有15篇系统综述符合所有纳入标准。

纳入这15篇综述的文章被视为有关文章(金标准)，过滤器应该能够召回。识别nonrelevant文章我们使用每个系统综述的方法部分报告的搜索策略重新创建主题特定搜索(如，颞动脉炎或巨细胞动脉炎);通过特定主题的电子检索检索到但不包括在审查中的文章被认为是不相关的。这使得我们能够计算出每个评论中相关和不相关文章的数量。15篇系统综述共纳入临床检验文献原版224篇。我们排除了7篇不在Medline上的文章。一项研究被排除在外，因为它没有通过特定主题的搜索找到。总共有28项没有摘要的旧研究被排除，因为筛选器很难检索到这些研究，而且因为临床检查的当代研究可能有摘要。最终的测试数据库包括188篇相关文章和430,932篇不相关文章。

‎ 查看此图

本研究中开发的过滤器的评价

对于训练数据库中召回率最高的3个过滤器，我们计算召回率、精度、f -测度和需要在测试数据库中读取的数量。计算的基础上的单元格和公式表1．

评估以前开发的过滤器

12个先前开发的过滤器的性能用于检索诊断文章[10，17-21]和一个由Rational临床检查系列的编辑专门为临床检查开发的过滤器[22在测试数据库中进行了评估。所测试的过滤器列于多媒体附件2和使用描述过滤器的出版物的第一作者的名字，然后是出版年份来命名。如果出版物中描述了多个过滤器，我们就标记作者用来描述各种过滤器的名称。例如，标签“Haynes-2004- sensitive”指的是由Haynes等人在他们2004年的出版物中描述的具有最高灵敏度的过滤器(即具有最高召回率的过滤器)。最后，我们测试了最佳过滤器的组合是否会提高性能。

查阅参考书目对召回的影响

系统评论的作者经常检查参考书目，希望增加回忆。我们研究了该策略如何补充临床检查领域过滤器的使用。具体来说，我们检查了检查所收录文章的参考列表是否允许使用召回率较低的过滤器。因此，我们确定了被召回率最高的2个过滤器遗漏的文章，并检查这些文章是否包含在这些过滤器没有遗漏的文章的参考列表中。

结果

培训结果

训练数据库中性能最好的过滤器如所示表2．术语诊断[分标题]确定了95%的临床检查研究。MeSH术语体检只确定了25%的研究，因此不包括在表格中。总的来说，只使用与诊断相关的术语的多术语搜索过滤器优于只使用临床检查术语的过滤器。此外，3个滤波器的召回率为100% (ce -高召回率，dx -高召回率，RP)，其中两个(dx -高召回率，RP)由于其更高的精度，显得特别有前途。

递归分区树如图3．当转换为布尔语言时，RP过滤器在PubMed语法中如下:(诊断[tw] AND(特异性*[tw] OR临床*[tw] OR检查*[tw]))或“敏感性和特异性”[MeSH]。

‎ 查看此图

测试结果

本研究中开发的滤波器以及13种以前开发的滤波器和滤波器组合的召回率、精度、f -度量和需要读取的数量在表3．海因斯-2004-敏感过滤器[10的记忆率最高(98%)。当只考虑召回率为80%的滤波器时，RP滤波器具有最高的精度(0.26%)。海恩斯-2004- sensitive滤波器和ce -高召回滤波器在使用布尔术语OR组合时召回率为100%，精度为0.06%。与单独使用相比，其他过滤器组合并没有在召回方面提供太多改善。

审查参考书目的影响

总的来说，188篇相关文章中有4篇被Haynes-2004-Sensitive搜索策略遗漏了，其中2篇是通过检查该策略没有遗漏的文章的参考列表检索到的(召回率从98%增加到99%)。在被递归分区策略遗漏的19篇文章中，通过检查该策略没有遗漏的文章的引用列表检索了8篇文章(召回率从89%提高到94%)。

讨论

我们量化了可能用于在MEDLINE中查找临床检查文章的过滤器的查全率和精确度。虽然使用递归分区可以提高搜索的精度，但我们测试的所有策略的精度都很低，不到2%。

过滤器的应用

对于寻找有关临床检查结果诊断准确性的信息的卫生保健提供者来说，RP过滤器似乎是最合理的选择。例如，假设临床医生正在检查第三心音检测心力衰竭的能力。为了确定第三心音患者发生充血性心力衰竭的后验概率，使用PubMed中的RP过滤器搜索将是(疾速或S3或第三心音)和心衰[MeSH] AND(诊断[tw] AND(特异性*[tw]或临床*[tw]或检查*[tw]))或“敏感性和特异性”[MeSH])。截至2011年3月，这项搜索共产生了68篇文章，其中有几篇与临床医生的问题直接相关。虽然没有进行研究，但医生可以通过添加术语“系统的[某人]”来限制搜索系统的评论。该策略产生了1个相关的系统审查。虽然本研究报告中所检测的过滤器的不扩散比非常高(表3)，在临床实践中NNR会相当低。NNR与诊断测试的阳性预测值一样，依赖于有关体检的文章的流行程度。虽然在MEDLINE中体检研究的比例相对较低(例如，在Hedges数据库中< 0.1%)，但当临床医生输入对疾病和体检结果的搜索词时，体检文章的流行率增加。因此，需要读取的数量将大大降低(参见上面的例子)。因此，临床医生使用最具描述性和最具体的术语构建良好的临床问题是至关重要的[23］．

对于想要进行系统回顾的研究人员，海因斯-2004- sensitive过滤器[10的召回率为98%，似乎是最合理的选择。然而，如果只依赖这个过滤器，可能会错过一些文章。提出了两种提高回忆的策略。一是审查符合纳入标准的文章的参考书目。这将使灵敏度提高到99%。另一种策略是使用OR将海因斯-1994和CE高召回滤波器结合起来。虽然该策略有100%的召回率，但其精度很低(0.06%)。尽管单独依赖过滤器可能会导致一些研究被遗漏[24]，我们认为使用过滤器是适当的，特别是在没有过滤器的情况下很难进行审查的情况下。这里介绍的过滤器旨在作为更大搜索策略的一部分使用，其中包括参考列表的审查和与该领域专家的交流。

临床检查研究过滤器精度差

我们测试的所有过滤器在鉴别临床检查研究时精确度都很低。我们的研究结果与海因斯及其同事发表的研究结果一致[19]，表明为检索诊断文章而开发的过滤器的精确度低于为检索治疗文章而开发的过滤器(表4)．这些观察结果表明，国家医学图书馆应该为量化诊断敏感性和特异性的研究创建一个出版类型。其他可选或补充的解决方案可能包括手动识别和标记量化临床检查的研究(正如目前由Cochrane协作网用于创建可靠的随机对照治疗试验数据库CENTRAL)、协同过滤或基于内容的过滤[25］．

限制

我们的研究有几个局限性。Hedges数据库[10]收录了被认为文章具有最高科学价值和临床相关性的161种期刊。虽然我们相信这些是最能帮助临床医生的期刊，但当搜索所有Medline时，结果可能会有所不同。此外，以外语出版的期刊也不包括在赫奇斯数据库中。由于我们的一些过滤器使用文本单词，当搜索没有翻译成英语的文章或没有摘要的文章时，这些过滤器的性能可能会下降。另一个限制是我们对候选搜索词的识别。与之前对过滤器开发的研究一致，专家搜索人员独立审查了我们的候选术语列表，并建议了额外的术语。然而，我们并没有定量地回顾黄金标准研究中最频繁的搜索词和文本词，以确定候选词。然而，当我们回顾性地检查用于索引训练数据库中的金标准研究的MeSH术语时，我们没有测试的术语比我们选择的术语的召回率和精确度要低得多。尽管如此，我们相信未来的研究应该结合这种识别术语的方法。另一个限制是在训练数据库中识别金标准文章。 Only one investigator initially reviewed the articles for eligibility. Future studies should utilize two investigators who independently assess each article. Finally, because of the low prevalence of clinical examination studies, the number of gold standard studies in both the training and testing databases were relatively small. Further testing of these filters in larger databases is necessary.

令人惊讶的结果是，在训练数据库中，只有25%和20%的临床检查研究分别用MeSH术语“体检”和“体征和症状”进行编码。当前这些MeSH术语分配的不一致性限制了搜索过滤器在这个主题上的能力。

对未来过滤器发展的影响

我们提出了一种开发多项滤波器的新方法。在过滤器的开发中使用递归分区是一种新颖的方法，似乎特别适合于有许多候选项的情况。当候选术语的数量很小时，可以根据数据集测试所有可能的术语组合。当候选术语的数量很大时，这就变得令人望而却步。相比之下，使用递归分区，搜索过滤器是逐步构建的。这种方法还允许开发使用AND和OR术语的过滤器，并允许开发召回率和精度的最佳组合的过滤器。

结论

递归分区提供了另一种开发过滤器的方法:它不仅允许开发召回率和精度的最佳组合的过滤器，而且还允许开发使用and和OR布尔连接器的过滤器。尽管有递归划分的优点，我们开发的用于临床检查研究检索的过滤器精度相对较低。我们认为国家医学图书馆应该为量化临床检查的敏感性和特异性的文章创建一个出版类型。这种新的标签可以改进临床诊断研究的检索。