过滤器的训练和测试包括8个步骤:(1)开发训练数据库，(2)识别候选单项滤波器，(3)识别训练数据库中性能最佳的单项滤波器，(4)采用递归分区法识别训练数据库中性能最佳的多项滤波器，(5)开发测试数据库，(6)评估本研究开发的滤波器在测试数据库中的性能，(7)评估先前在测试数据库中开发的过滤器的性能，以及(8)检查审查收录文章的参考文献列表对召回的影响。我们使用PubMed进行研究，PubMed是美国国家医学图书馆的公共搜索引擎，用于访问Medline。

我们使用了临床对冲数据库，其方法已在前面描述过[ 10]，作为本研究的起点。简单地说，赫奇斯团队对2000年发表在161家高质量期刊上的文章进行了手工搜索;共审查52,636篇文章。该团队根据先验标准将文章分类为与诊断、治疗或预后有关的(在其他类别中)。对于本文报道的项目，我们回顾了临床对冲数据库中确定的与诊断或预后相关的研究，以确定那些专门与临床检查相关的研究(n = 1347)。

一名研究者(作者NS)最初审查了1347项研究的标题和摘要(如果有摘要)以及全文(如果有必要)，并将每篇文章分类为a 临床检查(金本位文章)或a 非 - - - - - - 临床检查文章( 图1)．金标准文章是那些符合我们量化临床检查价值的先验标准的文章。我们只考虑了通常可用的道具如听诊器或检眼镜可以引出的体检结果。我们纳入了报告至少一种症状、体征或症状和体征组合的敏感性和特异性的文章( 图1)．我们纳入了仅由体征或症状组成的多变量诊断规则;描述包括影像学或实验室发现的多变量规则的研究未被考虑，因为这些研究可以很容易地使用现有的、更通用的用于检测诊断测试的过滤器找到。例如，布里斯评分(一种用于诊断儿童链球菌咽炎的有效评分系统)不被认为是一项临床检查研究，因为除了体征和症状外，还需要白细胞计数来计算总分[ 11］．我们排除了预后因素的研究，即那些专注于预测未来疾病的研究(例如，基于重症监护病房入院时的发现预测死亡率)。少于10例患者的文章被排除在外，因为这些研究样本量非常小，无法提供准确的敏感性或特异性估计。不容易分类的研究由第二审稿人(作者RGB)独立审查，差异通过讨论解决。在52,636篇文章中，有60篇符合金本位标准( 图1)．

然后，我们通过输入Medline上的161种期刊，并将出版年份限制在2000年，重新创建了临床对冲数据集( 图1)．我们把这些文章分为两组存放在PubMed的一个账户中。一个集合包含符合金本位标准的文章，另一个集合包含其余的文章。

在两名临床医生、三名参考图书管理员的帮助下，我们用PubMed语法生成了65个候选搜索词的列表，并对文献进行了彻底的回顾。专家搜索独立审查了我们的候选术语列表，并建议了额外的术语。我们使用了与临床检查和诊断相关的术语以及否定的术语(例如，非MRI)。(见 多媒体附件1以查阅所使用的搜寻词清单。)使用了以下PubMed语法:[tw] = text word;[MeSH] =国家医学图书馆的医学学科标题;[sh] = MeSH子标题;[TIAB] =标题或摘要;[pt] =出版类型;[ti] =标题;du[sh] =诊断使用MeSH子标题;noexp =不会爆炸(即，不要在MeSH层次结构中自动将更具体的术语包含在MeSH术语之下)。

我们根据训练数据库对每个单独的过滤器进行评估，以确定其召回率(过滤器检测到的临床检查文章的比例)、精密度(检索到的相关文章的比例)、F-measure(结合召回率和精密度的整体测量)、“影响”(检索到的不相关文章的比例)和需要阅读的文章数(搜索者为了找到每篇相关文章需要查看的平均文章数)[ 12］．在临床检查术语中，7个术语的召回率大于25%，沉降率小于50%。我们评估了这7个术语的所有可能的组合(2项组合、3项组合、4项组合、5项组合、6项组合和一个7项组合)，以确定具有最高查全率、精密度和F-measure的组合。我们对8个诊断术语的所有可能组合重复了这一过程，召回率大于25%，沉降率小于50%。

因为测试所有单项过滤器的组合是不可能的，所以我们使用递归分区来开发最佳的多项过滤器(以下简称递归分区过滤器)[ 13］．递归划分是非参数判别分析的一种形式，它根据一组预测变量反复将组分层为更小的互斥子组。除了它的效率之外，递归分区的另一个优点是它能够创建包含布尔术语OR和and的过滤器。递归划分还增加了改变错误分类代价(假阳性的代价vs假阴性的代价)的能力，以确定最能解决分析目标的术语。召回率超过25%的41个词语 或当辐射小于75%时，我们根据训练数据库计算召回率、精度、F-measure和辐射。为了确定树中的第一个分支点，我们选择了加权错误率最低的术语(基于数据库中所有研究中临床检查研究的患病率的权重)[ 13］．一旦发现错误率最低的术语(即诊断[tw])，我们就在PubMed中创建了4个新的数据集(“临床检查”和诊断[tw];“临床检查”不是诊断[tw];“非临床检查”和诊断[tw];“非临床检查”不是诊断[tw])。然后，我们针对这4个新数据集测试了所有剩余的过滤器，并再次确定了错误率最低的术语。这使得我们可以扩展递归分区树。我们重复这个过程，直到拆分所创建的两个2x2表彼此之间不再有显著差异( P> . 05)。由于这种方法可能导致过拟合，我们还要求每个新分支的召回率至少为99%。

为了开发测试数据库，我们使用了文献中最大的临床检查系统综述集合:《美国医学会杂志》(JAMA)的《理性临床检查》系列[ 14］．一个作者(NS)使用类似于建立训练数据库的先验纳入和排除标准来开发测试数据库。我们纳入了系统综述，这些综述回顾了至少10项原始研究，报告了体征或症状的敏感性和特异性，并于1996年至2006年发表( 图2)．与临床检查无关的回顾、问卷回顾、包括实验室或影像学变量的多变量诊断规则的回顾以及预后或筛查试验的回顾被排除。共有15篇系统评价符合所有纳入标准。

纳入这15篇综述的文章被视为 有关过滤器应该能够回忆起的文章(黄金标准)。识别 nonrelevant文章:我们使用每个系统综述的方法部分中报告的搜索策略重新创建了主题特异性搜索(例如，颞动脉炎或巨细胞动脉炎);通过特定主题电子检索检索到但未包括在审查中的文章被视为不相关。这使我们能够计算出每次评论中相关和不相关文章的数量。15篇系统综述共纳入224篇原创临床检查文献。我们排除了7篇不在Medline上的文章。一项研究被排除在外，因为它没有通过特定主题搜索找到。总之，28项没有摘要的较老的研究被排除在外，因为过滤器很难检索这些研究，而且因为当代临床检查的研究可能有摘要。最终的测试数据库包括188篇相关文章和430,932篇不相关文章。

对于训练数据库中召回率最高的3个过滤器，我们在测试数据库中计算召回率、精度、F-measure和读取所需的数量。计算是基于的单元格和公式 表1．

先前开发的12个过滤器的性能验证了检索诊断文章的有效性[ 10， 17- 21]和1个由《理性临床检查》系列编辑专门为临床检查开发的过滤器[ 22在测试数据库中进行了评估。中列出了测试的过滤器 多媒体附件2并且使用描述过滤器的出版物的第一作者的名称命名，后面跟着出版年份。如果出版物中描述了多个过滤器，我们将标记作者用来描述各种过滤器的名称。例如，“Haynes-2004- sensitive”标签指的是Haynes等人在2004年的出版物中描述的具有最高灵敏度的过滤器(即具有最高召回率的过滤器)。最后，我们测试了最佳滤波器的组合是否会提高性能。

系统评论的作者经常检查参考文献列表，希望增加回忆。我们研究了这种策略如何在临床检查领域补充过滤器的使用。具体来说，我们检查了检查所收录文章的参考文献列表是否允许使用具有较低召回率的过滤器。因此，我们确定了被召回率最高的2个过滤器遗漏的文章，并检查这些文章是否包含在没有被这些过滤器遗漏的文章的参考文献列表中。

训练数据库中性能最好的滤波器如图所示 表2．“诊断”一词[副标题]确定了95%的临床检查研究。MeSH术语体检仅发现了25%的研究，因此未列入表中。一般来说，只使用与诊断相关的术语的多词搜索过滤器优于只使用临床检查术语的过滤器。此外，3个滤波器的召回率为100% (ce -高召回率，dx -高召回率，RP)，其中两个(dx -高召回率，RP)由于精度较高而显得特别有希望。

递归分区树显示在 图3．当转换为布尔语言时，RP过滤器在PubMed语法中如下:(诊断[tw] AND(特异性*[tw] OR临床*[tw] OR检查*[tw]))或“敏感性和特异性”[MeSH]。

在本研究中开发的滤波器以及之前开发的13个滤波器和滤波器组合的召回率、精度、F-measure和读取所需的数都显示在 表3．Haynes-2004-Sensitive滤镜[ 10的记忆力最高(98%)。当只考虑召回率为80%的滤波器时，RP滤波器具有最高的精度(0.26%)。Haynes-2004-Sensitive过滤器和CE-high recall过滤器结合使用布尔术语OR时，召回率为100%，精度为0.06%。与单独使用相比，其他过滤器组合并没有提供太多的回忆改善。

总的来说，Haynes-2004-Sensitive搜索策略漏掉了188篇相关文章中的4篇，其中2篇是通过查看该策略没有漏掉的文章的参考文献列表而检索到的(召回率从98%提高到99%)。在递归分区策略遗漏的19篇文章中，通过回顾该策略没有遗漏的文章的参考文献列表检索到8篇文章(召回率从89%提高到94%)。

对于医疗保健提供者寻找有关临床检查结果诊断准确性的信息，RP过滤器似乎是最合理的选择。例如，让我们假设一位临床医生正在检查第三个心音检测心力衰竭的能力。为了确定第三次心音患者的充血性心力衰竭的测试后概率，使用PubMed中的RP过滤器进行搜索将是(心跳加速或S3或第三次心音)和心力衰竭[MeSH] AND(诊断[tw] AND(特异性*[tw]或临床*[tw]或检查*[tw]))或“敏感性和特异性”[MeSH])。截至2011年3月，这项搜索产生了68篇文章，其中有几篇与临床医生的问题直接相关。虽然没有被研究过，但医生可以通过添加术语“systematic[sb]”来限制搜索系统综述。该策略产生了1个相关的系统评价。虽然本研究中报告的过滤器的NNRs非常高( 表3)，在临床实践中，NNR会大大降低。NNR与诊断测试的阳性预测值一样，取决于有关体检的文章的流行程度。尽管体检研究在MEDLINE中的比例相对较低(例如，在Hedges数据库中< 0.1%)，但当临床医生输入疾病和体检结果的搜索词时，体检文章的流行度会增加。因此，读取所需的数量将大大降低(参见上面的例子)。因此，至关重要的是，临床医生使用最具描述性和最具体的术语来使用一个精心构建的临床问题[ 23］．

对于想要进行系统评价的研究者，Haynes-2004-Sensitive过滤器[ 10，其回收率为98%，似乎是最合理的选择。然而，如果仅依赖此过滤器，可能会错过一些文章。提出了两种提高回忆率的策略。一是检查符合纳入标准的文章的参考书目。这将灵敏度提高到99%。另一种策略是使用OR将haynes -1994和CE高召回过滤器结合起来。虽然该策略的召回率为100%，但其精度非常低(0.06%)。尽管仅仅依赖过滤器可能会导致一些研究被遗漏[ 24]，我们认为使用过滤器是适当的，特别是在没有过滤器很难进行审查的情况下。这里提供的过滤器旨在用作更大的搜索策略的一部分，其中包括参考列表的审查，以及与该领域专家的交流。

我们测试的所有过滤器在识别临床检查研究方面的精度都非常低。我们的发现与Haynes及其同事发表的研究结果一致[ 19]，表明为检索诊断文章而开发的过滤器的准确度较为检索治疗文章而开发的过滤器差( 表4)．这些观察结果表明，国家医学图书馆应该为量化诊断敏感性和特异性的研究创建一种出版物类型。其他替代或补充的解决方案可能包括手动识别和标记量化临床检查的研究(目前Cochrane协作组织正在使用该方法创建健全的随机对照治疗试验数据库CENTRAL)、协同过滤或基于内容的过滤[ 25］．

我们的研究有几个局限性。Hedges数据库[ 10]收录了161种被认为具有最高科学价值和临床相关性的期刊。虽然我们相信这些是最能帮助临床医生的期刊，但当搜索整个Medline时，结果可能会有所不同。此外，以外文出版的期刊没有被包括在Hedges数据库中。由于我们的一些过滤器使用了文本单词，这些过滤器在搜索未被翻译成英语的文章或没有摘要的文章时性能可能会下降。另一个限制是我们对候选搜索词的识别。与过滤器开发的先前研究一致，专家搜索人员独立审查了我们的候选术语列表，并建议了额外的术语。然而，我们没有定量地回顾金标准研究中最频繁的搜索词和文本词，以确定候选术语。然而，当我们回顾性检查用于在训练数据库中索引金标准研究的MeSH术语时，未经过我们测试的术语的查全率和准确度远远低于我们选择的术语。尽管如此，我们认为未来的研究应该采用这种识别术语的方法。另一个限制是在训练数据库中识别黄金标准文章。 Only one investigator initially reviewed the articles for eligibility. Future studies should utilize two investigators who independently assess each article. Finally, because of the low prevalence of clinical examination studies, the number of gold standard studies in both the training and testing databases were relatively small. Further testing of these filters in larger databases is necessary.

令人惊讶的结果是，训练数据库中只有25%和20%的临床检查研究分别使用MeSH术语“体检”和“体征和症状”进行编码。当前这些MeSH术语分配的不一致性限制了搜索过滤器在这个主题上的能力。

提出了一种开发多项滤波器的新方法。在过滤器的开发中使用递归分区是一种新颖的方法，似乎特别适合有许多候选项的情况。当候选词的数量很少时，可以根据数据集测试所有可能的词的组合。当候选项的数量很大时，这就变得令人望而却步。相比之下，使用递归分区，搜索过滤器是逐步构造的。这种方法还允许开发使用AND和OR术语的过滤器，并允许开发具有召回率和精度的最佳组合的过滤器。

递归分区提供了另一种开发过滤器的方法:它不仅允许开发具有召回率和精度的最佳组合的过滤器，而且还允许开发同时使用and和OR布尔连接器的过滤器。尽管递归分割具有优势，但我们开发的用于临床检查研究检索的过滤器精度相对较低。我们认为国家医学图书馆应该为量化临床检查的敏感性和特异性的文章创建一种出版类型。这种新标签可以提高临床诊断文献的检索。