PubMed搜索后治疗问题正确答案的净改进:前后比较

介绍

Medline在2012年索引了760903篇新文章，使其总数接近2000万篇。Medline收录的期刊数量在过去20年增长了50% [1]。2012年，Medline的搜索量达到22亿次。尽管在卫生保健文献中对这种信息超载的量化是有限的[2]，它被广泛认为是医生实践循证医学和寻找临床问题答案的障碍[3.]。

卫生保健研究证据的6S金字塔描述了一系列工具和资源，以帮助医生访问或检索相关的研究证据。金字塔的结构是以原始研究为基础，然后按照临床应用的升序排列，依次是研究大纲、综合(系统综述)、综合大纲、摘要(循证在线文本)和系统(如临床决策支持系统)。4]。除了已发表的证据外，同事和教科书通常是医生使用的一线信息资源[5-7因为这些回答最有效[7]。虽然更高水平的证据(例如，荟萃分析或临床总结)在临床上更有用，但这类信息对于许多临床问题是不可用的，医生经常需要搜索主要文献[8]。医生报告通过其他供应商大量使用PubMed或Medline。戴维斯(92007年，81%的美国医生、77%的英国医生和76%的加拿大医生偶尔或经常使用PubMed或Medline来支持他们的实践。

研究表明，发表的原创研究和评论可以为临床医生提供临床问题的答案[10-13]并导致病人护理的改变[13-15]。Medline搜索帮助医学和执业护士学生回答模拟临床问题[12]。一个包含Medline、教科书和临床指南的虚拟图书馆帮助医生找到有关临床问题的相关信息[10]。然而，一项针对33名急诊科住院医生的研究发现，谷歌搜索结果给参与者一种虚假的安全感，导致他们对自己的答案信心大增。在谷歌搜索中，模拟问题的正确答案更多，但搜索后的错误答案也略多[16]。

其他研究报告了信息搜索对医生回答临床问题的负面影响。麦基本和弗里德斯玛[17发现，当临床医生使用他们喜欢的在线资源时，11%的临床问题答案从搜索前的正确变为搜索后的错误。Hersh及其同事[12，18在两项研究中，使用Medline的正确率分别为4.5%和10.5%。

搜索过滤器已经开发出来，以帮助临床医生搜索主要文献。这些过滤器经过严格开发和验证，以提高基于研究方法或临床内容的临床相关文章的产量。麦克马斯特大学的健康信息研究部门开发了一种过滤器，用于检测治疗的初步研究[19，20.]，诊断[21，22]，经济学[23]，预后[24，25]，病因学[26，27]，系统评价[28]和心理健康研究[29]。在PubMed的临床查询界面中已经提供了一些过滤器[30.]和特殊查询功能[31]。最近的一项研究比较了PubMed主屏幕和临床查询的检索结果，发现临床查询返回的研究较少，更多的是方法学上合理的[32]。

这项实用研究的目的是确定当初级保健医生使用PubMed主屏幕或PubMed的临床查询功能进行搜索时，临床问题的正确率是否存在差异。具体来说，初级保健医生通过PubMed主屏幕或通过临床查询进行的搜索是否会对与治疗相关的临床问题给出不同的答案正确率?

方法

标准化的问题

为了评估PubMed是否提供了与治疗相关的临床问题的正确答案，开发了标准临床问题和基于最近系统评价的答案。这些综述是从125种期刊的临床研究数据库中挑选出来的，这些期刊的方法经过了严格的预评估[33]，并由全球执业临床医生小组评估其与临床实践的相关性和新闻价值。评估2011年前6个月与全科实践相关的评论，临床相关性和新闻价值评分>5(总分7分)，以确定它们是否报告了手头临床问题的明确答案。

总共设计了24个标准问题，并对3名医生进行了迭代测试。医生为2名经验丰富的全科医生和1名经验丰富的全科内科医生。第四位普通内科医生也审查了这些问题。医生对每个问题的临床适用性、问题的感知难度以及与实践的相关性提供了输入。然后对2名全科医生进行了修改后的问题试验，他们提供了进一步的反馈。如果临床医生认为问题太难或太容易回答，与一般实践无关，或者答案被认为是有争议的，那么这些问题就会被删除。其余14道题见表1．

招聘

自我认定为全科医生、家庭医生或初级保健全科内科医生的执业医生，他们在麦克马斯特在线证据评级(MORE)中注册[48系统收到了参与在线研究的电子邮件邀请。2011年11月向528名医生发出了邀请，到2012年1月底发出了多达2个提醒。参与者在完成研究后获得1小时的继续医学教育学分证书。

调查

我们给参与者发送了一个调查的网络链接，要求他们使用自己的系统密码登录我们的高质量临床文章信息生产系统。图1）.在提供同意后，医生被要求回答14个临床问题，回答是或否(表1）.然后他们被要求搜索其中4个问题的信息(图2）.这4个问题中，有2个是他们最初正确回答的，有2个是他们错误回答的;我们没有告诉参与者他或她的答案是否正确。涉及三个独立的计算机生成随机化:(1)随机选择搜索问题，(2)将问题随机发送到PubMed主屏幕或临床查询(各有1个正确和1个错误)，以及(3)临床医生搜索的顺序随机化。这两个接口是PubMed搜索系统的通道，所有的搜索算法都以正常的方式工作;输入的术语被传递到PubMed有或没有临床查询过滤器。

因为我们的问题是治疗问题，我们使用临床查询的研究方法过滤器的治疗类别。我们对临床医生寻找临床问题的答案感兴趣;因此，我们使用了狭窄的临床查询。窄搜索过滤器是为临床护理设计的，因为它们检索了很大比例的潜在相关引文，同时将非相关引文的数量保持在最低限度(灵敏度为93%，特异性为97%)。19])。广泛的临床过滤器是为研究人员和元分析人员设计的，他们希望检索到最高比例的相关引用，而较少考虑检索不相关的引用。

对于每个问题，参与者被要求在一个文本框中输入搜索词。如果参与者对检索不满意，他们可以更改搜索条件并提交新的搜索。

在这4次搜索之后，每一次都显示了前20个结果。参与者不知道检索来自哪个PubMed接口。他们可以通过选择文章的标题在同一个窗口中查看文章的摘要。参与者被要求选出对形成/支持他们的答案最重要的3篇文章。在完成4次搜索并选择文章后，参与者再次给出14个问题，并被要求回答“是”或“否”。这项研究得到了麦克马斯特大学汉密尔顿健康科学/健康科学学院研究伦理委员会的批准。

‎ 查看此图

‎ 查看此图

统计分析

研究的主要结果是搜索前后正确答案比例的差异。次要结果是搜索到的问题从错误到正确和正确到不正确的比例，没有搜索的问题从正确到不正确和不正确到正确的比例，以及完成项目任务所需的时间。

根据以往的研究，临床问题答案的起始比例为27% (n=557) [10]和40%正确率(n=46) [17]。这些研究发现，答案从正确到错误的比率为7% [18]和11% [17),分别。

我们预计正确答案到错误答案的变化约为10%;因此，我们将搜索模式之间5%的绝对差异设置为临床感兴趣。这给了我们522个正确组和459个错误组的样本大小，以检测在80%的功率下搜索模式中5%的差异。

Mantel-Haenszel检验匹配对，按参与者和问题分层，用于确定通过使用临床查询搜索与PubMed主屏幕搜索改变应答的比值比。事后我们认识到问题6是一个预后问题而不是治疗问题。鉴于临床查询搜索使用了治疗过滤器，我们进行了包括这个问题的分析和没有这个问题的敏感性分析。在整个数据集中，29名参与者中只有1人(3%)改变了他们的答案(正确到不正确的临床查询)。

研究质量

参与者选择的与回答他们的问题相关的文章一式两份，根据下面概述的方法标准进行独立评估。分歧通过协商一致得到解决。

如果一项治疗研究符合以下3个标准，那么它在方法上是合理的:

1. 将参与者随机分配到对照组;
2. 在任何给定的随访评估中，至少80%进入调查的患者的结果评估在一个主要分析中被考虑;和
3. 分析结果与研究设计一致。

如果一项治疗研究的系统综述符合以下6个标准，那么它在方法学上是合理的:

1. 临床主题的明确陈述;
2. 问题是指治疗;
3. 方法在报告正文中描述(而不仅仅是摘要);
4. 检索了一个以上的主要数据库或Cochrane CENTRAL;
5. 明确的纳入/排除标准;和
6. 一篇或多篇文章符合治疗研究的标准(前面列出)。

结果

总结

在招募期间，528名医生被邀请参加研究;143人(27.1%)提供了同意，其中110人(21.0%的被邀请者和77.6%的同意者)完成了研究任务(24人在第一次搜索后放弃任务，9人没有进行任何搜索)。两名参与者(1.8%)正确回答了所有14个问题;因此，他们只被要求搜索2个问题。在基线时，参与者正确回答了62.3% (95% CI 59.8%-64.7%)的问题。

完成任务的时间是根据参与者登录网站到他们提交调查的时间来计算的。如果参与者在未点击提交按钮的情况下退出，计时器将继续计数。因此，有16次观测超过100分钟，从119分钟到103,786分钟(72天)不等。我们选择了100分钟作为一个可能的时间点，在这个时间点上，任务没有在一次静坐中完成。其余95名参与者在6至76分钟内完成任务(平均24.5分钟，95% CI 21.4-27.5)。

搜索

在研究期间，执行了440次搜索，222次(50.5%)回答正确，218次(49.5%)最初回答错误。对于选择用于搜索的问题，两组的基线回答都有50.0%的正确率。搜索后，PubMed主屏幕组的回答正确率为61.4% (95% CI 55.0%-67.8%)，临床查询组的回答正确率为59.1% (95% CI 52.6%-65.6%)。我们发现PubMed主屏幕搜索(45/220,20.5%)与临床查询搜索(39/220,17.7%)相比，答案从错误到正确的比率没有差异(表2）.这两组搜索也有大约9%的错误率:PubMed主屏幕的220个搜索中有21个(9.5%)，临床查询(表2）.PubMed主屏幕搜索的正确答案净增11.4% (95% CI 2.1%-20.4%)，临床查询搜索净增9.1% (95% CI -0.2% - 18.2%)。

通过临床查询搜索和PubMed主屏幕搜索改变答案的几率对于最初正确或错误的问题(根据用户或问题分层)并没有什么不同。P> . 05) (表3）.敏感性分析去除问题6(一个预后问题)没有改变结果。

Nonsearched问题

对于在搜索之前和之后回答但没有干预搜索的问题，在基线时平均65.4% (95% CI 62.8%-68.0%)是正确的，在研究结束时，在14个问题中平均64.6% (95% CI 62.0%-67.2%)是正确的，4.0% (95% CI 2.3%-5.6%)从正确到不正确，3.1% (95% CI 2.2%-4.1%)从不正确到正确。不同问题的基线表现存在差异(表4）.在没有搜索的情况下，将答案从正确改为错误的几率(OR 0.06, 95% CI 0.05-0.08)低于从错误改为正确的几率(OR 0.11, 95% CI 0.08-0.13;P= .002)。

研究质量

临床查询是根据研究设计检索临床有用的研究。治疗过滤器根据文章是否为随机对照试验来检索引文。因此，我们感兴趣的是确定参与者在看到前20个检索结果时是否识别出具有强方法的研究(即随机对照试验或分析随机对照试验的综述)。参与者被要求找出3篇最重要的文章，提供证据来回答他们正在处理的临床问题。总的来说，PubMed主页组标记了334篇重要文章，临床查询组标记了321篇文章。表5显示标记为对所问问题重要的治疗文章和系统综述文章的数量。从PubMed主屏幕搜索和临床查询搜索中选择的文章在被选为重要的评论治疗文章的数量或具有强大方法的原创或评论文章的数量上没有差异。

讨论

虽然我们试图表明，与PubMed主屏幕搜索相比，在PubMed临床查询中搜索临床问题的正确答案更多，但我们没有发现任何差异。这可能是因为我们没有达到最初计算的大约1000个搜索的样本量。对这些结果的另一种解释可能是研究参与者的培训和经验。所有人都是执业的临床医生，并在MORE系统注册，在那里他们评估和评价临床准备的健康研究。此外，这项研究是在互联网上完成的。参与者可能有很强的计算机和互联网技能，可能是PubMed和临床研究文献的熟练使用者。因此，研究参与者可能是最不可能从临床查询中受益的临床医生群体。Naïve用户或新的临床医生，如实习生和住院医生，或那些在评估和应用研究成果方面不太熟练的临床医生可能会从临床查询搜索中获得更多好处。时间也是寻求临床问题答案的一个主要因素。如果在研究中寻找答案的时间受到更严格的限制(我们对任务没有时间限制)，我们可能会发现使用独立PubMed搜索和使用临床查询搜索找到的答案的正确性之间存在更大的差异。

然而，这项研究确实表明，PubMed，无论是单独使用还是使用临床查询，都能帮助临床医生更准确地回答临床问题。对于临床医生不搜索回答两次的问题，正确率保持不变(第一次回答正确65.4%，第二次回答正确64.6%)。通过搜索，临床医生提高了答对率。他们的答案从50.0%(研究设定)到60.2% (PubMed临床查询搜索59.1%，PubMed主屏幕61.4%)，P= .60)。

我们的发现与其他研究一致，发现信息资源的使用与临床答案准确性的提高有关[10，12，17，18]。这种增长通常在10%的范围内。然而，正确答案数量的增加几乎总是这样的组合:大约20%的答案从最初的不正确答案到正确答案，同时10%的答案从最初的正确答案到不正确答案。

我们还发现一些问题的答案发生了变化，而这些问题并不是本研究中搜索的基础。研究参与者的稳定状态是大约65%的时间是正确的，几乎平衡了4%的问题从正确到不正确，3%的问题从错误到正确。对于基于临床问题正确答案的结果的研究，应考虑到这种改变答案的现象。

我们已经证明，具有多重任务的复杂搜索研究可以通过互联网完成，我们能够招募临床医生进行搜索试验。我们的参与者平均上网25分钟。在此期间，他们回答了14个是/否问题两次，完成了4次PubMed搜索，并选择了对临床问题重要的文章。我们的方法得到了加强，因为我们对研究目的的参与者进行了盲测，对临床医生的初始答案以及他们是否使用了临床查询进行了盲测，并在评估治疗的原始和评论文章的方法学强度时进行了盲测和重复阅读。我们还随机化了3个程序(选择要搜索的问题，使用PubMed主屏幕或临床查询搜索的顺序，以及发送到2种搜索方法的问题)。

我们在研究中使用的问题是基于当前系统评价的有力证据，并在不同的医生群体中进行了预先测试。然而，尽管有这些优势，我们的问题并不是参与者日常实践中产生的问题。

未来的研究需要做的是提高搜索工具的质量和它们的能力，以最大限度地提高问题的正确答案，同时最大限度地减少从最初的正确答案到错误答案的答案。专注于特定的临床医生群体(例如，那些在早期实践或缺乏评估和应用研究成果经验的人)或在某些情况下(例如，时间有限或提出临床医生领域之外的难题)也可能解决PubMed搜索自动辅助的潜力。其他研究表明，如果搜索输入屏幕要求临床医生输入与患者或人群、干预、比较和结果(PICO)方面相关的概念，那么PubMed中的界面会导致更好的问题回答。［49跨系统的比较也有必要，考虑到质量(例如，谷歌)，访问(例如，学术机构内外的临床医生)和成本(例如，UptoDate)。

我们已经表明，复杂的搜索研究可以通过互联网完成。我们还强调，在PubMed中进行临床医生搜索可以使临床医生正确回答临床问题的能力提高约10%。这10%的改善与其他类似研究一致[10，12，17，18并包括大约20%的绝对改进(错误答案对正确答案)和大约10%的递减(正确答案对错误答案)。