护理点临床信息产品背后的证据类型:文献计量学分析

简介

对医生寻求信息实践的研究表明，在临床护理中使用电子资源已日益成为一种标准的信息获取方法，与传统的教科书和同事联系方法一样[1-4］．易于获取的电子资源在床边回答临床问题的普及中扮演重要角色，但缺乏时间是导致住院医生和咨询医生使用循证医学有限的主要因素之一[2，4-7］．电子信息资源通过以总结格式向临床医生提供信息，以桌面或移动产品应用程序的形式改善了及时访问。

本研究的主题是护理点(POC)产品，我们将其定义为电子床边信息工具，为卫生保健专业人员提供汇总的医疗信息。这些产品的一些例子是UpToDate, eMedicine, DynaMed和Clinical Evidence。用于指代这些产品的其他任意名称是电子教科书、循证资源和决策支持工具。Haynes预估资源的6S金字塔模型是对5S模型的修正，将这些产品描述为总结[8，9］．这些资源中的许多都声称是基于它们的描述或政策声明的证据。然而，证据依据的基础并不总是透明的。

迄今为止，这类信息产品已经在功能、可用性、对健康结果的影响、覆盖范围和回答临床问题的能力方面进行了研究。POC产品已根据用户“内容感知”进行排名[10]、“感知有用性”[11]，以及对界面和整体搜索体验的满意度。

电子信息资源在需要时帮助临床医生在医疗点找到正确答案的能力至关重要。研究已经从记录用户体验和满意度的变化扩展到检查POC产品对临床实践和患者结果的影响。

为了衡量电子信息产品对患者结果的影响，Bonis和同事们比较了有和没有UpToDate的急症护理医院，发现有UpToDate的医院与更好的患者护理质量和结果表现以及更短的住院时间有关[12］．

在一项针对住院医生和专家的观察性研究中，Hoogendam和他的同事们将UpToDate和PubMed进行了比较，他们得出结论，UpToDate是首选的来源，并回答了更多与患者相关的问题，但在讨论中包含了许多复杂的发现[13］．其他观察性研究表明，在一个5家医院住院医师项目中，家庭医学住院医师的第三年只有3%(15/532)的临床问题是通过电子资源解决的[14]，而急诊科医生29%(36/126)的答案来自电子资源[15］．

Alper等人的研究表明，由14种单独的电子信息资源回答的问题百分比可能相差很大，但综合起来，可以达到更高的比率[16］．在此基础上，Fenton和Badgett研究了UpToDate和US National Guideline Clearinghouse这两种信息资源之间的覆盖范围和重叠[17］．

在2004年的一项比较研究中，三种循证医学资源被用于回答一系列复杂和一般的临床问题。共有35%(28/80)的测试问题没有答案[18］．在2005年发表的另一项研究中，使用6个电子信息源的临床医生正确回答问题的数量增加了21%，也更有可能更正他们的错误答案。19］．Alper等人发现，在不增加搜索时间的情况下，与对照组的15个典型信息资源(209/351,59.5%)相比，使用DynaMed的初级保健医生回答了更多的临床问题(263/347,75.8%)并发现了更多改变临床决策的答案(224/347,64.6%)[20.］．

McKibbon和Fridsma研究了美国和加拿大23名初级保健医生选择的电子信息资源的有效性[21］．这项研究发现，当医生使用自己的信息资源时，他们只正确回答了42%的问题，而在搜索之前，他们回答了39%的问题。在某些情况下，参与者将正确答案改为错误答案。McKibbon和Fridsma [21]结论是

.．.资源的证据基础必须是强有力的和最新的……我们需要很好地评估它们，以确定如何最好地利用资源来支持良好的临床决策。

据我们所知，很少有研究关注支持疾病POC产品的内容的评估。例如，Trumble和同事在2006年的产品评估中测量了功能和可用性，但也为特定的证据功能添加了加权因素，以便对产品进行排名:分级证据、证据摘要、更新、作者、参考文献和文本内书目[22］．加权证据特征产生了POC产品的排名列表。法雷尔通过对52名加拿大健康图书馆员的调查，评估了五种最常用的资源[23］．每个产品的可用性和全面性都进行了测试，如果检索到的答案中包含证据，则会记录证据的级别。Banzi等人最近使用评分工具深入审查了18个产品，并发现了覆盖率、EBM内容和编辑方法的差异[24］．Abernethy等人在2009年的一项评估中，对肿瘤适应症外的药典方法的可靠性进行了检查，发现所引用的文献不一致且缺乏适用性[25］．

我们的目标是使用文献计量学方法，使用引文和内容指标作为另一种方法来评估一组POC资源。

“文献计量学是对物理出版单位，或书目单位，或两者的替代品的定量研究，”Broadus在1987年的一篇论文中定义，概述了试图描述这个新术语的历史[26］．引文分析属于更广泛的术语，并且“……在volves the construction and application of a series of indicators of the ‘impact’, ‘influence’ or ‘quality’ of scholarly work, derived from citation data, i.e. data on references cited in footnotes or bibliographies of scholarly research publications” [27］．

引文分析的评价团体和个人，并描述广泛的科学发展已被审查，因为引入科学引文索引1961年[28，29］．作者被引用行为的影响已经被研究和定义，非常关注其对个别科学家的行政应用[30.-32］．

与引文分析相关的指标是影响因子，即Garfield [33]描述为一种效用的度量:

它们为科学工作的效用和影响提供了客观的衡量标准。他们对这项工作的性质只字未提，对其效用或影响的原因也只字未提。这些因素只能通过对引用材料的内容分析和知识渊博的同行判断来处理。

本研究将引文分析扩展到计数指标之外，例如简单地计算专著中对某些文章或作者的引用和/或重叠分析，以包括来自书目或引文记录的相关内容指标，特别是MEDLINE出版类型和出版年份。用Garfield的话说，我们的意图是增加出版物类型指标，暗示“它的效用或影响的原因”[33］．在本次调查中，指标的总和和对POC产品质量的影响也很重要，而不是单个作者或文章。

方法

在这项研究中，我们测量了四个指标:引用分布、证据类型、产品流通和引用重叠。

引用分布是指每个POC产品中引用的数量以及在疾病主题中分布的数量。它的测量是为了给出每个产品以及所有产品的覆盖深度的感觉。该指标还用于比较产品内部和五种不同产品之间的主题覆盖率。

当对治疗或其他护理方面提出循证建议时，应引用原始来源来支持该建议。我们的证据代理是出版物类型。我们选择这个代理是因为它可以很容易地比较和评估通过金字塔表示或分级方案在证据层次结构中通常发现的证据类型。考虑到研究的时间限制，这种方法也更加现实可行．

引文发表日期很重要，因为我们想知道这些产品为用户提供了最新的信息。除2001年以前的引文外，年份按每3年的格式分组。当临床医生搜索与当前实践相关的证据时，他们不太可能要求检索10年以上的文章。因此，我们将2001年以前的年份归为一类。

我们还研究了引用重叠，因为我们希望在相同主题的产品之间发现显著的重叠。不同产品之间的引用重叠将为我们提供不同产品之间内容一致性的指示。

主题选择

(见多媒体附件1．)

研究从国家医学图书馆(NLM)的临床问题收集中选择了四个最终的疾病主题[34通过三步选择程序。为了在初步研究中有效地管理数据显示，主题被限制在少量范围内。从集合中识别问题的第一步是随机选择数字。随机整数发生器产生35个1到4654之间的随机数[35］．从NLM的临床问题收集中相应的35个临床问题的主要主题，然后检查纳入/排除标准。主题被要求成为每个POC产品的主要条目，药物/物质主题被排除在外，因为药物信息内容来自第三方授权资源的情况并不少见。我们没有遵循严格的协议来确定一个主题作为主要条目;审阅人员只是检查产品中每个条件是否都有对应的文章。结果从最初的35个主题变成了15个。

为了进一步限制数量，我们将由此产生的15个主题与美国疾病控制和预防中心在2007年图表簿中列出的所有人的十大主要死亡原因进行了比较[36］．研究中必须列出主题。二期筛选后，剩余8个主题。在选择主题的第三阶段，我们排除了另外四个主题(结核病、流感、肺炎和滤泡性甲状腺癌)，因为它们在所有五种POC产品中没有始终覆盖相同的范围。例如，在一些产品中，结核病主题由单一专著来代表，而在另一些产品中，诊断和其他方面则作为单独的专著来编写。

产品选择

两名作者(AK, AS)选择了产品。

这些产品是从德克萨斯州财团研究中证据产品排名前10位的产品中选择的，与Farrel对POC资源的评估中选择的5种资源一起[22，23］．选择了对两个排名都通用的POC资源。这些是ACP PIER, BMJ的临床证据，UpToDate和FirstCONSULT。从德克萨斯联盟研究中选择了另外两个资源，它们在功能和材料呈现方面与其他产品相似:DynaMed和Essentials Evidence Plus(以前称为InfoPOEMS)，总共有6个POC产品。

由于预计报告结果数据的空间有限，我们希望将测试限制在最多5个产品，因此取消了Essential Evidence Plus。除了DynaMed之外，所有产品都可以通过机构订阅获得访问权限，我们获得了DynaMed的试用访问权限。

数据收集

数据收集时间为2008年12月中旬至2009年1月底，为期6周。所有四本专题专著均位于POC的每个资源中。检索专著条目附带的引用并将其保存在Word文档中。任何额外的参考书目，如“进一步阅读”不包括在内。

所有引用随后都转移到引用管理产品中。除了引文的典型元素外，还收集了医学主题标题(MeSH)索引、MEDLINE出版物类型分配和PMID (PubMed中分配给引文的唯一引文ID)。使用我们创建的结构化指南为没有midd的引用分配了唯一标识符。我们试图验证网络引用和其他非期刊引用，以获得关于出版物来源和类型的完整细节。为了分析的一致性，从这一点开始，所有的引用和引用将被称为“引用”。

数据分析

课题由两位作者(AK, AS)分别进行引文回顾。我们讨论了评审引用中的不确定性，以达成共识。没有计算评分者间的信度。为了识别引文的出版类型，我们使用NLM的MEDLINE索引作为引文分类过程中的参考点。(请注意，当引用被输入到MEDLINE时，它们被分配索引术语，包括来自标准化索引术语列表的出版物类型。)我们开发了一种协议，用于在此前提下与发布类型分类系统一起分配发布类型，我们设计该协议是为了考虑简单使用MEDLINE发布类型索引的局限性(参见表1)．关于分配发布类型的协议的更多细节也可以在多媒体附件2．分类系统方案的发展是以证据层次为指导的。虽然没有标准化的循证医学金字塔结构，但我们使用了达特茅斯学院图书馆的循证医学金字塔计划[37]作为发展我们的出版物类型分类系统的参考点，因为它是许多健康科学图书馆在提供循证资源时使用的金字塔(见表1)．指南制定人员可以进行系统的审查，作为指南综合的一部分;然而，它们并不是一回事。此外，并非所有指南都基于证据(有些是共识意见)，因此我们将指南分类为与系统综述不同的出版物类型。

因为在MEDLINE索引中，系统综述不是一种出版物类型，我们进一步检查了NLM出版物类型综述中指定的引文，以适当地将其识别并归类到系统综述类别中。设计了一套标准，将引文分配到系统评价类别。这些标准基于jama证据中的系统评价定义医学文献使用指南［38]和Cook 1997年的文章“系统评价:临床决策最佳证据的综合”[39］．以下是库克的定义:39]：

系统综述本身就是科学调查，有预先计划好的方法和原始研究的集合作为它们的“主题”。他们通过使用限制偏差和随机误差的策略来综合多个主要调查的结果。这些策略包括对所有可能相关的文章进行全面搜索，并在选择审稿文章时使用明确的、可重复的标准。初步的研究设计和研究特点被评价，数据被综合，结果被解释。

关于系统评价分类的更多细节可在多媒体．

此外，我们还根据需要对引用的摘要和全文进行了审查，以确定是否报告了任何研究数据。之所以做出这一决定，是因为我们遇到了一些研究数据以这些出版物类型报告的实例。这些一般的MEDLINE出版物类型(评论、信件和社论)随后被更详细地重新分配到中的出版物类型类别之一表1．我们重新检查了所有最初分类为此类的引文，并确定研究数据是否符合作者创建的以下标准:被研究的样本/或被研究对象被特征地描述/或在数量上描述(必须有这一点);传统的摘要提纲出现在MEDLINE摘要或全文中(例如，目标/介绍/问题;方法/科目;结果;讨论/结论)。

数据分析使用STATA版本10 (StataCorp LP, College Station, TX, USA)。

结果

五种POC产品符合纳入标准:UpToDate、FirstCONSULT、ACP PIER、临床证据和dynamd。最后四个主题是高血压、哮喘、一氧化碳中毒和高脂血症。中记录了主题和产品的最后更新日期表2．

我们从五个POC产品中总共检索了2330次引用。如在图1，其中近一半(1131/2330,48.5%)的引用来自DynaMed，而来自FirstCONSULT的引用仅占6.6%(153/2330)。图1还说明了四个主题中每个POC产品中引用数量的变化。例如，临床证据和DynaMed显示，每个产品中哮喘主题的引用比例更高，而ACP PIER和UpToDate对高血压的引用比例更高。同样有趣的是，高脂血症和一氧化碳中毒这两个主题的引用数出现了波动。

‎ 查看此图

所有四种产品按日期的引用分布表示在图2，揭示了2001年以前的组中每种产品被引用次数最多，而2007-2009年的组中每种产品被引用次数最少的大致模式。只有FirstCONSULT没有遵循这种模式:2001-2003年的分组在FirstCONSULT中被引用的次数最多。

‎ 查看此图

请注意，分析中缺少两个观察结果，两个网址都已损坏或不再可用，一个来自临床证据，另一个来自最新日期:(1)临床证据-国家统计局，http://www.statistics.gov.uk，没有日期，没有文件检索指示，来自一氧化碳中毒专著，(2)最新日期- www.cdc.gov/nceh/airpollution/carbonmonoxide/cofaq.htm，截至2005年8月9日，来自一氧化碳中毒专著。

图3而且表3显示在每个POC产品的所有主题中发现的出版物类型的分布。FirstCONSULT使用了系统综述和随机对照试验这两种出版物类型的最大引用比例。值得注意的是，综述出版物类型类别包括少量证据综述和Haynes定义的摘要[9]，例如家庭医生咨询网(FPIN)和ACP杂志俱乐部的文章。这些评论占总评论的7%(20/286)。我们在DynaMed中发现18例，在FirstCONSULT中发现1例，在临床证据中发现1例。这是在MeSH发布类型审查下对这些类型的文章进行MEDLINE索引的结果。

‎ 查看此图

这项研究中一个意想不到的发现是，所有产品的引用之间的重叠非常有限，特别是考虑到主要主题和信息资源的摘要性质。

所有POC产品中四个主题的专著有2330篇参考文献。在全部5个产品中只发现了2个(0.09%)的引用。在五个POC产品中，共有90.9%(1907/2099)的引用是唯一的，其中哮喘和高血压主题的独特引用数量最多。一氧化碳中毒被引用的次数最少。POC产品中出现的唯一引用数量与出现在其他产品中的唯一引用数量的下降是惊人的:出现在两个产品中的主题下降到3%或更低的区域(参见表4)．

讨论

这项研究表明，POC内容的特征可以被评估，并用于在目前可用的细节水平上比较产品。虽然耗时，但书目分析揭示了关于这些POC产品的令人惊讶和关键的信息:从原始引用数量到证据类型，再到这些引用的货币，它们的内容可能相差很大。

在当前被引用的数量方面，2004-2006年分组的文献预计会比2007-2009年分组的文献要多，因为系统综述和其他摘要信息资源的汇编确实需要一些时间。令人惊讶的是，《临床证据》中没有2007-2009年期间的引文。我们只能推测，这可能是由于在严格的编辑政策下更新专著的时间，并且一个单独的选项卡提供了对尚未纳入专著的最新更新的引用的访问。

同样值得注意的是，五种POC产品中的三种在2001年之前的范围内显示了接近50%或更多的引用。在整个产品数据库中引用的数量在货币结果的解释和一般情况下也有意义。此外，这些产品中的许多其他主题可能有更多的当前引用。包含较老引文的大型数据库可能意味着可以访问历史观点，而小型数据库可能出于其他原因受到严格控制。这是一个只有四个主题的小测试，可能不能代表整个产品。

引用的最小重叠不仅让我们感到意外，也与Moed [27]：

因此，一个参考文献列表包含一定比例的唯一参考文献，但同时参考文献列表之间也有相当数量的相似性。参考文献列表通常包含对在其他参考文献列表中也被引用的文档的一部分引用。

然而，在一个特别狭窄的医学文献领域，我们发现很少有重叠。

这项研究揭示了一个重要的因素，正如阿伯内西对纲目的研究所发现的那样[25]，即总结产品(如POC产品)的内容不同，这是由不同产品对同一主题引用的文献的差异、引用证据类型的质量以及币种所决定的。目前还没有为这些产品开发内容的指导标准。用户应意识到这一点，并在使用资源获取信息以应用循证实践原则时，明智地评估POC产品信息内容。根据Haynes 6S循证资源金字塔，教科书式的摘要(我们评估的大多数产品都是这样分类的)位于循证信息资源金字塔的顶端，这表明它们属于循证信息的高级层次．

然而，正如Strauss和他的同事所重申的循证医学:如何实践和教授循证医学［40]，在2009年一篇题为“管理循证知识:需要可靠、相关和可读的资源”的文章中[41]，并不是所有声称有证据的产品都是一样的。施特劳斯和海恩斯在同一篇论文中提供了如何评估这些产品和其他资源的指导方针。至少，他们建议“以证据为基础的资源的最低标准是遵守以下规定:资源是否提供了关于任何陈述或建议所基于的证据类型的明确声明?作者是否遵守了这些标准?“(41］．这些问题同样适用于评估POC产品。

读者在解释我们的研究结果时，应该考虑到一些局限性，最重要的是我们分析的主题相对较少。我们没有评估被引研究的方法学质量。此外，我们在不考虑产品更新时间表的情况下，在6周时间内收集数据。一些指定的出版物类型分类可能会有偏差，因为引用并不都是由两位作者独立审查的。应该注意的是，在每个POC产品中发现的出版物类型的比例可能取决于其编委会制定的政策。例如，临床证据遵循明确的方法，包括在纳入专著之前根据特定的质量标准评估文献中的研究。

Sackett等人将循证医学定义为“认真、明确和明智地使用当前最好的证据，在对个别患者的护理作出决定”[42］．他进一步强调，“循证医学并不局限于随机试验和荟萃分析。它包括寻找最好的外部证据来回答我们的临床问题。42］．在解释我们的结果时，应该考虑到关于“循证”定义的这些关键点。

我们的目的是在POC产品的初步研究中测试引文/内容分析的潜在有用性。需要对更多主题和POC产品进行额外测试，以确认和进一步探索这些初步结果。进一步评估我们研究中所检查的引用质量将为当前的发现增加力量。此外，鉴于主题的引用重叠最小，检查对重叠最少的主题的推荐，以及对这些主题的不同产品的推荐是否存在差异，将是有帮助的。最后，如果在产品内容开发中有标准来标记“基于证据的”资源，这将对用户有益，因为这将最大限度地减少变化和任意的指定。