识别潜在有害信息的质量标准的有效性:补充和替代医学网站的横断面调查

简介

在线健康信息既能治病，也能害人。已经提出了许多质量标准来帮助消费者识别误导、不准确或有害的信息。提供有限数量选择的客观质量标准特别有希望，因为它们更容易评估。例如，评估作者是否被识别比确定作者是否合格更容易。然而，即使是看似客观的质量标准，如果没有具体的操作定义，也被证明是不可靠的[1］．此外，几乎没有证据表明这些被称为“技术标准”的标准实际上过滤掉了不受欢迎的健康信息。少数几项试图评估技术标准的研究报告了相互矛盾的结果[2-4］．如果可以有效识别有害信息，就应该进行宣传。另一方面，如果目前可用的质量标准不能识别潜在的有害信息，那么我们应该提醒消费者，并努力寻找其他方法来识别在线问题信息。

在这项研究中，我们分析了显示补充和替代医学(CAM)信息的网站。CAM包括“目前不被认为是传统医学一部分的各种医疗和保健系统、实践和产品”，如膳食补充剂、芳香疗法、捏脊疗法和顺势疗法[5］．评估CAM网站的准确性和质量提出了独特的挑战，因为关于CAM产品功效的文献研究较少，但使用很普遍，潜在的危害仍然存在。也没有网关来控制和监视对CAM的访问。消费者可以选择产品和剂量，而不必遇到医疗保健专业人员。事实上，患者经常没有向医生报告CAM的使用情况[6］．另一方面，消费者经常转向互联网回答有关CAM的问题，并相信并根据他们在网上看到的采取行动[7］．然而，网上的CAM资料已被发现是受商业驱动的[8]，不恰当地引用[8]，以及包含非法申索[9]，因而可能对消费者构成危险[10］．可获得的、未经证实的CAM疗法与低质量的在线CAM信息相结合是危险的。

“准确性是一个网站是否反映使用了公认的基准，如临床实践指南。”［11CAM信息的准确性通常不是基于证据的，缺乏同行评审的生物医学文献的支持，是无法检验的。然而，我们可以评估显示信息的潜在危害，即使我们无法验证其准确性。此外，如果有关产品的安全性和有效性的信息是可用的，它应该显示。

我们之前的工作提供了初步的证据，表明乳腺癌网站满足更多的技术质量标准，不太可能包含虚假陈述[12］．出于帮助消费者的愿望，我们试图确定当前的技术质量标准是否可以识别潜在的有害CAM信息。

材料与方法

网站选择

消费者使用通用搜索引擎而不是医疗网站或门户网站来查找信息，而且大多数人不会超过搜索结果的第一页[13］．因此，我们选择了十大最受欢迎的搜索引擎(表1)选择消费者可能会遇到的网站[14］．美国最受欢迎的三种草药(按消费金额计算)[15人参、银杏和圣约翰草，以及它们最常见的用途构成了搜索查询。2003年7月15日，在每个搜索引擎中执行了以下三个查询:“人参与癌症”、“银杏与失忆”和“圣约翰草与抑郁症”。分析了第一个结果页面上列出的所有网站，包括赞助或付费链接。

如果一个网站至少包含一个关于搜索主题的健康信息的句子或短语，那么该网站就被包括在内。健康信息被定义为“旨在用于维持或改善健康的信息，包括了解疾病过程、卫生保健问题等……以预防、诊断或治疗健康问题，使其从疾病或治疗的影响中恢复，并寻求和选择卫生保健计划、提供者和其他资源。”［16重复的url被删除。HTTrack [17]，一个网站复印机被用来永久捕捉每个网站和每个直接链接的页面。

评估技术品质标准

在之前的工作中，我们根据流行的技术质量标准评估了评级者之间的协议[1］．我们评估了两名评分者对从Eysenbach系统评价中选取的22项质量标准的存在或不存在的一致程度[1721个CAM网站的样本。我们的初步分析显示，在22项标准中，有10项评分者之间的一致性较差。因此，我们为每个标准创建了操作定义，减少了允许的选择，并定义了查找信息的位置。结果，在22项质量标准中，有15项评分者之间达成了可接受的一致(kappa > 0.6)。

在这项研究中，一位评估人员(MW)分析了所有网站是否符合15项技术质量标准(表2)，我们之前确定是可靠的评估。因此，在本研究中，我们没有重新计算这些技术标准的观察者间信度。

评估潜在危害

首先，两名经过临床训练的审稿人(SS, DS)一致确定了三种草药的一组关键事实;请参见附录1-3。这组关键事实是从两个独立的CAM信息来源中提取的:草药医生案头参考资料[19]和斯隆·凯特林草药数据库[20.］．在确定了关键事实集之后，每个Web站点上显示的CAM内容将由两个审查人员独立地进行评估。审稿人不同意的情况通过协商一致解决。为了尽量减少偏见，标识每个网站来源的材料，如组织名称、标志、页脚、url和超链接都被删除了。然而，设计或布局没有任何变化。

为了验证审稿人之间的一致性，另外两名临床训练过的审稿人(验证审稿人)不知道所测试的研究假设或质量标准，他们从主要审稿人(SS, DS)观察的同一样本中随机选择了30个位点。计算验证评审员之间的评分一致性。验证评审员获得了与主评审员相同的关键事实文档，每个验证评审员独立地评估每个站点。在每个审查员独立地评估了Web站点之后，计算了两个验证审查员之间的审查员之间的一致性。后来，有分歧的情况以协商一致方式解决。基于共识数据，在审稿人对(主审稿人vs.验证审稿人)之间计算第二个观察者间的一致性度量。

每一页的内容都被仔细检查是否存在可能造成人身伤害的误导性陈述(委托行为)，以及是否存在遗漏的重要信息(不作为行为)。佣金可以被认为是准确性的替代品，而遗漏则被认为是完整性、覆盖面或全面性[21］．我们的评估基于以下框架，改编自Markman [22]:

1. 1. 直接毒性
   2. 与常规药物治疗的相互作用
   3. 延误诊断或常规治疗
   4. 避免常规治疗
2. 1. 警告
   2. 药物的相互作用
   3. 禁忌症
   4. 副作用

建议使用比关键事实文件(附录1-3)中推荐的更高剂量的草药的陈述被归类为导致“直接毒性”。一些说法认为，这种草药可以预防疾病，并鼓励患者自行用药，而不是去看医生，这些说法被归为“延误诊断或常规治疗”一类。将草药作为“常规治疗的替代品”(例如，“草药是治疗该疾病的首选”)的陈述被归类为可能导致“避免常规治疗”。建议将草药与已知有药物相互作用的药物一起使用的声明(例如，将圣约翰草与单胺氧化酶抑制剂一起使用)被归类为由于“与传统疗法相互作用”而造成潜在危害。然而，在评估由于相互作用信息的遗漏而造成的潜在身体伤害时，我们并不期望网站列出关键事实文件中列出的所有药物相互作用。注意到至少一种药物相互作用的网站被认为没有遗漏药物相互作用信息。那些带有“有很多相互作用”之类模糊声明的网站被归类为“忽略了药物相互作用”。如果发现任何错误的行为或疏忽，可能会造成人身伤害。

我们认识到，除了由于委托或疏忽造成的身体伤害外，互联网上的CAM信息还可能造成其他类型的伤害，例如情感和经济上的伤害。由于对疾病或传统疗法的不准确认识，如夸大传统疗法的副作用和将替代疗法作为“自然疗法”，可能会造成情绪伤害。购买无效或有害但昂贵的CAM产品可能会造成财务损害。然而，由于涉及到内在的主观性，以及量化和评估这些措施的困难，我们在本研究中没有评估情感和经济伤害。

统计分析

二(是/否)因变量为:1)委托造成的人身伤害和2)不作为造成的人身伤害。自变量也是二分的，由中所列的15个技术质量标准组成表2．此外，这15项标准又分为5类[23]:权威、透明和诚实、信息更新、编辑政策等。网站根据是否符合质量标准的中位数被分为两组。第一组符合6项或以下技术质量标准，第二组符合6项或以上技术质量标准。

通过计算观察者之间的一致性度量来评估a)验证评审者在评估这些二分类因变量(表3)和，b)验证审查员与主要审查员的一致程度(表4)．Cohen’s kappa (K)是一种常用的测量二分类数据中两个观察者之间的一致性的方法。然而，由于K受到观察者之间偏差的存在以及类别之间数据分布的复杂影响[24]，按照Byrt等人的建议，计算了流行调整偏差调整kappa (PABAK)、偏差指数(BI)和流行指数(PI)以及K [24］．

偏差指数(BI)定义为两个评分者“是”的比例之差。流行指数(PI)定义为“是”的概率与“否”的概率之差。BI接近0表示偏差较小，而接近1(绝对值)表示偏差较大。类似地，PI接近1(绝对值)表示流行率高，而PI接近0表示流行率低。然后，BI衡量一个审稿人倾向于识别比另一个审稿人更多或更少的事件的程度，而PI衡量“是”协议或“否”协议占主导地位的程度。两个观察者之间的一致性PABAK指数是根据偏差和流行度进行调整的衡量标准。虽然PABAK指数的推导有点复杂，但实际上它可以用2P来计算₀- 1，其中P₀是观察到的一致性的比例。因此，PABAK的范围从-1到+1，就像K一样，0的值表示没有更好的机会一致，而接近1的幅度表示最大的一致。

每次自变量与因变量配对时计算卡方。考虑到进行了大量的统计检验，显著性设置为α<0.01.所有分析均采用SPSS 11.0统计软件进行。

结果

总共检索了546个网站。在删除重复条目并进行资格检查后，剩下150个网站:“人参与癌症”查询网站54个，“银杏与失忆”查询网站46个，“圣约翰草与抑郁症”查询网站50个。

技术质量标准

大多数网站不符合技术质量标准。平均而言，一个网站符合15项标准中的6.3项(SD±2.6)。一个网站不符合任何标准，而三个网站符合13项标准。只有27%的网站披露了作者身份，36%的网站提供了参考文献，6%的网站提到了编辑审查过程。表2显示了符合15个质量标准的网站数量。

评估潜在危害:审稿人之间的协议

如表3，两位评价审稿人的一致性较高(均为PABAK > 0.67)。虽然几乎没有偏倚，但有很强的流行效应。因此，两位验证审稿人对委托和遗漏造成的损害的所有测量方法都有高度的一致。类似地，如图所示表4主审稿人和验证审稿人之间的一致性也很高(均为PABAK > 0.73)。

潜在的危害

不作为造成的潜在身体伤害比委托更普遍(97% vs. 25%)。表5)．然而，相当多的网站(25%)显示了可能导致人身伤害的声明。13%的CAM网站上出现了可能导致毒性的声明(直接毒性)，而7%的网站上有鼓励避免使用传统疗法的声明。8%的网站包含了如果按照建议进行互动可能会导致伤害的信息。大多数CAM网站(97%)省略了重要的信息，如禁忌症(89%)和药物相互作用(83%)。

技术质量标准

我们发现个别的技术质量标准并不能识别可能因使用或遗漏而造成实质损害的地点(表6)．同样，当技术标准被归类(如权威、透明和诚实等)时，没有发现与潜在的身体伤害有显著关联(表7)．即使将网站分为两组，符合更多标准(≥6)和符合更少标准(<6)的网站，也没有显著的关系。总体而言，我们检验了44个假设，但没有一个在α<0.01水平上显著，尽管我们的研究具有0.80的检验显著性幂。令人惊讶的是，在α<0.05处发现显著相关性的两个质量标准(“来源明确”和“编辑评审过程”)表明潜在危害的可能性更大;与他们最初的意图相反。然而，由于我们进行了大量的统计分析，这两个显著的结果可能是偶然的。

顶级域名

我们还探讨了顶级域与潜在危害之间的关系。在被分析的150个网站中，77%是商业网站(.com)， 10%是组织网站(.org)， 7%是网络网站(.net)， 3%是教育网站(.edu)， 2%是政府网站(.gov)， 1%是未知网站(仅为数字IP地址)。当某些情况下期望值<5时，计算Fisher精确检验统计量，并将显著性设为α = 0.05水平。只有网络顶级域与不作为造成的物理损害存在显著关系(表8)．在拥有网络顶级域名的10个网站中，20%的网站不包含因遗漏造成的损害。相比之下，只有2%的顶级域名非网络域名的网站没有因遗漏而造成损害(p<0.04)。然而，网络站点和非网络站点之间在佣金造成的物理损害方面没有统计上的显著关系。虽然在我们的研究中很少有教育和政府网站，但值得注意的是，在这些网站中没有发现被委托的潜在危害案例。由于大多数网站都是商业性的，因此很难从这种分析中得出有意义的结论。

产品销售意向

为了探索销售产品的网站和不销售产品的网站之间的关系，两名评估人员独立地重新访问了每个网站，并确定了允许订购产品的网站。审稿人之间的一致性较高(K=0.95)。53%的网站(n=79)销售产品。销售产品与因遗漏(P=0.56)或佣金(P=0.02)造成的潜在伤害之间无显著关系。虽然在α = 0.01水平上没有统计学意义，但销售产品实际上与佣金带来的伤害较小有关，这与我们的预期相反。事实上，63% (n=24)的佣金有害网站是在不销售产品的网站上发现的，37% (n=14)的佣金有害网站是在销售产品的网站上发现的。因此，在我们的样本中，销售产品的网站上似乎没有更多的有害信息。

讨论

我们发现，大多数CAM Web站点要么显示可能造成伤害的语句，要么省略重要信息，都具有潜在的危害性。然而，我们的数据表明，现有的技术质量标准无法识别在线潜在的有害信息。

我们发现四分之一的CAM网站提供的信息如果被使用可能会造成身体伤害。这些网站鼓励消费者避免传统疗法，展示了可能直接有毒的产品信息，或者展示了可能与传统药物相互作用的产品信息。这是潜在的危险，因为消费者很容易在网上获得CAM产品，并根据他们在互联网上看到的采取行动[7]，通常在没有临床医生知情或建议的情况下这样做[25］．

几乎所有(97%)CAM网站都省略了重要警告、药物相互作用、禁忌症或不良反应。这令人担忧，因为许多消费者认为“天然”产品是安全的。此外，许多单独使用时可能是安全的草药与传统药物相互作用。

之前的研究已经找到了科学参考文献[4]、缺乏经济利益[4]，显示版权[2]，以及显示编辑方针[3.与信息的准确性相关。本研究中评估的技术质量标准可能不适合CAM信息，因为它们试图确定准确性，这对于CAM来说是很难确定的。令人惊讶的是，即使是被普遍接受的内容质量衡量标准，如披露作者身份和更新信息，也与潜在危害无关。其他研究人员在制定评估CAM信息的指南时也遇到了困难[26］．

我们之前对乳腺癌在线信息的研究发现，符合JAMA 3项基准的网站[27](作者、引用、币种和披露)比质量较低的网站更准确(3个JAMA基准)[12］．然而，在这个CAM网站样本中，我们没有发现委托(p=0.31)或遗漏(p=0.21)造成的潜在危害之间存在这样的关系。我们不得不质疑这样一种假设，至少对于CAM信息，即消费者可以通过查看与领域无关的质量标准来区分好内容和坏内容。推荐这样的标准可能会传递一种虚假的安全感，无意中导致消费者信任有害的CAM网站。虽然我们评估的技术标准与潜在危害没有关系，但其他未测试的标准或工具可能有一些价值。

在我们进行研究时，有五个网站没有因为委托或遗漏而包含有害信息(表9)．5个表现最好的网站中有4个是从圣约翰草搜索中检索到的，一个是从人参搜索中检索到的。其中一个网站来自美国癌症协会。然而，其余四个网站来自商业或营利性实体，其中两个销售产品。我们注意到网站内容经常变化。因此，很难认可任何一个网站列表。

我们研究的主要局限性是固有的主观领域。信息是否有可能对消费者造成伤害是一种主观的临床判断，无法严格定义。然而，在经过临床训练的审稿人中，相对较高的观察者间一致性表明我们的定义是一致的。

我们的研究也受到样本的限制，样本仅限于显示三种流行草药信息的网站。搜索其他草药或不同的替代疗法可能会有不同的结果。此外，我们没有评估所有可能的技术质量标准。相反，我们只评估了Eysenbach等人回顾的三个或更多研究中使用的标准[18]，并发现使用预先确定的操作定义可可靠地评估[1］．其他质量标准可能会更有效。

由于主要审稿人(SS, DS)知道这些研究假设，他们可能会因这一知识而产生偏见。然而，主要审稿人和验证审稿人(不知道这些假设)之间的观察者之间的一致性很高。因此，这种潜在的偏差似乎对结果的影响很小。

当我们寻找质量度量时，我们必须记住一些潜在有用的标准很容易被操纵。例如，一项研究发现，声称拥有版权的网站更准确。2］．这种非常具体和客观的标准很有吸引力，因为它们可以使用软件自动评估，消费者只需搜索“版权”一词或©符号即可进行评估。然而，网站建设者很容易在不改变其网站上显示的健康信息的情况下主张版权。

虽然我们的分析仅限于个别网站，但消费者可能不会根据一个网站的建议做出医疗保健决定，而是根据从众多在线资源中了解到的、确认的或反驳的集体信息。未来的工作可以评估出现在一系列站点上的验证性证据在多大程度上可以筛选出不受欢迎的信息。此外，理解消费者搜索CAM信息的原因也很重要。毕竟，有些人可能会在常规治疗失败后才求助于CAM，而另一些人可能会拒绝传统治疗。

互联网从无数的来源提供了不断变化的、无穷无尽的信息。理想情况下，我们希望让消费者能够自己评估健康信息。然而，目前可用的技术质量标准还不足以评价CAM信息。目前，谨慎的建议是，消费者在网上寻找CAM信息时，应依赖已知的、权威的信息提供者。考虑到这一点，我们必须继续寻找方法，提醒消费者注意潜在的有害信息，而不限制他们的已知来源。