与手动检测相比，HONcode网站一致性的自动检测:评估

简介

互联网给个人获取和获取健康信息的方式带来了巨大的变化[1］．它将健康信息的分发从只发生在病人就诊期间的医生办公室(自上而下的信息流)转变为多边、异步的交流形式。患者感到有能力收集和分享自己的信息，并就自己的医疗保健做出更明智的决定[2，3.］．

最近的一项研究表明，35%的美国成年人曾经使用互联网来收集他们或其他人患有的疾病的健康信息。4］．在这些互联网用户中，46%的人还寻求过健康专业人士的建议。相反，在使用互联网获取健康信息的人中，38%的人表示他们在家中处理健康状况。鉴于超过30%的美国成年人在访问互联网后做出了重要的医疗保健决定，基于互联网的健康信息的质量变得至关重要。最近的另一项研究表明，不少于60%的欧洲人在网上寻找健康信息。5］．十分之六(60%)在网上找到健康相关信息的欧洲人认为这些信息来自值得信赖的来源，尽管尚不清楚他们认为哪些信息是值得信赖的。6］．

然而，考虑到互联网上以健康相关网站或科学文章的形式提供的健康相关信息的数量，用户往往被可用信息的数量压垮。最近，已开始努力根据在线健康网页所提供的信息质量自动标记[7，8］．这些研究仍然与某些健康领域和研究作者定义的质量标准有关。研究表明，在互联网上找到的健康信息质量参差不齐[9，10］．读者很难从不值得信赖的网站内容中辨别出值得信赖的内容。解决这一困境的一种方法是用容易看到的徽章或图标来注释那些愿意遵守内容质量的网站。这是网络健康(HON)基金会在HONcode认证中采取的方法[11］．HONcode是一种行为准则，包括8项程序原则(即权威、互补性、隐私、归属、理由、联系方式、财务披露和广告政策)，健康网站必须遵循这些原则才能获得认证[12］．这一进程的目标是建立一个可供公众使用的高质量卫生信息库[13，14］．HONcode可帮助网络用户判断是否可信任在互联网上找到的信息[15，16］．然而，由于获得HONcode认证要求网站管理员自愿提交HON审核请求，现有的HONcode认证范围仍然有限。

搜索引擎是最常用的来源。在一项调查中，77%的在线健康咨询寻求者的最后一次咨询是在谷歌、必应或雅虎等通用搜索引擎上开始的。17］．欧洲最近的一项研究表明，在网上搜索健康相关信息的人中，有82%到87%的人使用搜索引擎。6］．这些搜索引擎通常根据受欢迎程度而不是质量或可信度列出结果。因此，他们显示的前几个选项可能不是健康信息的最佳来源。人们在获得不适当的健康信息后会感到困惑和焦虑[18］．理想情况下，搜索引擎开发人员将修改搜索引擎，以促进最可靠和最有效的健康信息来源。在欧洲KHRESMOI项目(2010-2014，项目编号2575284)中，研究人员最近开发了自动评估给定网站遵守HONcode原则的情况的工具。补充作者和我们同事在开发算法方面的工作[19，20.]，本研究对30个健康网站的HONcode原则符合性自动检测与专家评估进行了比较评估。

方法

概述

在这项研究中，作者对选择的30个健康网站的HONcode原则的自动系统检测结果与由高级HONcode专家(例如，具有10年以上HONcode认证经验的专家)进行的标准手动HONcode过程中获得的结果进行了比较。资深HONcode专家具有医学背景;他/她负责培训新的HONcode审查员和处理复杂的认证案例。

HONcode认证流程

一旦网站申请了HONcode认证，专家就会浏览网站的页面，以确定该网站是否遵守了HONcode的每项原则[12］．

当在一个页面上找到原则证明(即，该网站符合给定的原则)，摘录和网址被添加到HONcode文件中并存储在数据库中。当一个原则没有得到完全或部分的尊重时，建议将被发送给网站编辑。手动HONcode认证描述在图1．

‎ 查看此图

遵守审稿人间协议

为了衡量专家评审员之间的一致程度，并估计专家给出错误评估的可能性，我们比较了3名高级评审员对总共36个网站所做的评估。每一项标准都由所有3名评审员打分。

自动识别系统的描述

HONcode原则合规性的自动检测由以下步骤组成，如图1：

1. 对于给定的健康相关网站，WebCrawler检索其可访问网页的最大集合。这是从网站主页开始，然后是内部链接。
2. 系统从给定网站中检索到的网页中提取“有意义的内容”。这些内容由页面内的文本信息组成。
3. 然后，自动系统检查从每个网页提取的内容是否符合每个HONcode原则。自动化系统体现了Williams和Calvo所描述的机器学习框架[21］．为每个HON标准建立单独的分类器。分类人员独立审查网页材料，因为当一份文件表明符合一项HONcode原则时，并不排除该文件符合其他HON原则(“任何”分类)的可能性[22］．HONcode自动检测的过程是这样设计的，以模仿当前的手动认证过程。然而，自动系统会系统地检查检索到的所有网站网页，而不像手动系统，一旦检测到符合标准就会停止。在HONcode认证期间收集的证明原则合规性的摘录形成了上述分类器的训练集。HONcode认证是多语言的;34%的认证网站为英语，28%为法语，10%为西班牙语，7%为德语。然而，这项研究仅限于英语语言。训练文件的数量从标准“可正当性”分类器的872份到“联系详情”分类器的2861份不等。通用分类器系统使用户能够通过各种参数设置从不同的机器学习算法中进行选择，如朴素贝叶斯、支持向量机(SVM)等[23］．该系统还允许选择不同的特征类型，如单词袋、词干袋、共现现象等。此外，该系统实现了用户可配置的各种特征选择算法(术语加权模式)。在这项研究中，作者对8个HONcode原则中的每一个都指定了朴素贝叶斯算法的使用。所实现的算法根据9个不同的标准检查页面内容，因为8个单独的HONcode原则(“归属”)中的1个被分为2个部分，“引用”和“日期”，在本研究中，基于先前验证的原因[19］．

为了指定文档字数到向量值的转换，作者使用了两种加权方案，即tfc和tfx，其中t，f，c,x分别表示文档频率、文档反频率、余弦归一化、无[24］．文档频率(t)表示给定术语在被分类的文档中出现的次数。逆文档频率(f)计算为f=log(N/D)，其中N是集合中文档的总数，D表示集合中包含给定术语的文档的数量。因此，对于在集合中数量较少的文档中发现的术语，会给予更高的重要性，假设在文档中发现的术语越多，它的重要性就越低。最后一个变量表示是否发生余弦归一化(c)还是没有(x)。这个参数对较短文档中的术语出现更重要。因此，tfc转换还根据文档长度(c)对分数进行了规范化。

自动系统检测结果与人工评估结果的比较

作者选择了30个医疗保健网站的方便样本进行比较评估(自动检测vs由高级HONcode专家手动评分)。然而，30个网站中只有27个可以被自动化系统处理，因此研究结果使用了27个网站的样本。便利性样本的选择广泛涵盖HONcode潜在和实际的地点，如下所示:

1. 新的可认证网站(n=9): HONcode专家估计这些网站符合HONcode，但尚未获得认证。
2. 可能无法认证的网站(n=9): HONcode专家估计，在充分分析后，这些网站不符合HONcode原则。
3. 新认证网站(n=4):最近首次认证的网站。
4. 先前认证的HONcode网站(n=5):选择这些网站是因为它们正在等待年度重新评估。

为了评估的目的，高级HONcode专家手动审查了所描述的27个网站。同时，HONcode自动检测系统根据每个评价标准对27个网站进行了审查[19］．然后将自动化系统获得的结果与专家获得的基线进行比较。图2给出了评价方法。

图3给出了一个符合“互补性”标准的示例页面。在本页上，专家在人工评估过程中寻找的信息用黄色标记。此外，自动系统识别为重要的术语根据其重要性级别用不同的颜色框起来(例如，红色=最重要，绿色=最不重要)。

‎ 查看此图

‎ 查看此图

结果

HONcode原则

表1给出了手动评估和自动化系统对每个HONcode原则的符合性评估之间的比较结果。当人工或自动分析都没有找到符合给定标准的理由时，它被认为是真正的否定。如果一个网站通过了手动和自动审查，满足特定的标准，它被认为是一个真正的积极。自动检测系统判定符合标准，但专家人工评价不一致的网站被认为是假阳性。自动系统未能检测到标准的网站，即使人工审查检测到了，也被认为是假阴性。

对于23个网站，自动化系统未能检测到标准与tfx的互补性，即使人工审查检测到了。在这种情况下，假阴性可以被解释为沉默，而假阳性则代表噪音。

表2给出了用精密度和查全率进行评价的结果。为了以这种形式呈现结果，作者假设在自动评估和人工评估之间的不同页面上发现的结果被视为阳性检测。

如Boyer和Dolamic所述[19]，本研究以整个特定网页为评价单位。尽管Boyer和Dolamic提出的结果表明自动化检测“日期”标准的精度很高，但本研究的比较使用自动化系统存在大量假阴性。为此，作者以每句话为评价单位进行了额外的评价。表3给出了评估标准“隐私”和“日期”的结果。表4给出了用精密度和查全率进行评价的结果。

HONcode审稿人协议级别的结果

3名HONcode高级评审员对36个网站的每项HONcode标准进行了评估。使用百分比协议和Fleiss ' kappa来评估评分者之间的协议的结果[25]所载的“诚信守则”原则表5．

讨论

主要研究结果

自动化系统在检测“合理性”标准时表现最差。手工专家评审表明，27个网站中只有6个符合这一标准。当使用tfc权重时，自动化系统仅对1个网站检测到该标准(例如，精度为0.42，在不同页面上进行4次检测)，并且对3个网站使用tfx(例如，精度仅为0.19)。此外，自动化系统返回了大量的假阳性:tfc和tfx分别为7和13。自动化系统在检测是否符合该标准方面表现不佳，原因可能是用于自动检测的训练自然语言处理算法的基准数据集对于该标准来说相当小(例如，只有872个文档可用)。在某些情况下，某些标准可能不适用于特定的网站。在这种情况下，网站符合HONcode，但标准证明将从集合中丢失。这代表了文档设置小的主要原因。

当自动系统在与专家标记的不同的网站页面上检测到标准满足时，额外的手动专家评审验证了系统这样做通常是正确的。例如，对于一个网站[26]人工评价检测到页面上的标准互补性[27]，而自动系统在另一个页面上检测到它。自动系统手动重新检查了检测到标准证明的页面，确认它也包含满足该标准的证明。即使自动化系统的概念是这样的，它试图执行尽可能接近人工评估，但主要的区别是存在的。在人工评估的情况下，一旦检测到标准(如互补性)，并不会检查网站的所有其他页面。相反，在自动化系统中，所有页面都在评估步骤之前被抓取。因此，覆盖范围可能更加重要。这也可以解释在专家指定的其他页面上检测标准的原因。

有一些特定的标准，比如“日期”，在这些标准中，自动化系统的性能会出乎意料地差。因此，本研究研究了另一种方法，以句子代替文件作为分类单位(表3)．当句子被用作分类单位时，系统自动检测标准“日期”的次数增加了。使用句子级别的隐私标准分析也出现了类似的改进。进一步的研究必须确定使用不同方法获得的这种增加是否具有统计学意义，并应永久地纳入自动检测算法。人工分析在自动隐私标准识别中发现了以前未知的技术问题。对于一个网站来说，除了被专家标记为正确的页面外，该网站99%的网页都被认为满足了这一特定标准。当使用文件作为分类单位时，就不会出现这种情况。另一个技术问题是，自动系统无法检测到仅使用数字(例如07/07/2012)显示信息的页面上的日期，而没有任何附带的解释性文本。这个问题的主要来源是系统标记化方法，它忽略了数字。然而，改变预处理并在标记化过程中保留数字将不利于该准则检测。 A number can represent not only a date but also other information, which could result in a number of false positives for this and for other criteria.

如在表1，自动化系统能够满足某些标准。手动和自动化方法之间的一致性提高到70%(例如，与tfc的联系细节)。这样的共识水平，接近72%的人类共识[28)，他支持自动化系统作为人工方法的替代品。然而，该系统在检测资金、互补性、日期和权威方面的HON原则满意度方面表现不佳。

该隐私标准对自动化系统和人类都很容易检测。在我们之前的研究中，隐私标准的自动检测精度超过92%，良好的召回率超过91% [19］．然而，在对该标准进行人工评估时，专家不仅要查找隐私声明，还要验证其实现(例如，cookie)。自动化系统只能依赖于隐私声明。

对于隐私标准，自动系统对tfc加权方案进行了15个正确的评分(24个网站符合这一标准)。其中14个是真正的阳性反应。它还在一个不同的页面上检测到标准满意度，而不是专家为一个网站指定的页面。有2个网站，自动系统错误地检测隐私为满意。对于9个网站，当人工专家检测隐私满意度时，自动化系统未能检测到。这种行为是意料之中的，因为我们的自动化系统经过调优，以减少可能产生的噪音(误报)。这里描述的结果加强了之前的隐私标准是自动化系统“容易”检测的推论。

将隐私标准的权重方案更改为tfx，可以获得表面上的性能增强。17个网站返回了正确的结果，没有错误的检测。这可能代表了研究结果的随机变化，也可能表明tfx方法可以更好地检测隐私标准的满意度。

手动评估审稿人同意级别

在表5， Fleiss的kappa值与同意百分比相比相当小。虽然。745的权威值和。756的参考值可以解释为基本一致，但与这些标准的百分比一致相比，它们仍然很小。对于互补准则，-的kappa值。113.在dicates disagreement in contrast to the percent agreement of 79.63% for this criterion. Two effects have been documented that might cause the misrepresentation of the interrater reliability by kappa [29］．当一个观测值比其他观测值被编码的频率更高时，就会出现流行性问题，导致kappa估计非常低，这就是我们研究中的互补标准的情况。考虑到这一标准的数据的特殊性，kappa将不是使用的正确统计量。kappa值为。463，标准合理性显示评分者之间的适度一致(一致率为74%)。这些结果表明，即使在专家人工评价的过程中，标准的可正当性仍然难以达成一致。这些结果表明，专家给出错误评估的概率相当低，特别是对于“简单”的标准，如联系方式。然而，对于更复杂的标准，如可辩解性标准，这种概率略高，这进一步证实了该标准的复杂性。因此，这个简单的研究确定了专家评审员之间的一致程度，表明自动系统的行为在某种程度上与人工评审员相似。

限制

在本次评估中，作者将自动HONcode符合性评估与高级HONcode专家进行的评估进行了比较。这样做会带来偏差。它假设专家从未不恰当地评估文件中是否存在HONcode原则满意度。尽管HONcode专家做出错误评估的可能性比其他评审员或其他自动化系统低，但我们认识到专家评估并不总是正确的，这可以从评分者之间的协议级别中体现出来。

结论

本研究分析了自动HONcode标准符合性检测系统的有效性。在HONcode认证方面，共有27个完成状态不同的网站被纳入评估。研究结果表明，对于一些HONcode标准，自动和手动评估之间的一致性相对较高。然而，对于其他标准，手工方法明显更好。研究结果表明，通过对每个特定HONcode标准的未来研究“调整”自动检测系统可能会提高系统检测单个标准满意度的能力。研究结果还表明，纠正自动化系统中的少量技术问题，例如在显示此信息的页面上未检测到日期准则的问题，也可能提高未来的系统性能。合并第三方库或系统，这些库或系统已经证明了它们检测和提取此类信息的能力[30.，31可能是解决这个问题的办法。这种方法是该系统未来发展的一部分。

KHRESMOI项目试图开发一个专门满足公众需求的健康搜索引擎。" KHRESMOI for Everyone " (K4E) [32是一个生物医学信息和文件的多语言、多模式搜索和访问系统。因为K4E是一个专门的健康信息搜索引擎，它有专门的工具来帮助用户从质量差的信息中辨别优质的健康信息。K4E提供了8个HONcode原则的自动检测，并将额外的可信度级别作为百分比集成到搜索结果中。它还确定了通过自动检测估计的网站目前不遵守的HONcode原则，以便读者了解网站可以信任或不可以信任的程度，以及涉及哪些HONcode原则。Pletneva等人详细描述了该接口[33］．根据欧洲Kconnect项目的研究结果，K4E可在未来进行进一步的研究和开发[34作为专门的高质量健康搜索引擎或Web服务，以定位可靠的健康信息，使读者能够直接访问这些信息，而不必费力地浏览多页可疑的材料。

这项研究的另一个潜在结果是自动化检测系统的进一步发展，以协助进行HONcode认证过程。目前的手动HONcode认证过程是耗时的。尽管人工和自动化系统之间的一致性水平略低于3位专家的水平(例如，70%对95%的联系方式)，作者估计HONcode自动检测系统可能提供第一次筛查;因此，有助于认证过程。总而言之，在互联网上识别高质量、值得信赖的卫生信息的未来将取决于具有微调标准匹配能力的先进搜索引擎的发展，这些搜索引擎可以引导用户找到可靠的卫生信息网站。