互联网在医学领域的潜在应用引发了人们早期的热情之后[ 1， 2， 3.]，与更多的学术媒体相比，互联网上可用资源的质量引起了人们的关注。从技术上讲，在互联网上发表是非常容易的。 4］．由于缺乏对网上文件的审查程序，而这种媒体在传播数据方面的力量有误导外行的风险[ 5， 6， 7]及医护专业人员[ 8］．然而，只有少数研究试图衡量这种错误信息的风险[ 9， 10， 11］．目前还不清楚用户区分低质量和高质量资源的能力。

提出了一些措施，可以在不同的层次上应用，以提高医疗网站的平均质量。例如，我们可以应用一些基本的方法来正确地设计网站。从这个意义上说，一些学术组织提出了一套每个医疗网站都应该提供的基本信息，包括网站内容的作者和来源、潜在的利益和资金冲突，以及信息的流通情况[ 12］．但许多现有的医疗网站都是在没有任何第三方质量控制的情况下创建的。互联网医疗保健访问者如何区分这些不同的资源?

互联网用户可以通过几种方式找到健康和医疗相关的网站。万维网搜索引擎(如AltaVista、Excite、Infoseek和许多其他搜索引擎)为用户提供与给定主题相匹配的网站列表，结果按与查询的语法相似性排序[ 13］．不幸的是，内容的质量无法保证。

另一方面，某些网站的索引和评论服务，如Medical Matrix ( http://www.medmatrix.org/)及HealthAtoZ ( http://www.HealthAtoZ.com/)，在网上提供系统的医疗资源评估[ 14]，作为发表后的编辑过程。这些评级系统可以成为指导医疗网站访问者的有用工具[ 12］．然而，回顾这些互联网资源的作者指出，其评估标准的可变性和其可疑的有效性[ 14］．

互联网上某篇医学文章的质量可以通过用户对该文章的看法来衡量，例如通过计算该文章被检索的次数来衡量[ 15］．然而，这一想法受到了批评，因为它将用互联网用户的意见取代科学的同行评审过程，无论他们的资格如何。 6］．

尽管印刷的医疗信息和互联网之间存在差异，但如果应用在“网络”上，前者的一些评估工具可能是有用的。与印刷的医学期刊类似，互联网上的医学文献可以根据引文分析进行排名[ 15， 16]，但没有任何方法被证明可用于医疗网站。当一篇文章在一篇论文中被引用时，作者之间可能会有某种共识。类似地，当一个网站管理员将他的网站链接到另一个网站时，后者就会获得一定的可信度。事实上，国际医学期刊编辑委员会建议，当从同行评议的期刊网站链接到其他网站时要谨慎[ 17］．如果网络上的链接可以等效于印刷医学文章中的引用，那么网络上的引用分析可以通过量化到给定医学网站的链接来执行。

评估医疗网站质量的理想方法应该提供一种对大量医疗网络资源进行评级的方法，同时尊重万维网的特性，如多媒体功能和不断变化的内容。与此同时，它至少应该与编委会对这些资源的系统审查一样可靠。总之，它应该是一种诞生于互联网的方法，但具有印刷媒体中使用的那些方法的功效。

在本研究中，我们评估了四个网站特征作为医疗网站质量指标的可靠性。使用的四个特征:他们的作者的影响因子，他们的更新等级，他们的每日访问量和入站链接。一些互联网评级系统对儿科网站样本的评估是比较这些网站特征的金标准。

在1998年3月，网站评级系统的一个子集被编制。从这些网站中，我们选择了1998年4月第一周研究的网站样本。

8个网络评级系统，其评估以数字形式提供，从以前的研究中汇编[ 13， 14) ( 表1)．在选定的评价系统中，有一半采用图形模拟比例尺给出评价结果，另一半采用数字比例尺给出评价结果。每一个通过这些评级系统评估的提供儿童健康信息的网站，无论是为外行还是卫生专业人员，都被包括在这项研究中。有些评级系统(如Lycos前5%)通过关键字为访问者提供搜索工具。在这些案例中，网站的关键词是“儿科”、“婴儿期”、“儿童健康”和“儿童护理”。对于其余的评级系统，儿科网站是手动编译的。那些在研究期间不能访问两次的网站被排除在外。

只有三个评级系统(医疗矩阵、医生选择和六感)提供了编委会的信息。他们的大多数成员都是医生。其中两个网站评级系统只给出了其网站评估的全球结果(医疗矩阵和麦哲伦)，而其余的(HealthAtoZ, Argus Clearinghouse, Lycos Top 5%， Sympatico Health，医生选择和六感)给出了每个考虑标准的结果。内容是所有8个排名系统的共同标准。因此，每个网站的评估结果分为两类，内容和非内容(设计)方面。为了便于比较，我们将各个评分系统提供的网站评价结果转换为百分制。

提供后，网站访问计数器记录的每日访问次数。在一些网站上，计数器开始的日期是不可用的。因此，通过电子邮件要求他们的网站管理员提供这些信息，如果在观察期结束前(1998年4月15日)提供，这些信息将被纳入统计研究。

1997年检索网站作者及编辑姓名MEDLINE [ 18]，他们的物品均已登记。他们发表的期刊的影响因子是通过1996年科学引文索引(科学信息研究所，费城，宾夕法尼亚州)获得的。一个特定网站作者的影响因子是他或她的文章的影响因子的总和。对于机构网站，只考虑网络编辑的名字。

提供后，还记录自上次更新以来的时间。

最后，通过网络搜索引擎Infoseek [ 19]，我们计算了互联网上有多少网站链接到我们样本的每个网站。该引擎的语法搜索策略允许知道链接到给定网站的网站[ 20.］．由于一个网站不仅可以从外部网站链接，也可以从其自身组织的网站链接，因此我们只考虑外部链接。尽管其他搜索引擎如AltaVista、Excite或HotBot也提供类似的搜索选项，但我们选择Infoseek是因为它提供了按网站分组的查询结果，这使得排除内部链接更加容易。

均数比较采用Mann-Whitney U检验，相关分析采用Spearman相关系数( r_年代 )．P值等于或小于0.05为显著性。所有计算均采用SPSS for Windows 7.0 (SPSS Inc.， Chicago, IL)统计包进行。

剔除93个不可访问网站后，共编制儿科网站363个。

平均而言，我们样本的网站收到了来自互联网上470个其他网站的链接(范围，0到3574)。48%的网站提供了他们最近一次更新的信息。平均而言，他们在47.5周之前更新过(范围从0到395)。只有10%的网站有访问计数器，平均每天访问470次(1.2 - 3145)。七个访问柜台没有区分不同的访问者，也就是说，他们登记了对他们网站的任何访问。137个网站(38%)给出了编辑/作者的姓名，但其中只有60个网站自1997年1月以来在MEDLINE数据库收录的期刊上至少发表了一篇文章。他们的平均影响因子为2.14。

样本中只有25个网站被至少两个评级系统编入索引并进行评估，没有一个被八个评级系统编入索引并进行评估。这部分网站在HealthAtoZ对其内容和设计的评估中表现出明显更好的结果，更新级别也更高( 图1)和更高数目的入站连接( 图2)．当比较不同评级系统对这25个网站的评价时，没有发现显著的相关性。关于网站作者的平均影响因子或每日访问数量的变化无法在这个网站子集中得到证明。

网站的评估结果和其他研究变量之间存在一些有趣的相关性。网站收到的连结数目与他们的每日浏览次数及自上次更新以来的时间有显著相关( 表2)．入站链接数量也与HealthAtoZ网站评估结果相关( 表3)．

每日访问次数与Medical Matrix网站评价结果显著相关，更新等级与HealthAtoZ网站内容和设计评价结果显著相关( 表3)．

最后，网站作者的平均影响因子与其他变量之间没有相关性。

样本中排名前50的儿科网站显示在 表4，根据Infoseek索引引擎的入站链接数量进行排序。被至少两个评级系统编入索引的25个网站中，超过一半的网站可以在这前50个网站中找到。

在这项研究中，某些依赖于用户偏好的网站特征与第三方对网上儿科资源的评估进行了比较。尽管评级系统以前曾受到批评，因为它们的编委会经常没有采用统一的标准[ 13]，我们认为它们是标准方法，因为它在某种程度上代表了发表后的审查过程。

我们方法的某些方面是可以讨论的。首先，关于每日访问量和更新频率的数据的可靠性取决于网站编辑在其网站上提供的信息的准确性。从这个意义上说，我们考虑了网站更新的级别，以它们最后一次更改的日期为准。显然，这些变化可能涉及非常不同的方面和不同的等级，不一定提供更多的最新内容。然而，我们相信这可以证明编辑在维持或增加访客对网站的兴趣方面所做的努力。

在比较两个网站时，必须谨慎考虑有关网站每日访问次数的结果，因为一些访问计数器被设置为记录每次访问，而不是每个不同的访问者。然而，两者都可以被认为是一个给定网站的使用索引。

另一方面，网站链接的量化显然取决于我们使用的搜索引擎的能力。我们的研究结果并没有显示 总计样本中指向网站的链接数。事实上，之前的一篇文章指出，有必要将来自至少五个大型搜索引擎的数据库结合起来，以覆盖大部分网络[ 21］．

虽然所有文献计量指标都有局限性[ 22， 23]，我们采用影响因子作为衡量网站管理员发表能力的指标，因为它是衡量生物医学文章质量的一个经典指标。最近，有人建议，每个医疗网站都应根据一些基本标准进行评估[ 24］．一个比较被接受的标准是，作者必须明确说明，作为评估网站内容可靠性的基本手段。然而，我们无法证明，评价越高、更新最多、链接或访问最多的儿科网站，其作者以其影响因子衡量的发表能力最高。换句话说，一些网络质量标准与印刷媒体的经典质量标准(如特定作者文章的影响因子)并不相关。

我们无法发现不同评级系统对网站的评价之间的静态显著相关性。这可能是由于所有系统索引和评估的网站子集规模较小，以及它们不同的评估标准。然而，当我们考虑四个网站特征与评价之间的相关性时，我们发现了一些有趣的数据。我们发现，HealthAtoZ(最大的分析评级系统)的最佳网站是更新最多、链接最多的网站。另一方面，对于规模排名第二的医疗矩阵(Medical Matrix)来说，最有价值的网站是访问量最大的网站。在任何情况下，每天的访问量和自上次更新以来的时间都与入站链接的数量高度相关。这四个变量与其他评级系统的评估之间缺乏相关性，可能是由于它们对我们的样本的贡献很小。

由于互联网作为一种出版媒介的动态行为，许多建立质量标准的努力效果有限。事实上，最近的一篇文章表明，在评估和评级系统的大量样本中，编委会对他们所采用的评估标准缺乏共识。这些作者还指出“……开发一个静态工具或系统来评估健康相关网站可能很困难，甚至是不合适的。”［ 25因此，这个问题可以提供这个问题的背景。也就是说，要知道一个特定的医疗网站与其他医疗网站相比有多好。实现这一目标的一个民主可行的方法是，让互联网社区说出哪些医疗网站是最好的，也就是说，他们通常访问哪些网站，或者他们通常通过链接推荐哪些网站。此外，我们认为这些使用指数与第三方的评估相关联的事实，使它们有资格成为质量标记。

Eysenbach和Diepgen [ 16]最近提出，理想的互联网医疗资源质量控制体系应该考虑用户的意见，而不仅仅是第三方的评价，即“下游过滤”而不仅仅是“上游过滤”的方法。更有趣的是，我们的研究表明，这两种方法在识别高质量资源方面具有一定的一致性。

LaPorte等[ 15)提出了一个电子出版系统，在这个系统中，给定资源在互联网上的影响可以通过计算该文件被检索或引用的次数来衡量。最近有人提出将网络医疗资源的引文分析作为评价其质量的一种方法[ 16］．另一方面，克莱因伯格正在开发一种非常有前途的软件系统。 26， 27］．该系统将为用户提供一种方法，以一种比商业人工编译目录更快、更完整的方式了解关于给定主题的最佳web。这个系统是基于在查询某一特定主题时识别出两个网站子集，这些网站包含大量关于该主题的信息( 权威的网站)及包含大量与前者连结的网页( 中心网站)．我们的工作表明，那些权威网站，即链接较多的网站，确实是一些大型网络评级系统的编委会对其内容和设计的评估最好的网站。

生物医学期刊的引文分析一直是评估其相对质量的经典工具[ 28］．同样，医疗网络资源也可以通过“网站引用索引”进行排名[ 16]，目前尚未定义。万维网上的链接可能相当于印刷出版物中的引用，其量化可能有助于衡量医疗网站的相对质量。可以创建一些索引，在不同规模的网站之间进行更合理的比较。例如，在计算某一医学杂志的影响因子时考虑该杂志每年发表的文章数量，同样，可以考虑某一特定领域的大小，以获得一些能够更准确地表达某一医学网站链接等级的指标。此外，互联网内容选择平台[ 29]，这个基础设施可作为网上医疗资讯的过滤系统[ 16]，可将这些索引作为元数据之一，以电子标签的形式分配给每一份医疗文件。然后，这些电子标签可以由用户的浏览器自动检查，绕过那些“网站引用索引”不够高的文档。一个问题可能是如何避免不诚实的网站管理员虚假的“自我标签”。在任何情况下，需要做更多的工作来回答这些和其他关于新兴领域的技术问题 计量学［ 30.］．

以这种量化为基础的评价体系既有好处，也有风险。因为互联网社区本身就会对大量的医疗网站进行评估，所以排名可以以一种客观的方式快速生成。但是，这一评价过程将会进行 后验，无法避免文件质量不够的传播所带来的潜在有害影响。因此，这种方法不能取代以前保证每个资源最低质量的编辑工作。

我们的研究表明，儿科网站的访问者和“网上”网站的编辑，即所谓的网站管理员，在识别优质儿科资源时表现出了一定的成熟度。我们认为，关键是如何增加这些资源的比重。一个重要的问题可能是，不仅要为同行评议的电子期刊文章建立一种引用风格[ 31]，也适用于网上的任何医疗文件。印刷版期刊的引文所代表的声望将刺激互联网上的高质量出版，网站编辑将采用足够的审查程序来获得必要的质量。一个基于引文分析的网站排名系统，通过量化的链接将是一个额外的激励。更有价值的资源将吸引互联网用户的访问和站长的链接，并很可能获得最好的资金和财政支持。

总而言之，虽然因特网提供了一种非常不同的出版媒介，但借用印刷期刊的传统手段也可以用于这种电子媒介，以达到最低水平的质量。这包括某些同行评审过程，在考虑到这种媒体的特性的情况下，提高提交发表的文件的严谨性，以及将链接分析作为万维网上引用的衡量标准。