利用互联网搜索引擎获取医疗信息的比较研究

介绍

互联网正成为大众获取医疗卫生信息的最重要来源之一[1］．皮尤互联网与美国生活项目报告[2大约80%的互联网用户通过互联网查找医疗或健康相关信息。调查发现，在互联网上搜索最多的健康和医疗主题是特定疾病或医疗问题、某些医疗方法、饮食、营养和维生素，以及运动或健身[2]，以及处方药物[3.］．为了帮助公众获得准确和有用的医疗信息，美国国家医学图书馆开发了一个官方网站(MedlinePlus;www.nlm.nih.gov/medlineplus/)向消费者提供当前健康和医学方面的全文出版物[4］．来自大学、医院和研究机构的志愿者在维基百科(www.wikipedia.org)的健康部分总结了他们的工作。编者已邀请医学界编辑和更新维基百科的内容，以提供可靠和可理解的健康信息[5］．有人建议，这样一个基于万维网的支持系统将成为未来医学的重要专业工具[6］．研究人员还探讨了利用在线医疗信息作为诊断辅助的可行性[7］．一家在线患者招募公司研究了患者对临床试验信息的搜索查询和问题，以改善临床试验招募过程[8］．因此，互联网已经成为公众、患者和医疗保健专业人员获取健康、疾病和医疗信息不可或缺的来源。

为改善查册方法，我们进行了多项研究，以协助使用者取得准确和有用的资料[9］．一些研究通过分析互联网搜索的目的来改善搜索结果或效率[10］．特别是研究人员对用户的信息需求进行了分类和分析，以改进搜索引擎[11］．与药物相关的信息搜索不同于其他信息搜索，因为用户经常使用医学术语、疾病知识、治疗方案等。因此，一些研究针对健康信息寻求者的特征和动机以及在线医疗信息的使用[12，13］．早在1997年，Bonati的团队就研究了来自两大搜索引擎Yahoo!和激发。他们发现，由于大多数用于公共卫生信息的搜索引擎缺乏成熟的技术，只有少数网站提供了所需要的全面和准确的信息[14］．1999年，研究人员比较了AltaVista、Excite、Hotbot、Infoseek和Lycos这五个搜索引擎搜索结果的准确性和可靠性[15］．一项类似的研究比较了两大搜索引擎Alltheweb和Excite [16］．他们的结果表明，使用通用搜索引擎搜索医疗保健信息，以及使用专业医疗和健康网站的人数急剧增加。另一个研究领域是医疗保健信息搜索中的用户体验[17］．2005年，Forrester Research, Inc.进行了一项网络调查，通过评估AOL、谷歌、MSN和雅虎来评估搜索引擎。根据用户体验中的11个参数[18］．然而，如果没有医疗专业人员的参与，仅凭这些分数很难对搜索引擎进行全面的评估。

虽然有几个主要的搜索引擎可用，但大多数用户限制他们的互联网搜索引擎。这种搜索习惯在搜索医疗信息时提出了几个问题。一个搜索引擎能提供可靠的医疗信息吗?当使用多个搜索引擎时，来自不同引擎的搜索结果是否相似?为相同的查询搜索多个搜索引擎是否会增加价值?有哪个搜索引擎明显优于其他搜索引擎吗?随着互联网搜索引擎的市场份额不断变化，这些问题变得更加相关。comScore是一家衡量数字世界的全球性公司，也是数字营销情报的首选来源。该公司的一份报告显示，2009年9月，市场上排名前五的搜索引擎是谷歌、Yahoo!、Microsoft Sites、Ask Network和AOL LLC [19］．根据comScore的数据，谷歌占据了美国互联网搜索市场约三分之二的份额，而且这一份额还在增加。那么一个自然的问题是，谷歌是否足够用于医疗信息搜索，而不需要检查其他搜索引擎。

在互联网上所有的医学搜索查询中，癌症相关的信息是最受欢迎的话题之一。尤其是乳腺癌，作为美国女性中最常见的癌症，也是导致癌症死亡的第二大原因，引起了公众的广泛关注，尤其是在互联网上[20.］．在之前的研究中[21]，我们招募了一些互联网用户和一名医疗专业人士，让他们对谷歌搜索产生的网页内容进行评分，以从软件工程的角度定量地反映他们的用户体验。这项初步研究表明，可用性测试对于评估获取医疗信息的互联网搜索非常有用。谷歌在医学信息搜索中的特异性通常是令人满意的。然而，这项研究只针对了一个搜索引擎谷歌。当前的研究通过添加Yahoo!，必应，而且Ask.com，which allowed us to conduct a comparative study. Among the four search engines, Bing is a new one built in 2009 by Microsoft. We still chose乳腺癌医学-临床术语系统命名法(SNOMED CT) [22，23]作为我们验证过程中的标准参考。我们使用Java Vector数据结构读取并记录搜索结果列表中网页的排名、网站名称和URL。

方法

设计

我们使用以下协议进行我们的研究。首先,搜索乳腺癌在谷歌，雅虎!，必应，而且Ask.com而且save the top 200 websites shown in each search, including website name, URL, and ranking of each result in every group. Second, apply the Google PageRank tool to check and record the Google PageRank for each search result in every group. Third, compare website links to check overlapping of search results from the same search engine and between the different search engines. Fourth, define standards of the most helpful and commonly used websites for breast cancer by a breast cancer research expert, and have eight volunteers study the standard websites so that they would know what kinds of websites are informative. Fifth, ask the eight volunteers to score each of the combined, nonredundant websites in alphabetical order, scoring from 0 (a useless website) to 10 (the most helpful website). We would then collect the data from volunteers and rerank the websites from high to low in every group (corresponding to each search engine). Sixth, classify each search result according to its webpage content, with four types of content defined. Seventh, use Java.net to retrieve the text of all nonredundant websites, and use the subpages to study the pattern of usage of the keyword乳腺癌及其相关SNOMED CT术语。第八，分析数据，比较谷歌，Yahoo!， Bing和Ask.com来获取医疗和健康信息。

搜集查册结果

2009年10月27日，我们使用了四个搜索引擎——google, Yahoo!、必应和ask.com搜索乳腺癌使用默认搜索参数。Java应用程序编程接口，名为JExcelApi [24]用于自动将相关数据记录到Excel (Microsoft Corporation, Redmond, WA, USA)文件中。我们使用英文的Windows 7 Professional Service Pack 1(微软公司)操作系统获得搜索结果。所有的搜索和评估都是在位于美国密苏里州哥伦比亚的机器上进行的。

我们在以下四组中总共获得了798个搜索结果。谷歌(www.google.com)的搜索结果为4080万条，响应时间为0.13秒。我们从这些结果中选择了排名前200位的网站来组成本研究中的谷歌样本组。雅虎(www.search.yahoo.com)获得了26200万条搜索结果。我们从这些结果中选择了前200个网站作为Yahoo!样本组。Bing (www.bing.com)获得了7450万条搜索结果。我们从这些结果中选择了前200个网站作为必应的样本组。Ask.com (www.ask.com)的搜索结果为908万条。 We chose all 198 websites available to users for the Ask.com sample group. Ask.com is a metasearch engine, which aggregates and selects the results from several other search engines into a single list.

然后我们将非冗余链接结合起来，并按照字母顺序提供给志愿用户，如图1所示。冗余是指具有相同URL地址的网站。有时，不同的url甚至域名具有相同或相似的内容。然而，这种情况相对较少，手动标记它们非常耗时。因此，我们在本研究中没有考虑这个问题。我们使用字母顺序来避免排名顺序的偏差，因为志愿者可能会无意识地跟随搜索引擎对搜索结果的排名。使用非冗余链接减少了志愿者的工作量，从798个搜索结果减少到592个网页链接。同时，为了方便用户，如果样本搜索结果具有相同的域名，我们还将它们分组在一起。

‎ 查看此图

PageRank搜索结果的值

谷歌搜索引擎在互联网搜索中地位突出，市场份额较大。PageRank算法是谷歌的核心技术之一。PageRank是一个用来评估网站重要性的参数，取值范围为0 ~ 10 [25］．许多用于研究或商业的软件工具使用谷歌PageRank技术。我们使用PageRank检查工具[26]及谷歌网页排名检查器[27]，计算并记录每个组中每个搜索结果的谷歌PageRank值。

评分标准

志愿者根据每个网站对乳腺癌的有用性从0到10进行评估，其中10表示最有帮助的网站。医生兼乳腺癌研究人员迈克尔·王(Michael Wang)博士为志愿者定位，定义了向公众提供有关乳腺癌最有用信息的黄金标准网站。这些网站通常有关于乳腺癌的所有基本信息，比如了解乳腺癌、症状和诊断。从这些网站上，公众可以方便快捷地获取他们所需要的信息。他确定了6个金标准网站:标准1，来自美国国家癌症研究所;标准2号，来自美国癌症协会;标准3号，来自梅奥诊所;标准4号，来自MedicineNet;标准5，维基百科;标准的第6号，来自苏珊·g·科曼的治愈。

志愿者对网站的评估

我们向8名非医生志愿者提供了一份非冗余搜索结果列表。每位志愿者都有至少5年的互联网使用经验。志愿者们首先研究了6个标准网站，这样他们就知道他们可以从高质量的网站中期待什么，并由专家进行了注释。然而，如果他们认为这些网站没有帮助，他们不必给这些网站打高分。然后他们单独阅读样本网站，并根据标准和自己的经验对它们进行评分。本研究的8名志愿者来自密苏里-哥伦比亚大学:志愿者1是一名30岁的女性博士生，具有生物化学背景;2号志愿者是一名36岁的男性副教授，拥有计算机科学博士学位;3号志愿者是一名31岁的男性计算机科学博士生;4号志愿者是一名29岁的男性计算机科学博士生;志愿者5是一名23岁的女生物化学专业本科生; volunteer 6 was a 27-year-old male graduate student in chemistry; volunteer 7 was a 25-year-old male graduate student in economics; and volunteer 8 was a 22-year-old female undergraduate student in biological science.

这些志愿者经常上网，但没有任何医学背景。选择和邀请测试用户的方法不同于常规走廊测试中随机选择志愿者的方式[28］．典型的走廊测试将每个志愿者的工作量限制在10分钟内，问卷不超过50个问题。在这项研究中，每位志愿者评估了592个样本网站。每个志愿者平均要花10个小时浏览和评分。考虑到繁重的工作量，我们确保每个志愿者都致力于参与研究。在研究过程中，我们建议每位志愿者在有时间的时候进行研究，但要尽快完成评估，以减少一些网络链接过期带来的负面影响。我们花了3到17天的时间来评估所有搜索结果的网页。由于许多搜索结果包含医学术语和相关知识，我们只选择了受过高等教育的志愿者，以便他们能够理解内容。志愿者使用互联网的经验，确保他们能顺利进行研究[29］．根据早期的建议，用户的年龄和性别各不相同[30.，31］．总的来说，考虑到志愿者的可用性，我们尝试了一项具有代表性的研究。

搜索结果的分类

我们通过对他们的网页内容进行分类来研究搜索结果，因为不同类别的内容可能会对用户的分数产生影响。我们手动将798个搜索结果分为以下四种类型:第一类，针对普通人群的乳腺癌基础知识网站，如新闻网站、网络论坛、个人网站和博客;第二类，面向乳腺癌患者及其家属的非营利性组织网站，包括乳腺癌学会、基金会网站;第三类，面向消费者的企业网站，包括药品、器械、产品等广告网站;第4类，针对乳腺癌专业人士和研究人员的网站，如大学、研究机构、医院和政府的网站。

基于所选关键字的排名

我们根据所选关键字的出现情况提供了参考排名。我们使用Java.net从所有网站自动获取文本内容。一个网站中的所有文本在搜索结果中形成了主页文本语料库。本网站的所有子页面与语料库A相结合，形成了主、子页面文本语料库。基于SNOMED CT对乳腺癌的描述，我们又选择了四个关键词:恶性肿瘤，肿瘤，肉瘤,癌．我们根据这些关键词在文本语料库中的出现频率对每组网站进行了重新排名，按照以下规则:(1)关键词类型最多的网站排名靠前，(2)如果1是不确定的，则出现次数较多的网站排名靠前乳腺癌(3)如果2是不确定的，则其他三个关键字命中次数较多的关键词在上面;(4)如果3是不确定的，则原始搜索结果列表中排名较高的关键词在上面。

结果

查册结果的有效性

搜索有效性定义为用户能否成功打开搜索结果的URL。我们的分析表明，四种搜索引擎的搜索结果的效度存在显著差异。谷歌搜索结果的有效性为100%(200/200)，而Yahoo!有效性为92.5%(185/200)，有15个无效结果(网站21、53、75、85、118、119、120、126、129、140、147、149、162、171和176多媒体附件1，表1)， Bing的效度为98.5%(197/200)，有三个无效结果(74、148和149)，Ask.com的效度为98.9%(196/198)，有两个无效结果(12和83)。这表明谷歌可能比其他搜索引擎更频繁地更新其搜索结果数据库。我们没有使用无效网站的缓存页面进行任何进一步的研究。缓存的页面通常是不完整的，用户经常忽略它们。因此，它们不适合用于可用性研究。

PageRank搜索结果的值

图2a显示了四个组中搜索结果的PageRank分布。虽然Ask.com网站的PageRank值比其他三个网站更倾向于更高，但这四组网站的分布是相似的。Ask.com作为一个元搜索引擎，通过考虑类似PageRank的因素来选择来自其他搜索引擎的结果。由于许多互联网搜索用户只看前10或前20个搜索结果，我们也比较了使用前20个搜索结果的搜索引擎。图2b.显示特征与前200名几乎相同。

‎ 查看此图

六个标准网站排名

对于六个标准网站，四个搜索引擎搜索结果包含了其中五个网站的确切url。另一个(标准的第2号，http://www.cancer.org/docroot/home/index.asp)被两个搜索引擎(Bing和Ask.com)识别，其子页面(http://www.cancer.org/docroot/cri/cri_2x.asp?sitearea=lrn&dt=5)出现在谷歌和Yahoo!谷歌排名第16，雅虎!分别是第一名。算上这个子页面，所有6个标准网站都出现在每个搜索引擎结果的前30位，除了一个(Bing排名第33的标准第3位)表1所示。

搜索结果重叠

我们发现798个搜索结果中只有397个(49.8%)是非冗余的，401个结果有重复的URL。此外，798个样本结果中有466个(58.4%)存在冗余域名。作为表2显示，在每个组中，谷歌搜索结果没有多余的url，但200个网站中有18个(9%)的域名与同一组中的其他搜索结果冗余。这比其他三个集团要少得多。，Ask.com,必应had domain redundancy of 12% (24/200), 16% (31/198), and 16% (32/200), respectively. Too much redundancy may lead to poor user experience. Thus, it is an important factor in user experience evaluation.

在表2例如，谷歌和Yahoo!使用相同的url共享61个结果，使用相同的域名共享75个结果。

搜索结果的分类分布

图3而且图4显示四种搜索引擎在内容类型方面的搜索结果分布存在差异。回顾一下，这四种类型的网站是(1)针对普通人群的基础知识网站，(2)非营利组织网站，(3)公司网站，(4)专业人士和研究人员网站。总体而言，大多数结果属于第1类、第2类和第4类，比例都在30%左右。1-4型的分布分别为29.7%(237/798)、29.2%(233/798)、12%(93/798)和29.4%(235/798)。谷歌主要覆盖类型1和类型2，分别占所有谷歌搜索结果的33%(66/200)和34%(67/200)。雅虎类型1的比例过高(33%(66/200)。搜索结果)。必应强调类型1和类型4(分别占所有必应搜索结果的35%(70/200)和37%(73/200)。Ask.com主要关注类型2(占Ask.com所有搜索结果的40%(79/198)。

‎ 查看此图

‎ 查看此图

四种网页类型的PageRank值

图5PageRank值在不同类型网站中的分布。4种类型的平均PageRank值分别为:类型1为4.48，类型2为4.72，类型3为4.03，类型4为5.14。可以理解，类型4的PageRank值最高，因为这些网站包含乳腺癌专业人员和研究人员的权威内容。因为第一类网站中有更多的个人网站(而不是机构网站)，这些网站的受欢迎程度往往较低，因此第一类网站的PageRank值总体较低。由于第三类(企业网站)主要与广告相关，用户可能倾向于避免这些网站，因此它们的PageRank值总体上也较低。许多具有高PageRank值的2型(非营利)网站属于同一组-例如，美国慈善网站CharityUSA.com。

‎ 查看此图

志愿者对标准网站的评分

虽然志愿者们拿到的是标准网站，但他们不必给这些网站打10分。虽然有些网站得分很高(例如，志愿者给标准5的平均分数为9.88)，但有趣的是，志愿者经常给一些网站相对较低的分数，例如表3所示。特别是第2号标准(http://www.cancer.org/docroot/home/index.asp)的平均分只有6.50分;该网站是唯一一个没有被所有4个搜索引擎识别的网站。这显示了志愿者的尽职尽责。

来自不同搜索引擎的搜索结果

图6A为每个搜索组的得分分布。在谷歌和Bing上的分布模式相似，在Yahoo!和Ask.com。必应的平均得分最高，为5.70分，7到10分的得分更高。、谷歌和Ask.com的平均得分分别为5.07、4.78和4.10。图6B为各搜索组搜索结果排名前20的得分分布。Bing的平均得分最高，为7.14分，谷歌、Ask.com和Yahoo!平均得分分别为6.85、6.36和5.77。

图7显示窗口大小为20的平均分数和排名。表4提供一些额外的评估。曲线的总体趋势图7不出所料——也就是说，排名越高，志愿者的分数就越高。从得分与搜索引擎排名的相关性来看，排名第一的搜索引擎是Ask.com，其次是谷歌、必应、雅虎。这种比较中的一个小问题是，每个搜索引擎都有一些冗余的搜索结果或域名。由于冗余度不是很高，我们在不同搜索引擎之间的比较中忽略了这个问题。

‎ 查看此图

‎ 查看此图

不同用户评价的差异

志愿者有不同的用户体验和不同的网页评分方案。图8绘制每位志愿者在四种网站类型上的平均得分。志愿者1、志愿者2、志愿者3、志愿者4、志愿者6有相似的倾向，志愿者5、志愿者7、志愿者8有相似的倾向。有趣的是，后三名志愿者是最年轻的，尽管样本量太小，无法得出年龄影响的结论。

‎ 查看此图

搜索结果中的关键字频率

表5显示在网页中的出现情况乳腺癌以及SNOMED CT定义的其他四个相关关键字(恶性肿瘤，肿瘤，肉瘤,癌)．关键字的命中数乳腺癌比其他四个都大得多。关键字乳腺癌主页文本语料库的91.71%(22,301/24,317)，主页和子页文本语料库的88.53%(261,067/294,875)。癌在主页面文本语料库中出现率为6.08%(1479/ 24317)，在主页面和子页面文本语料库中出现率为6.87%(20251 / 294875)。

图9显示每个搜索组的平均分数与基于关键字的重新排名(如小节“基于所选关键字的排名”所述)，间隔为20个搜索结果(排名前1-20，排名21-40，排名41-60等)。关键词排名越低，平均得分也越低，说明得分反映了关键词的准确反映。

‎ 查看此图

讨论

在本研究中，我们使用不同的评估标准对四种主要的医疗信息搜索引擎进行了比较和评估。任何两种搜索引擎的搜索结果都有显著不同。雅虎拥有最低的表现分数，这与它在市场上的第二名不相对应。这种差异的一个可能的解释是雅虎!很长一段时间以来，它一直是一个主要的搜索引擎，它的其他功能带来了一些良好的用户体验。Ask.com没有谷歌和Bing好。虽然Ask.com的分数与搜索引擎排名之间的相关性高于谷歌或必应，但志愿者对其排名靠前的搜索结果的评分较低，这表明Ask.com的搜索结果不太有用，因为大多数用户只浏览排名靠前的10到20个搜索结果。谷歌和Bing各有优点。谷歌搜索结果具有较高的有效性和较少的冗余。 On the other hand, volunteers regarded the top hits of Bing as being more useful.

通过研究四种类型网页的分布，我们发现搜索引擎对不同类别的搜索结果有不同的优先级，如图图3而且图4．统计结果显示，谷歌和Yahoo!搜索引擎多样化，内容均衡，广告内容相对较少。相比之下，必应的搜索结果不平衡，为普通人群和专业人士提供了更多的乳腺癌知识，但为消费者提供的非营利组织网站和企业网站较少。必应的搜索结果中包含的广告比谷歌和雅虎还要多。Ask.com的搜索结果也不平衡，主要是针对乳腺癌患者及其家属的非营利组织网站。Ask.com的搜索结果广告过多，对广告信息的控制能力是四个引擎中最差的，这可能与元搜索引擎的特性有关[32］．

志愿者对科普和个人网站的评分最高，平均为5.94分;公益组织网站平均得分次之，为5.21分;排名第三的是高校、科研院所、医院和政府网站，平均得分为4.25分。志愿者给企业网站和广告网站的评分最低，平均只有3.80分。通过对志愿者的采访和交流，我们发现他们有各种各样的网络搜索习惯。在大多数情况下，用户可能会浏览特定搜索引擎搜索结果的前几页。当结果不够好时，他们会改变关键词再次搜索。当他们重新进行搜索时，他们经常选择搜索引擎建议的其他关键字。大多数用户只检查第一个摘要页上列出的搜索结果。有些人使用不同的搜索引擎来搜索相同的关键字。 Users who have little search experience often blindly trust the results from the search engines. They often believe that the top-ranked result is the best one. During the interviews, users also gave us some good suggestions for collecting data. For example, we provided them with standard websites, but did not provide them with a standard for low scores. Although the standards were authoritative, they could not accommodate various needs of different users; without a medical background, users may have a hard time evaluating professional websites.

使用搜索引擎获取健康和医疗信息是大多数互联网用户的有效方法。我们的研究表明，四大搜索引擎，谷歌，Yahoo!，必应，而且Ask.com，一个re all helpful to users in their health and medical searches. Thus, they are used and recommended by most consumers for obtaining medical information online. However, there is significant room for improvement, especially in getting more relevant and comprehensive information, as well as in ranking the websites according to their usefulness. In this regard, there is no gold standard, and the various search engines each have their own merit, although Google and Bing are more advanced than others. Furthermore, the various search engines have different focuses on their search content. Hence, we suggest that users apply multiple search engines when looking for medical and health information online, instead of using only a single search engine.

我们的研究补充了一些早期评估互联网搜索健康和医疗信息的研究。以前的许多研究都强调内容的质量或可靠性[33］．相比之下，我们的研究有了一个新的关注点，即可用性，它比以前的大多数工作更直接地反映了实际用户的观点。我们的方法也明显不同于早期的方法。例如，以前的可用性研究[34]是在可用性实验室进行的。虽然在可用性实验室进行研究有一些优势，但也有一些局限性。特别是，可用性实验室是一个人工环境，一些参与者可能会有不同的使用行为，特别是在研究的时间压力下，如Eysenbach和Köhler [34)报道。因此，我们使用了另一种可用性测试方法:走廊测试。为了最好地确保每位参与者充分评估样本搜索结果的每个网页，我们没有给出评估的截止日期，我们只是建议每位参与者尽快完成评估，以减少网站可能发生更改和过期的几率(根据研究的实际时间框架，我们认为这种几率对于本文得出的任何结论都是可以忽略不计的)。我们的一些结论与Eysenbach和Köhler一致[34］．例如，两项研究都发现，消费者对来自科普和个人网站以及公益组织网站的信息是可以接受的。尽管如此，我们的研究揭示了各种互联网搜索引擎的可用性。总的来说，我们的研究为理解互联网搜索健康和医疗信息增加了重要价值。

综上所述，本研究可为医疗信息网络搜索提供有益的分析，并为提高健康相关网络搜索的整体可用性提供一些有益的建议。它为互联网用户提供了是否使用多个搜索引擎以及如何使用它们的一些信息。它还为互联网搜索引擎开发者提供了一些信息数据，以改进他们的搜索引擎或开发一个特定于医药的搜索引擎。

我们的研究也有一定的局限性。它的样本量有限，只使用了一个搜索关键字。此外，志愿者的背景也相对相同，因为他们都受过高等教育，通常是科学方面的。为了得出结论性的结果，还需要对不同背景的参与者进行更多的大规模研究。虽然这项研究为互联网用户在线获取医疗信息提供了信息性参考和一些指导，但我们将在未来开展更大规模的研究，提供更具代表性的样本。特别是，我们将把癌症患者和他们的家庭成员纳入研究。