JMIR J医疗互联网服务 医学互联网研究杂志 1438 - 8871 冈瑟Eysenbach 卡塔尔世界杯8强波胆分析JMIR出版公司,多伦多,加拿大 v14i1e22 22356723 10.2196 / jmir.1985 原始论文 HealthTrust:检索在线健康视频的社交网络方法 Eysenbach 冈瑟 Denecke Kerstin 安妮 Fernandez-Luque 路易斯 MSc 1
北方研究所 Postboks 6434 Forskningsparken 从法国ø9294 挪威 47 93421287 47 77629401 luis.luque@norut.no
2
Karlsen 兰迪 博士学位 1 2 梅尔顿 吉纳维芙B 马博士 3.
1 北方研究所 从法国ø 挪威 2 计算机科学系 特罗姆瑟大学 从法国ø 挪威 3. 卫生信息学研究所 明尼苏达大学 明尼阿波利斯、锰 美国 1 2012 31 01 2012 14 1 e22 06 11 2011 27 11 2011 16 01 2012 17 01 2012 ©Luis Fernandez-Luque, Randi Karlsen, Genevieve B Melton。最初发表于《医疗互联网研究杂志》(//www.mybigtv.com), 2012年1月31日。 2012

这是一篇开放获取的文章,根据创作共用署名许可(http://creativecommons.org/licenses/by/2.0/)的条款发布,允许在任何媒介上无限制地使用、分发和复制,前提是正确引用最初发表在《医学互联网研究杂志》上的原创作品。必须包括完整的书目信息,//www.mybigtv.com/上的原始出版物的链接,以及此版权和许可信息。

背景

社交媒体正在成为卫生领域的主流。尽管社交媒体平台上有大量准确可靠的健康信息,但要找到高质量的健康信息却很困难。误导性的健康信息通常很受欢迎(例如,反疫苗接种视频),因此在一般搜索引擎上得到了很高的评价。我们相信,可以利用社区关于卫生信息质量的智慧来帮助创建检索高质量社交媒体内容的工具。

目标

探索提取在线健康社区权威指标的方法,以及这些指标如何与内容质量呈正相关。

方法

我们设计了一个名为HealthTrust的指标,用于评估健康社区中社交媒体内容(如博客文章或视频)的可信度。HealthTrust指标基于链接分析计算在线健康社区中的声誉。我们用这个指标来检索YouTube上关于糖尿病的视频和频道。在两个不同的实验中,健康消费者对17个视频给出了427个评分,专业人士对23个视频给出了162个评分。此外,两名专业人士对30个糖尿病频道进行了审查。

结果

HealthTrust可以用于检索关于糖尿病的在线视频,因为它在大多数情况下比YouTube搜索表现更好。总的来说,在20个潜在的频道中,HealthTrust的过滤只允许3个(15%)坏频道,而YouTube列表上有8个(40%)坏频道。YouTube搜索比HealthTrust搜索更容易发现误导性和图像视频(例如以截肢为特色的视频)。然而,一些可信来源的视频的HealthTrust评分较低,主要来自一般健康内容提供商,因此在糖尿病社区的联系不高。在比较我们的审稿人的视频评分时,我们发现HealthTrust与专业人员实现了正的和统计上显著的相关性(Pearson r10=主板, P= .02)和健康消费者的显著性趋势( r7=主板, P= .06)和有关血红蛋白的视频1c但在糖尿病足部视频中表现不佳。

结论

基于信任的指标HealthTrust在从YouTube上检索糖尿病内容时显示出了令人满意的结果。我们的研究表明,社会网络分析可用于识别健康社区中值得信赖的社交媒体。

医学信息学 信息存储与检索 视频 在线系统 健康传播 糖尿病
简介

互联网正逐渐成为消费者健康信息的主要来源之一[ 1 2].许多卫生主管部门、医疗协会、医院和患者已经发布或正在发布在线内容,包括通过社交媒体平台(如博客、YouTube或Twitter)发布。Kaplan和Haenlein将社交媒体定义为“一组允许创建和交换用户生成内容的网络应用程序”[ 3.].社交媒体在卫生领域正日益成为主流[ 4- 6].例如,YouTube上有500多个由美国医院创建的频道,包含数千个视频[ 7].同样,英国国家医疗服务体系也在YouTube上发布了500多个视频[ 8].

尽管社交媒体平台上有大量高质量的健康信息,但要找到准确可靠的健康信息却异常困难。 9- 13].有很多错误信息,人们经常会看到宣传厌食症或避免接种疫苗的内容。 14 15].有时虚假的健康信息会变得非常流行和病毒式传播(例如,关于接种疫苗的阴谋论)。因此,筛选这些信息以找到值得信赖的健康信息仍然是健康消费者面临的主要挑战之一。

与大量信息相结合,许多健康消费者依赖在线社区获取相关信息。事实上,人们发现在线健康社区在过滤误导性信息方面非常有效[ 16].网络社区的成员必须逐渐建立信任,这使得不受信任的消息来源很难传播错误信息。还可以向同伴询问高质量的健康信息;然而,同事并不是随时都可用,通常也不能提供即时反馈。

本研究的目的是探索提取在线健康社区权威指标的方法,以及这些指标如何与内容质量呈正相关。社区的权威成员(如美国糖尿病协会)往往比社区的非权威成员发布或认可质量更好的内容。使用基于链接的分析,我们提取了一个关于卫生界权威度的指标(称为HealthTrust)。然后,我们实现了一种基于HealthTrust搜索视频和频道的算法,并使用YouTube上的在线糖尿病内容进行了测试。

背景

在健康领域之外,人类专家很少以任何可扩展的方式用于分类和检索网页。Web信息检索系统依靠自动方法来获取有信誉的在线资源,主要基于对页面之间链接的分析[ 17- 21].在谷歌的PageRank中,从一个网站到另一个网站的链接可以被建模为背书,它们被用来计算所有网站的全球排名[ 18].另一个例子是超链接诱导主题搜索(HITS)算法[ 17].如下节所述,HITS是一种链接分析算法,基于两个分数对网页进行排名:权威性和枢纽。集线器本质上是具有指向权威页面链接的目录功能的网页。权威是由许多最具代表性的网站链接的网页,因此它们在网络社区内具有很高的权威性。其他算法,如TrustRank,考虑到在线社区的可信度,旨在使搜索对网络垃圾邮件更可靠。 20.].Gou等人探索了如何使用社交网络分析以个性化的方式对在线视频进行排名[ 21].Mislove等人研究了通用社交网络与在线Web搜索的整合[ 22].

据我们所知,这些算法还没有在健康领域进行过研究。健康领域的主要挑战之一是,误导性的健康信息可能非常流行(例如,反疫苗接种视频),因此可能会被普遍的信息检索算法视为高评级,而不是垃圾邮件。

健康消费者需要量身定制的工具来帮助他们找到高质量的健康社交媒体和网站。一种常见的方法是为可信赖的卫生网站创建质量标签,这些网站遵循一套指导方针[ 8 23 24].一些研究指出,在某些情况下,这些指南并不能有效地找到良好的健康信息[ 10 25].另一个困难是在几十个指导方针中做出选择。 23 24].这些指南已与提取某些质量指标的自动方法相结合[ 11 12 26- 28用于在线健康信息检索。然而,自动方法还没有被广泛使用。据我们所知,这些项目都不像一般搜索引擎那样关注基于链接的分析和健康网站的信任指标。此外,尽管健康视频很受欢迎,但我们还没有遇到任何专门用于开发工具以帮助查找相关健康视频的项目。

方法

在下一小节中,我们将描述HealthTrust指标,以及如何将其集成以增强社交媒体内容(即YouTube糖尿病视频)的搜索。在随后的小节中,我们将描述两项旨在评估糖尿病视频和频道的HealthTrust评分与最终用户感知的质量之间关系的研究。我们设计这些实验来评估我们的假设,即HealthTrust的指标可以用于改善健康社交媒体的检索。在第一项研究中,我们评估了使用HealthTrust过滤YouTube上的糖尿病频道。在第二项研究中,我们评估了HealthTrust评分与糖尿病视频评分之间的相关性 一个 1 c测试 荷兰国际集团(ing)而且 糖尿病足

HealthTrust

根据《韦氏词典》,信任是“对某人或某事的品格、能力、力量或真实性的可靠依赖”。 29].其他相关术语,同等对待 信任,都是 权威性(“明显准确的或有知识的”[ 30.])和 声誉(“一般人所看到或判断的整体素质或品质”[ 31])。在Web信息检索领域,信任通常建立在链接结构分析的基础上。从一个网站到另一个网站的链接意味着对该链接网站的认可;这种方法与期刊影响因子的计算非常相似。健康领域的信任主要与权威性的概念有关,即内容创造者的可靠性和知识。然而,还有许多与信任相关的其他方面,例如 外观而且 公正 32].在本研究范围内,我们将信任定义为“在线健康社区中对用户质量和内容的可靠依赖”。

正如我们在引言中提到的,在线健康社区可以有效地过滤掉误导性的健康信息[ 16].传播误导性信息的用户很难在社区中获得信任。一个用户创建的关于治疗糖尿病的草药视频将比美国糖尿病协会创建的视频得到更少的糖尿病社区的支持。

我们认为,在卫生界,误导性信息将较少得到认可。因此,健康社区内的可信度将与更高的内容质量相关。为了计算健康社交媒体的可信度,我们设计了一种算法来计算一个名为HealthTrust的指标,该指标可以估计社交媒体内容(如博客文章或视频)在所属健康社区中的可信度。为了评估HealthTrust,我们设计了一种基于该指标搜索在线健康视频的算法。

HealthTrust规

在健康社交媒体的背景下,用户和内容紧密相连。 图1显示用户和内容之间的链接形成了一个图形,该图形模拟了一个社交网络,在这个网络中可以计算与信任相关的指标。内容和用户相互关联,可以形成一个具有共同兴趣的健康社区(如糖尿病)。

HealthTrust ( 图2)是一个衡量健康社区内容和成员信任度的指标。可以同时为用户(“我信任这个作者”)和内容(“我信任这个内容”)建模信任。事实上,您对某一特定内容的信任应该是您对其作者和内容本身的信任程度的结合。基于这些考虑,我们设计了HealthTrust指标。要计算HealthTrust,必须遵循一组步骤:(1)提取将要应用HealthTrust的社区,(2)根据内容和用户的链接计算其权威性分数,以及(3)计算HealthTrust分数。最后,这个分数可以用于“用于搜索的健康信任”小节中解释的信息检索目的。

一个健康社会网络的例子。

计算HealthTrust内容得分。

社区提取

HealthTrust仅应用于特定的健康社区。该社区可以通过许多不同的方法来识别,例如手动选择用户和启发式方法[ 33].如下节所述,在我们的研究中,我们通过使用与糖尿病相关的不同搜索查询提取了对糖尿病感兴趣的YouTube用户。社区提取是HealthTrust的一个核心方面,因为该指标不是计算内容的一般权威性,而是计算特定社区中的权威性。就YouTube而言,摇滚明星的MTV视频可能比美国疾病控制与预防中心(CDC)等卫生机构的视频更权威。相反,健康信托的重点是社区内的权威。例如,在卫生界,疾控中心比MTV更权威。

在我们的案例研究中,我们使用了在线视频分享平台YouTube上的糖尿病社区。如所示 图3例如,YouTube可以被建模为一个社交网络,用户(即频道)可以使用不同的社交链接(如订阅、友谊、最喜欢的视频或评论)来建立自己的声誉[ 34].在我们的研究中,我们考虑了最喜欢的视频和订阅,因为这些链接是社区所有成员最常用的。

在我们的第一个研究中,我们使用YouTube应用程序编程接口(API)来搜索所有具有关键字的频道 糖尿病并提取关于他们的所有可访问信息(例如,上传,订阅和收藏)。在我们的第二项研究中,我们使用一组与糖尿病相关的查询提取了视频的社区搜索。我们提取了关于这些视频及其作者的所有信息。

YouTube的社交网络。疾病控制和预防中心。

权威性的分数

HealthTrust中的权威性评分可使用基于链接的指标计算,例如PageRank评分[ 18或HITS权威[ 17].正如下一节所解释的,在我们的研究中,我们使用了HITS权威评分。在这些算法中,网站之间的链接被用来建模一个双向图,其中有传入和传出链接。基于传入链接,使用递归算法对网站的声誉进行评分,因为传入链接被认为是对链接网站的认可。HITS算法考虑两种类型的节点:权威节点和集线器节点。集线器是倾向于链接到最权威的网页的节点。HITS中的权威分数是根据来自集线器的传入链接计算的。

内容和用户的权威性计算方法如下。第一,内容的权威性( 图4(左)是根据所有用户和内容之间的链接计算的。内容和用户都被视为节点。第二,使用者的权威性( 图4(右)是根据所有用户之间的链接计算的,这些链接是唯一的节点。如果一个用户喜欢或喜欢另一个用户的内容,这被认为是用户之间的链接。

在我们的研究中,我们使用了Java通用网络/图形(JUNG) API [ 35],计算用户(即渠道)和内容(视频)的HITS权威性值,如下所示。首先,对于用户的权威性,我们创建了一个图形,节点为频道,边为订阅(频道X订阅了频道Y)和收藏(频道X订阅了频道Y的视频),然后用该图形来计算各频道的HITS权威性值。其次,对于视频的权威性得分,我们将视频和频道看作节点,边看作收藏夹(X频道订阅视频Z)和订阅量(X频道订阅Y频道视频),用该图来计算视频的HITS权威性值。

内容和用户的权威性值是独立计算的,如 图4.因此,为了将它们结合起来,有必要将它们的范围归一化——例如,在我们的研究中,我们将视频和用户的权威性得分归一化在0到1之间。

链接(蓝色部分)用于计算用户(左)和内容(右)的权威性。图基于 图1

健康信托的计算

特定内容(如视频或博客文章)的HealthTrust评分是内容规范化权威性评分的加权组合。加权组合基于InheritanceFactor。加权方法的目的是允许内容从其作者那里继承部分可信度。因此,来自可信作者的新内容将比来自不可信作者的新内容具有更高的HealthTrust评分。给予InheritanceFactor较高的权重意味着作者的权威性非常重要。例如,来自疾控中心的视频将具有隐性的权威性,即使它是新的,从未被评级或链接。InheritanceFactor为0意味着从作者到内容之间没有信任的继承转移,因此所有的权威性都基于视频的评分。

作为 图5显示,在视频研究中,权威性得分与0.7的InheritanceFactor相结合,这意味着视频的HITS权威性值占30%,作者的权威性占70%。我们在之前的数据集中测试了几个查询(没有在我们的评估中使用)后决定了这些值。我们观察到有许多新的高质量视频没有链接,因此继承因子的值较低会降低它们的HealthTrust,尽管它们来自可信的内容提供商。

HealthTrust计算了YouTube上的糖尿病视频。

HealthTrust搜索

我们相信HealthTrust可用于增强健康社区内内容的检索。为了评估这种可能性,我们设计了一种将查询匹配与HealthTrust结合起来的搜索算法。我们的搜索算法基于两个分数的组合:(1)内容与搜索查询的相关性,以及(2)HealthTrust。相关性可以使用简单的查询匹配来计算(例如,内容在标题或描述中包含查询)。

我们实现了一个基于HealthTrust的搜索算法,以研究该指标是否可以用于检索糖尿病视频。如 图6,我们的搜索算法将语法查询匹配与HealthTrust值相结合。如果查询与视频的标题匹配,则相关性计算为视频的HealthTrust分数的100%。如果查询只匹配描述,则相关性计算为视频HealthTrust得分的20%。我们在观察视频元数据的质量后决定了这些值。特别是,我们观察到标题对于推断视频的相关性非常重要,因为描述和标签往往是非常不同的(例如,由于标签垃圾)。在之前的一项研究中,我们还发现YouTube健康视频评论的质量可能非常不一致。 36].

基于healthtrust搜索的相关性计算。

研究:糖尿病频道和健康信托

如前一份报告所述[ 37],在2010年5月,我们进行了一项研究,以评估使用社交网络分析过滤YouTube糖尿病频道的可行性。本研究的目的是测试YouTube糖尿病频道的权威性值是否与其质量有关。

数据收集

图7描述了我们如何使用YouTube API从YouTube上提取5133个关于糖尿病的视频、219个频道、182个收藏夹和247个友谊。我们使用查询搜索通道 糖尿病并提取他们的信息(链接、视频、描述等)来计算他们的HealthTrust分数,该分数与频道的权威性值相对应,因为我们在本研究中没有考虑视频。

糖尿病渠道与HealthTrust研究中的数据提取。应用程序编程接口;超链接诱导的主题搜索。

招聘及评级

两名医疗保健专业人员从YouTube和HealthTrust的前20个糖尿病频道中检索到的前20个频道中对频道进行了评级。审稿人收到了一份按字母顺序排列的所有频道的列表,并被要求回答他们是否会向糖尿病患者推荐糖尿病频道。

基于Cohen kappa [ 38]采用统计框架R [ 39],结果很一致(.61)。

数据分析

我们使用K度规的精度来评估结果。 40], K为检索结果排名靠前。这种技术被广泛用于评估Web搜索引擎,因为用户倾向于只使用排名靠前的搜索结果。我们还用度量折现累积增益(DCG)来评估结果。DCG通常用于评估Web搜索结果的排名列表,同时考虑检索结果的位置[ 41].的相关性 获得根据检索结果的位置对数递减。

搜索研究:糖尿病视频和健康信托 数据收集

2011年4月,我们从YouTube上收集了8087个糖尿病视频,使用搜索API和20个不同的查询( 糖尿病足 糖尿病 糖尿病酮症酸中毒,等),详见 图8.我们还提取了有关频道、订阅和收藏夹的所有可用信息。最后,我们计算了视频和频道的HealthTrust得分。

虽然我们的数据集包含由不同查询找到的视频,但我们只评估了来自两个查询的视频,以增加每个视频的响应数量。我们将我们的研究限制在对大多数糖尿病患者重要的两个信息需求的搜索评估:糖尿病足问题和血红蛋白A1c(糖化血红蛋白)检测。糖尿病足部问题在糖尿病患者中非常常见,需要非常注意,以避免可能导致截肢的严重并发症。糖尿病血红蛋白A1 c测试是一种非常常见的实验室测试,用于评估糖尿病的控制情况。

大多数应答者对不同的视频进行了评分,因为有四个不同的列表,一些调查没有完全填写。因此,在本研究中没有足够的数据来计算有意义的注释者之间的一致性评分。对于每种类型的回答者(专业人士和消费者),我们汇总了不同视频的评分,并计算出平均评分值。

糖尿病视频和HealthTrust搜索研究的数据提取。应用程序编程接口;超链接诱导的主题搜索。

招聘

在提取糖尿病视频数据集后,我们招募了专业人士和健康消费者来评估结果。招募时间为2011年4月25日至6月14日。

我们使用滚雪球的方法招募了医疗保健专业评审员,将邀请发送到专业邮件列表。我们收集了82份知情同意书,完成了27份视频调查(由于缺乏受访者职业信息,删除了2份调查)。专业人士总共为23个视频提供了162个评分。

我们从在线糖尿病社区TuDiabetes.org招募了健康消费者,该社区有2万多名成员。有关这项研究的信息发布在社区的主博客和他们的邮件列表中(约有1万名订阅者)。我们收到178份知情同意,73份调查部分或全部填写。消费者总共对17个视频给出了427个评分。每次调查向糖尿病之手基金会捐赠5美元,该基金会负责运营在线社区。

视频调查

我们评估了排名前7的视频搜索结果 糖尿病足而且 糖尿病的一个 1 c使用HealthTrust和YouTube搜索(按相关性排序)。如所述 图9受访者在网上填写知情同意书后,被随机分配到一项调查中,并观看视频。受访者没有被告知用于选择视频的算法。

专业评论者被分配到四项不同的调查中:两项关于糖尿病足(一项基于YouTube,另一项基于HealthTrust),两项关于血红蛋白A1c测试。针对专业人士的两份糖尿病足的清单包含11个视频和血红蛋白A的清单1c测试包含12个视频。针对相同的查询,健康消费者被分配到列表中,但所列出的视频仅限于可信来源白名单中发布的视频。使用白名单的主要原因是避免向消费者播放误导性和令人不安的视频(例如,截肢视频)。这些针对健康消费者的列表总共包含17个视频,8个关于糖尿病足,9个关于血红蛋白a1c测试。

专业人士和健康消费者被要求用李克特量表(Likert scale)回答以下关于视频的问题(例如,从非常同意到非常不同意):“你会向糖尿病患者推荐这个视频吗?(针对专业人士的问题,可以观看关于糖尿病足的视频);“你喜欢这个关于糖尿病足的视频吗?”(关于糖尿病足的视频列表向健康消费者提出的问题)。

从卫生保健专业人员和健康消费者获得知情同意的过程,以及调查分配。

数据分析

我们使用K[的度量精度评估检索结果。 40]及DCG [ 41].然而,我们没有为健康消费者计算这些指标,因为他们有预先过滤的数据集。

此外,我们使用皮尔逊相关[ 42]来研究健康信托评分和平均评分之间的相关性。皮尔逊相关通常用于研究两个变量之间的线性相关性,相关系数范围为−1到1。Pearson相关性计算使用统计框架R的心理包[ 39].

结果 糖尿病经络研究

第一项研究旨在评估使用HealthTrust指标过滤YouTube糖尿病频道(即用户)的可行性。我们研究了通过YouTube和基于healthtrust的搜索检索到的前20个糖尿病频道的K (K = 5, K = 10和K = 20)的准确性。

我们提出了两种可能的考虑渠道相关的情况:(1)两个审稿人都推荐了该渠道,(2)至少有一个审稿人推荐了该渠道。 表1显示基于HealthTrust分数的搜索在所有情况下都比YouTube搜索表现更好,并且仅在K = 5时的准确性和两位评论者推荐的频道相同。DCG评估( 表2)也让HealthTrust的搜索得分高于YouTube。

K度精度对前20个糖尿病通路的评价

推荐/精度在K 两个评论家 至少一名审稿人
YouTube HealthTrust YouTube HealthTrust
n n n n
K = 5 4 80% 4 80% 4 80% 5 100%
K = 10 6 60% 7 70% 7 70% 9 90%
K = 20 10 50% 13 65% 12 60% 17 85%

通过折现累积增益(DCG)指标评估前20个糖尿病渠道

推荐/ DCGi一个 两个评论家 至少一名审稿人
YouTube HealthTrust YouTube HealthTrust
I = 5 2.9 3.1 2.9 3.6
I = 10 3.6 4.1 4 4.9
I = 20 4.6 5.7 5.3 7

一个I =检索到的视频数量。

为了考虑和分析算法过滤不良内容或垃圾邮件的能力,我们认为如果没有评论者推荐一个频道,它就具有误导性。HealthTrust的方法表现很好,过滤掉了不良渠道。当K = 20时,HealthTrust的列表中只有3个(15%)不良频道,而YouTube列表中有8个(40%)不良频道。在前10个频道中,HealthTrust只有1个(10%)不良频道,而YouTube有3个(30%)不良频道。在排名前5的频道中,HealthTrust的所有频道都至少有一位评论者推荐,比YouTube多一位。

在YouTube的前20名中,一些频道播放糖尿病产品的广告(例如,检测用品),几个频道是关于一位著名的糖尿病歌手(Jonas)的,还有一个频道是荷兰语的(尽管我们在API中将搜索限制为英语)。YouTube的列表中也有一些频道的名字中有“糖尿病”一词,但大多数视频都与糖尿病无关。

HealthTrust列表不包含任何带有广告的渠道,但它确实有一些来自电子患者的渠道,质量非常不同。令人惊讶的是,一些由公共机构运营的糖尿病频道,如青少年糖尿病研究基金会,在HealthTrust中排名并不靠前。对此最合理的解释是,一些相关频道不鼓励社交互动(如友谊或订阅),这种联系较少的性质可能会降低它们的排名。

糖尿病视频研究

在第二项研究中,我们探索了如何使用HealthTrust指标来检索糖尿病视频,以及HealthTrust与视频评分之间的相关性。

HealthTrust搜索评估

我们计算了为专业人员创建的列表在K处的精度,以评估搜索算法的性能。然而,我们没有研究消费者在K处的精度,因为数据集是预过滤的。

专家列表在K (K = 3, K = 7)处的精确度被认为是视频评级等于或大于3.5(取值范围从1到5) 表3在HealthTrust中,对于A型糖尿病和糖尿病的准确性更好1 c还有糖尿病足。以糖尿病足为例,前7名和前3名的YouTube列表精度都低于50%。基于DCG指标的基于healthtrust的搜索也表现更好( 表4).

由HealthTrust和YouTube检索的专业人员评估的视频精度为K

K点精度 血红蛋白的1 c 糖尿病足
YouTube HealthTrust YouTube HealthTrust
n n n n
K = 3 2 66% 3. 100% 1 33% 2 66%
K = 7 4 57% 5 70% 3. 43% 4 57%

由HealthTrust和YouTube检索的专业人员评估的视频的贴现累积增益(DCG)

DCGi一个 血红蛋白的1c 糖尿病足
YouTube HealthTrust YouTube HealthTrust
I = 3 1.6 2.6 1 2
I = 7 2,6 3.4 1.9 2.9

一个I =检索到的视频数量。

健康信任和评级相关性

通过研究HealthTrust评分和平均评分之间的相关性来确定我们的可信度评分是否对评分有积极的影响。

对于专业人士和消费者,我们用每个主题的视频创建了两个子集(血红蛋白A1c检查和糖尿病足)。我们用关于血红蛋白A的视频将0到1之间的视频的平均评分归一化1c糖尿病足的检测和子集。类似地,我们将每个子集中的HealthTrust分数标准化。如 表5,我们使用皮尔逊相关(alpha = .05)比较了每个子集的平均评级和HealthTrust评分。

评级与健康信托之间的Pearson相关性

血红蛋白的1c 糖尿病足
皮尔森 r P价值 皮尔森 r P价值
专业人士 r10= .646 02 r9= .275 .41点
消费者的健康 r7= .649 06 r6= -.019 .96点

在血红蛋白A的例子中1c视频中,我们发现专业人士子集的正相关性和统计显著性(Pearson r10= .646, P= .02点)。这种相关性与健康消费者的相关性较弱,但仍接近显著性水平( r7= .649, P= 0。06)。在糖尿病足视频的案例中,我们在任何子集(专业人士和消费者)中都没有发现统计学上显著的结果。

讨论 HealthTrust指标绩效

我们的研究结果表明,社会网络分析可以用来收集有关健康信息质量的信息。与YouTube搜索相比,基于HealthTrust指标的糖尿病视频和频道检索表现得相当好。在几乎所有情况下,使用HealthTrust检索的列表精度都优于使用YouTube检索的列表。精确是非常重要的,因为在健康无关的内容可能是潜在的非常负面的(见 图10).考虑到YouTube可以访问关于视频和用户的所有元数据,而HealthTrust只能通过其API进行有限的访问,因此,HealthTrust的性能与YouTube搜索相同或更好,这是非常重要的;例如,一些频道限制对其链接信息的访问(例如,订阅)。

很难确定YouTube和HealthTrust搜索之间的确切区别,因为YouTube没有公布其搜索算法,尽管已经公布了其推荐算法[ 43].然而,我们预计YouTube的搜索引擎会像大多数搜索引擎一样基于链接分析。传统的Web搜索引擎和我们的方法之间的主要区别在于,我们加强了紧密结合的社区效应。 19,就像糖尿病一样;传统上,网络搜索引擎试图降低这些社区的影响,以提高公众的满意度。因此,有趣或有争议的视频在YouTube社区中更受欢迎,因此评分也更高。这些视频在使用HealthTrust时失去了重要性。事实上,基于HealthTrust指标的搜索在过滤误导性视频(如草药或广告)方面比YouTube表现得更好。HealthTrust算法估计的是YouTube上与健康相关的信任,而不是一般的信任。

关于糖尿病足感染伤口的YouTube视频排名靠前。

HealthTrust弱点

一些来自可信来源的好视频,如公共卫生当局,获得了相对较低的HealthTrust值。对算法行为的最佳解释是,这些视频的创作者在糖尿病社区的联系较少。其中一些来源属于一个更一般的健康社区(例如,CDCStreamingHealth的频道),因此与糖尿病社区的联系较弱。此外,一些可信的来源不会与其他用户建立链接(例如,通过友谊、订阅或评论)。这种连通性的缺失导致了HealthTrust的得分较低。作为我们未来工作的一部分,我们将设计一个HealthTrust的增强版本,用于计算几个健康社区内的可信度值。

除了可信度和权威性之外,影响视频质量的因素还有很多。因此,我们没有在所有情况下发现统计学上显著的相关性也就不足为奇了。个人品味和喜好起着重要作用。例如,视频 O代表愤怒——1型糖尿病 图11),健康消费者(平均4.2分)给予的评价高于专业人士(平均2.75分)。 O代表愤怒是一个呼吁情感方面提高意识的视频;它对在线糖尿病社区非常有吸引力。然而,这段视频信息量较少,这可能解释了为什么专业人士对它的评价较低。因此,像HealthTrust这样的通用质量指标并不总能让所有人满意。

有一些来自某些频道的视频,平均评分差异很大,但健康信托评分相同。在这种情况下,这些视频没有链接(收藏夹),但从它们的频道继承了HealthTrust评分。这一问题的一个例子是以下两个视频从糖尿病足列表中显示给消费者:(1) 棒球巨星罗恩·桑托和糖尿病——难以置信的故事,和(2) 迈阿密墨水 纹身和糖尿病.这两个视频都有相同的HealthTrust评分,因为它们都来自同一个糖尿病频道dlife.com。然而, 迈阿密墨水视频对健康消费者的吸引力较小。在这种情况下,链接分析不足以区分两个视频之间的质量。解决这个问题的唯一方法是分析更多关于视频的数据(如语义分析或评分)。

视频截图 O代表愤怒——1型糖尿病

限制

在这两个实验中,我们在进行实验时删除了一些视频或频道。在频道研究中,有两个被删除了,在第二个研究中,一些视频获得了较低的评分,因为它们是由作者保密的。这个问题不太可能对我们的研究产生偏见,因为它影响的样本很小,而且对所有算法的影响都是一样的。

为了推广我们的发现,我们必须进行大规模的研究,包括更多的查询、评论者和视频。我们基于调查的评估方法仅仅是健康消费者搜索信息的真实背景的近似值。基于调查的在线视频评估非常耗时,因为大多数视频持续几分钟。我们需要看30分钟左右的视频来完成我们的调查。因此,为了推广我们的发现,我们实现了一个视频门户,以捕获更多数据,以便在真实的用户环境中进行评估。视频门户还需要解决在线社区结构的持续变化(例如,随着时间的推移,声誉的变化)。对于在线社区的动态特性,一个可能的解决方案可能是定期计算HealthTrust。

此外,我们的方法是否适用于有大量用户宣传误导性信息的健康领域还有待观察。例如,有些社区提倡厌食症作为一种生活方式。 15]或反对接种疫苗[ 14].支持厌食症的用户倾向于链接和认可误导性信息;因此,如果HealthTrust要用于检索有关厌食症的可信内容,它必须能够避免支持厌食症的子社区。

我们目前的研究仅限于在线健康视频;因此,我们需要在其他类型的社交媒体上重复我们的研究,以推广我们的发现。我们相信HealthTrust指标可以应用于任何类型的链接健康社区,在这些社区中,用户通过关注、友谊和喜爱的内容相互联系。然而,需要进行实验来评估算法,因为每种类型的社区可能有不同的结构和动态。

我们的研究仅限于自动提取基于信任的指标的方法,以及使用这些指标检索健康视频的可行性。还需要更多的研究来测试如何将HealthTrust与人类专家手动选择社交媒体相结合。HealthTrust在自动识别糖尿病社区中最可信的来源方面非常有用。然而,一些值得信赖的提供商有非常好的内容,但在在线社区中没有获得足够的信任。

结论

每天,数以百万计的健康消费者在YouTube等社交平台上搜索健康信息,而从可信来源检索准确信息往往很困难。对于新的信息检索工具的需求尚未得到满足,以帮助健康消费者在社交媒体中找到值得信赖和相关的健康信息。

在本文中,我们提出了一个名为HealthTrust的新指标,来推断健康社区内社交媒体内容的可信度信息。我们测试了使用HealthTrust从YouTube上的糖尿病社区检索视频的可行性。根据我们与健康消费者和专业人士的评估,在几乎所有测试案例中,基于HealthTrust指标搜索糖尿病内容的表现都优于YouTube。然而,还需要进行更大规模的研究来验证我们在健康门户网站上的结果,以便在实际环境中测试该指标。

尽管我们的研究存在局限性,但我们得出的结论是,要将社交网络分析应用于检索健康信息,可以使用社交媒体开发工具,最终帮助找到相关和值得信赖的信息。社会网络分析也可以用于加强其他健康信息检索方法,如质量标签和人工审查内容。

缩写 API

应用程序编程接口

常规心电图

折现累积收益

疾病预防控制中心

疾病控制和预防中心

支安打

超链接诱导的主题搜索

我们要感谢我们的同事们非常有用的意见,这有助于改进这篇论文,特别是来自明尼苏达大学计算机科学与工程系GroupLens小组的Joseph A Kostan教授。此外,我们要感谢糖尿病之手基金会在招募糖尿病患者方面的支持。

本项目隶属挪威研究委员会联合资助的特罗姆瑟远程医学实验室,项目编号174934。

LFL参与了所有的研究和手稿准备工作。

RK审阅了手稿,并就研究的算法方面向LFL提出了建议。

GBM参与了研究设计、机构评审委员会申请、招募工作,并对稿件进行了审稿。

狐狸 年代 在线健康搜索2006 2006 10 29 2012-01-26 华盛顿特区 皮尤互联网和美国生活项目 http://www.pewinternet.org/~/media//Files/Reports/2006/PIP_Online_Health_2006.pdf.pdf 64年zcrirq5 Kummervold 体育 Chronaki CE Lausen B 普罗科什 拉斯穆森 J 桑塔纳 年代 Staniszewski 一个 Wangberg SC 2005-2007年欧洲电子保健趋势:基于人口的调查 J医疗互联网服务 2008 10 4 e42 10.2196 / jmir.1023 19017584 v10i4e42 PMC2629359 卡普兰 Haenlein 全世界用户,团结起来!社交媒体的挑战和机遇 业务范围 2010 53 1 59 68 10.1016 / j.bushor.2009.09.003 Siek Fernandez-Luque l Tange H Chhanabhai P SY 艾尔金 PL Arjabi 一个 Walczowski l CS Eysenbach G 社交媒体对患者和消费者健康的作用:IMIA消费者健康信息工作组的贡献 医学通知 2011 6 1 131 8 21938338 me11010131 狐狸 年代 琼斯 年代 社会生活中的健康信息 2009 06 11 2010-12-07 华盛顿特区 皮尤互联网和美国生活项目 http://www.pewinternet.org/~/media//Files/Reports/2009/PIP_Health_2009.pdf 5 uno4xyew 佩顿 C Bamidis PD Eysenbach G 汉森 Cabrer 在医疗和健康教育中使用社交媒体的经验:IMIA社交媒体工作组的贡献 医学通知 2011 6 1 21 9 21938320 me11010021 班尼特 E 在缓存中找到 2011 10 9 2011-11-06 医院社交网络列表 http://ebennett.org/hsnl/ 62年zskspvi YouTube 2011 2011-11-06 NHSChoices通道。9月12日 http://www.youtube.com/user/NHSChoices 62年zsqq4cu 格林伯格 l D 'Andrea G Lorence D 为在线健康搜索制定公共议程:白皮书和行动议程 J医疗互联网服务 2004 06 8 6 2 e18 10.2196 / jmir.6.2.e18 15249267 v6e18 PMC1550592 Eysenbach G 鲍威尔 J 与库 O Sa 在万维网上为消费者评估健康信息质量的经验研究:系统回顾 《美国医学会杂志》 2002 05 287 20. 2691 700 12020305 jrv10005 Bernstam 电动汽车 瓦尔基 曼氏金融 Sagaram 年代 Sagaram D 约翰逊 连续波 Meric-Bernstam F 常被引用的网站质量标准不能有效地识别关于乳腺癌的不准确在线信息 癌症 2008 03 15 112 6 1206 13 10.1002 / cncr.23308 18266210 迈耶 Darmoni SJ Fiene 科勒 C Roth-Berghofer TR Eysenbach G MedCIRCLE:合作对万维网上的卫生信息进行互联网评级、认证、标签和评价 种马健康技术通知 2003 95 667 72 14664064 迈耶 Karkaletsis V Stamatakis K 花环 一个 Villarroel D Thomeczek C Labsky Lopez-Ostenero F Honkela T 使用多语言信息提取的medieq -质量标签医疗网站内容 种马健康技术通知 2006 121 183 90 17095816 疼痛 华莱士 LS 人类乳头瘤病毒疫苗接种覆盖YouTube 是J Prev Med吗 2008 10 35 4 389 92 10.1016 / j.amepre.2008.06.029 18675530 s0749 - 3797 (08) 00597 - 7 诺里斯 毫升 Boydell 公里 Pinhas l 卡兹曼 DK 安娜和互联网:支持厌食症的网站综述 Int J饮食失调 2006 09 39 6 443 7 10.1002 / eat.20305 16721839 丘韦 一个 Meric-Bernstam F Bernstam 电动汽车 准确性和自我更正从一个互联网乳腺癌列表收到的信息:内容分析 BMJ 2006 04 22 332 7547 939 42 10.1136 / bmj.38753.524201.7C 16513686 bmj.38753.524201.7C PMC1444809 jonkleinberg JM 超链接环境中的权威来源 J ACM 1999 46 5 604 32 10.1145/324133.324140 布林 年代 页面 l 大规模超文本Web搜索引擎的剖析 计算网络ISDN系统 1998 30. 1 - 7 107 17 10.1016 / s0169 - 7552 (98) 00110 - x Lempel R 莫兰 年代 链接结构分析的随机方法(SALSA)和TKC效应 第一版Netw 2000 33 1 - 6 387 401 10.1016 / s1389 - 1286 (00) 00034 - 7 Gyongyi Z Garcia-Molina H 需要好好 J 使用trustrank对抗网络垃圾邮件 诉讼 2004 第三十届超大数据库国际会议 2004年8月31日至9月3日 加拿大安大略省多伦多 郭台铭 l HH JH l 李贾尔斯 C sndo曲柄:基于社交网络的文档排名 诉讼 2010 第十九届国际万维网会议(WWW '10) 2010年4月27-30日 罗利,北卡罗来纳州,美国 10.1145/1772690.1772825 梅丝洛夫 一个 Marcon Gummadi KP Druschel P 保护好 B 在线社交网络的测量和分析 诉讼 2007 第七届ACM SIGCOMM互联网测量会议(IMC '07) 2007年10月24-26日 圣地亚哥,加利福尼亚州,美国 10.1145/1298306.1298311 Gagliardi 一个 Jadad 基于“增大化现实”技术 用于评估互联网上健康信息质量的仪器的检查:目的地不明的航行纪事 BMJ 2002 03 9 324 7337 569 73 11884320 PMC78993 Jadad 基于“增大化现实”技术 Gagliardi 一个 对互联网上的健康信息进行评级:导航到知识还是巴别塔? 《美国医学会杂志》 1998 02 25 279 8 611 4 9486757 jrv71042 瓦尔基 Sagaram 年代 Sagaram D Meric-Bernstam F 约翰逊 C 阁下 NQ Bernstam 电动汽车 识别潜在有害信息的质量标准的有效性:补充和替代医学网站的横断面调查 J医疗互联网服务 2004 06 29 6 2 e21 10.2196 / jmir.6.2.e21 15249270 v6e21 PMC1550600 M-Eco财团 meco-project.eu 2010 2011-11-06 M-Eco:医疗生态系统 http://meco-project.eu/ 62年ztb4my4 Khresmoi 2010 2011-11-06 Khresmoi:医学信息分析与检索 http://www.khresmoi.eu/ 62年ztdscrb 迈耶 Karampiperis P Kukurikos 一个 Karkaletsis V Stamatakis K Villarroel D 花环 一个 应用语义Web技术提高健康相关网络资源的检索、可信度和使用 卫生信息学J 2011 06 17 2 95 115 10.1177 / 1460458211405004 21712354 17/2/95 梅里亚姆-韦伯斯特公司 2012 2011-11-06 信任的定义 http://www.merriam-webster.com/dictionary/trust 62年zttqs1q 梅里亚姆-韦伯斯特公司 2012 2011-11-06 权威的定义 http://www.merriam-webster.com/dictionary/authoritative 62年ztwfea0 梅里亚姆-韦伯斯特公司 2012 2011-11-06 声誉的定义 http://www.merriam-webster.com/dictionary/reputation 62年ztyjbvq 哈里斯 公关 Sillence E 布里格斯 P 感知威胁和确证:改善基于互联网的健康信息和建议的信任预测模型的关键因素 J医疗互联网服务 2011 13 3. 10.2196 / jmir.1821 21795237 v13i3e51 PMC3222185 下巴 一个 Chignell 社会超文本内聚子组的自动检测:一种启发式方法 N Rev Hypermed Multimed 2008 14 1 121 43 10.1080 / 13614560802357180 y l JW YouTube用户声誉评估 选择注释计算科学 2009 5621 346 53 10.1007 / 978 - 3 - 642 - 02774 - 1 - _38 JUNG框架开发团队 Sourceforge.net 2011-11-06 JUNG: Java通用网络/图形框架 http://jung.sourceforge.net/ 62年zwuxuxd Fernandez-Luque l 同时 N Grajales FJ 对多发性硬化症患者创建的YouTube视频中披露的个人医疗信息的分析 种马健康技术通知 2009 150 292 6 19745316 Fernandez-Luque l Karlsen R 梅尔顿 GB HealthTrust:基于信任的YouTube糖尿病频道检索 诉讼 2011 CIKM '11:第20届ACM信息与知识管理国际会议 2011年10月24日至28日 英国格拉斯哥 10.1145/2063576.2063854 科恩 晶澳 名义比额的一致系数 Meas 1960 04 20. 1 37 46 10.1177 / 001316446002000104 综合R档案网络 2012 2012-01-30 心理学:心理学、心理测量学和人格研究的程序 http://cran.r-project.org/web/packages/psych/index.html 655年e6hdfk Buettcher 年代 克拉克 l Cormack G 信息检索:实现和评估搜索引擎 2010 剑桥,麻 麻省理工学院出版社 408 Jarvelin K Kekalainen J 红外技术的累积增益评估 ACM Trans Inf系统 2002 20. 4 422 46 10.1145/582415.582418 罗杰斯 莱托 Nicewander 佤邦 看相关系数的13种方法 我统计 1988 02 42 1 59 66 10.2307 / 2685263 戴维森 J Liebald B J Nandy P 范Vleet T Gargi U 古普塔 年代 Y 兰伯特 利文斯顿 B 位于 D YouTube视频推荐系统 诉讼 2010 第四届ACM推荐系统会议 2010年9月26日至30日 西班牙巴塞罗那 10.1145/1864708.1864770
Baidu
map