这是一篇开放获取的文章,根据创作共用署名许可(http://creativecommons.org/licenses/by/2.0/)的条款发布,允许在任何媒介上无限制地使用、分发和复制,前提是正确引用最初发表在《医学互联网研究杂志》上的原创作品。必须包括完整的书目信息,//www.mybigtv.com/上的原始出版物的链接,以及此版权和许可信息。
社交媒体正在成为卫生领域的主流。尽管社交媒体平台上有大量准确可靠的健康信息,但要找到高质量的健康信息却很困难。误导性的健康信息通常很受欢迎(例如,反疫苗接种视频),因此在一般搜索引擎上得到了很高的评价。我们相信,可以利用社区关于卫生信息质量的智慧来帮助创建检索高质量社交媒体内容的工具。
探索提取在线健康社区权威指标的方法,以及这些指标如何与内容质量呈正相关。
我们设计了一个名为HealthTrust的指标,用于评估健康社区中社交媒体内容(如博客文章或视频)的可信度。HealthTrust指标基于链接分析计算在线健康社区中的声誉。我们用这个指标来检索YouTube上关于糖尿病的视频和频道。在两个不同的实验中,健康消费者对17个视频给出了427个评分,专业人士对23个视频给出了162个评分。此外,两名专业人士对30个糖尿病频道进行了审查。
HealthTrust可以用于检索关于糖尿病的在线视频,因为它在大多数情况下比YouTube搜索表现更好。总的来说,在20个潜在的频道中,HealthTrust的过滤只允许3个(15%)坏频道,而YouTube列表上有8个(40%)坏频道。YouTube搜索比HealthTrust搜索更容易发现误导性和图像视频(例如以截肢为特色的视频)。然而,一些可信来源的视频的HealthTrust评分较低,主要来自一般健康内容提供商,因此在糖尿病社区的联系不高。在比较我们的审稿人的视频评分时,我们发现HealthTrust与专业人员实现了正的和统计上显著的相关性(Pearson
基于信任的指标HealthTrust在从YouTube上检索糖尿病内容时显示出了令人满意的结果。我们的研究表明,社会网络分析可用于识别健康社区中值得信赖的社交媒体。
互联网正逐渐成为消费者健康信息的主要来源之一[
尽管社交媒体平台上有大量高质量的健康信息,但要找到准确可靠的健康信息却异常困难。
与大量信息相结合,许多健康消费者依赖在线社区获取相关信息。事实上,人们发现在线健康社区在过滤误导性信息方面非常有效[
本研究的目的是探索提取在线健康社区权威指标的方法,以及这些指标如何与内容质量呈正相关。社区的权威成员(如美国糖尿病协会)往往比社区的非权威成员发布或认可质量更好的内容。使用基于链接的分析,我们提取了一个关于卫生界权威度的指标(称为HealthTrust)。然后,我们实现了一种基于HealthTrust搜索视频和频道的算法,并使用YouTube上的在线糖尿病内容进行了测试。
在健康领域之外,人类专家很少以任何可扩展的方式用于分类和检索网页。Web信息检索系统依靠自动方法来获取有信誉的在线资源,主要基于对页面之间链接的分析[
据我们所知,这些算法还没有在健康领域进行过研究。健康领域的主要挑战之一是,误导性的健康信息可能非常流行(例如,反疫苗接种视频),因此可能会被普遍的信息检索算法视为高评级,而不是垃圾邮件。
健康消费者需要量身定制的工具来帮助他们找到高质量的健康社交媒体和网站。一种常见的方法是为可信赖的卫生网站创建质量标签,这些网站遵循一套指导方针[
在下一小节中,我们将描述HealthTrust指标,以及如何将其集成以增强社交媒体内容(即YouTube糖尿病视频)的搜索。在随后的小节中,我们将描述两项旨在评估糖尿病视频和频道的HealthTrust评分与最终用户感知的质量之间关系的研究。我们设计这些实验来评估我们的假设,即HealthTrust的指标可以用于改善健康社交媒体的检索。在第一项研究中,我们评估了使用HealthTrust过滤YouTube上的糖尿病频道。在第二项研究中,我们评估了HealthTrust评分与糖尿病视频评分之间的相关性
根据《韦氏词典》,信任是“对某人或某事的品格、能力、力量或真实性的可靠依赖”。
正如我们在引言中提到的,在线健康社区可以有效地过滤掉误导性的健康信息[
我们认为,在卫生界,误导性信息将较少得到认可。因此,健康社区内的可信度将与更高的内容质量相关。为了计算健康社交媒体的可信度,我们设计了一种算法来计算一个名为HealthTrust的指标,该指标可以估计社交媒体内容(如博客文章或视频)在所属健康社区中的可信度。为了评估HealthTrust,我们设计了一种基于该指标搜索在线健康视频的算法。
在健康社交媒体的背景下,用户和内容紧密相连。
HealthTrust (
一个健康社会网络的例子。
计算HealthTrust内容得分。
HealthTrust仅应用于特定的健康社区。该社区可以通过许多不同的方法来识别,例如手动选择用户和启发式方法[
在我们的案例研究中,我们使用了在线视频分享平台YouTube上的糖尿病社区。如所示
在我们的第一个研究中,我们使用YouTube应用程序编程接口(API)来搜索所有具有关键字的频道
YouTube的社交网络。疾病控制和预防中心。
HealthTrust中的权威性评分可使用基于链接的指标计算,例如PageRank评分[
内容和用户的权威性计算方法如下。第一,内容的权威性(
在我们的研究中,我们使用了Java通用网络/图形(JUNG) API [
内容和用户的权威性值是独立计算的,如
链接(蓝色部分)用于计算用户(左)和内容(右)的权威性。图基于
特定内容(如视频或博客文章)的HealthTrust评分是内容规范化权威性评分的加权组合。加权组合基于InheritanceFactor。加权方法的目的是允许内容从其作者那里继承部分可信度。因此,来自可信作者的新内容将比来自不可信作者的新内容具有更高的HealthTrust评分。给予InheritanceFactor较高的权重意味着作者的权威性非常重要。例如,来自疾控中心的视频将具有隐性的权威性,即使它是新的,从未被评级或链接。InheritanceFactor为0意味着从作者到内容之间没有信任的继承转移,因此所有的权威性都基于视频的评分。
作为
HealthTrust计算了YouTube上的糖尿病视频。
我们相信HealthTrust可用于增强健康社区内内容的检索。为了评估这种可能性,我们设计了一种将查询匹配与HealthTrust结合起来的搜索算法。我们的搜索算法基于两个分数的组合:(1)内容与搜索查询的相关性,以及(2)HealthTrust。相关性可以使用简单的查询匹配来计算(例如,内容在标题或描述中包含查询)。
我们实现了一个基于HealthTrust的搜索算法,以研究该指标是否可以用于检索糖尿病视频。如
基于healthtrust搜索的相关性计算。
如前一份报告所述[
糖尿病渠道与HealthTrust研究中的数据提取。应用程序编程接口;超链接诱导的主题搜索。
两名医疗保健专业人员从YouTube和HealthTrust的前20个糖尿病频道中检索到的前20个频道中对频道进行了评级。审稿人收到了一份按字母顺序排列的所有频道的列表,并被要求回答他们是否会向糖尿病患者推荐糖尿病频道。
基于Cohen kappa [
我们使用K度规的精度来评估结果。
2011年4月,我们从YouTube上收集了8087个糖尿病视频,使用搜索API和20个不同的查询(
虽然我们的数据集包含由不同查询找到的视频,但我们只评估了来自两个查询的视频,以增加每个视频的响应数量。我们将我们的研究限制在对大多数糖尿病患者重要的两个信息需求的搜索评估:糖尿病足问题和血红蛋白A1c(糖化血红蛋白)检测。糖尿病足部问题在糖尿病患者中非常常见,需要非常注意,以避免可能导致截肢的严重并发症。糖尿病血红蛋白A1 c测试是一种非常常见的实验室测试,用于评估糖尿病的控制情况。
大多数应答者对不同的视频进行了评分,因为有四个不同的列表,一些调查没有完全填写。因此,在本研究中没有足够的数据来计算有意义的注释者之间的一致性评分。对于每种类型的回答者(专业人士和消费者),我们汇总了不同视频的评分,并计算出平均评分值。
糖尿病视频和HealthTrust搜索研究的数据提取。应用程序编程接口;超链接诱导的主题搜索。
在提取糖尿病视频数据集后,我们招募了专业人士和健康消费者来评估结果。招募时间为2011年4月25日至6月14日。
我们使用滚雪球的方法招募了医疗保健专业评审员,将邀请发送到专业邮件列表。我们收集了82份知情同意书,完成了27份视频调查(由于缺乏受访者职业信息,删除了2份调查)。专业人士总共为23个视频提供了162个评分。
我们从在线糖尿病社区TuDiabetes.org招募了健康消费者,该社区有2万多名成员。有关这项研究的信息发布在社区的主博客和他们的邮件列表中(约有1万名订阅者)。我们收到178份知情同意,73份调查部分或全部填写。消费者总共对17个视频给出了427个评分。每次调查向糖尿病之手基金会捐赠5美元,该基金会负责运营在线社区。
我们评估了排名前7的视频搜索结果
专业评论者被分配到四项不同的调查中:两项关于糖尿病足(一项基于YouTube,另一项基于HealthTrust),两项关于血红蛋白A1c测试。针对专业人士的两份糖尿病足的清单包含11个视频和血红蛋白A的清单1c测试包含12个视频。针对相同的查询,健康消费者被分配到列表中,但所列出的视频仅限于可信来源白名单中发布的视频。使用白名单的主要原因是避免向消费者播放误导性和令人不安的视频(例如,截肢视频)。这些针对健康消费者的列表总共包含17个视频,8个关于糖尿病足,9个关于血红蛋白a1c测试。
专业人士和健康消费者被要求用李克特量表(Likert scale)回答以下关于视频的问题(例如,从非常同意到非常不同意):“你会向糖尿病患者推荐这个视频吗?(针对专业人士的问题,可以观看关于糖尿病足的视频);“你喜欢这个关于糖尿病足的视频吗?”(关于糖尿病足的视频列表向健康消费者提出的问题)。
从卫生保健专业人员和健康消费者获得知情同意的过程,以及调查分配。
我们使用K[的度量精度评估检索结果。
此外,我们使用皮尔逊相关[
第一项研究旨在评估使用HealthTrust指标过滤YouTube糖尿病频道(即用户)的可行性。我们研究了通过YouTube和基于healthtrust的搜索检索到的前20个糖尿病频道的K (K = 5, K = 10和K = 20)的准确性。
我们提出了两种可能的考虑渠道相关的情况:(1)两个审稿人都推荐了该渠道,(2)至少有一个审稿人推荐了该渠道。
K度精度对前20个糖尿病通路的评价
推荐/精度在K | 两个评论家 | 至少一名审稿人 | ||||||
YouTube | HealthTrust | YouTube | HealthTrust | |||||
n | % | n | % | n | % | n | % | |
K = 5 | 4 | 80% | 4 | 80% | 4 | 80% | 5 | 100% |
K = 10 | 6 | 60% | 7 | 70% | 7 | 70% | 9 | 90% |
K = 20 | 10 | 50% | 13 | 65% | 12 | 60% | 17 | 85% |
通过折现累积增益(DCG)指标评估前20个糖尿病渠道
推荐/ DCGi一个 | 两个评论家 | 至少一名审稿人 | ||
YouTube | HealthTrust | YouTube | HealthTrust | |
I = 5 | 2.9 | 3.1 | 2.9 | 3.6 |
I = 10 | 3.6 | 4.1 | 4 | 4.9 |
I = 20 | 4.6 | 5.7 | 5.3 | 7 |
一个I =检索到的视频数量。
为了考虑和分析算法过滤不良内容或垃圾邮件的能力,我们认为如果没有评论者推荐一个频道,它就具有误导性。HealthTrust的方法表现很好,过滤掉了不良渠道。当K = 20时,HealthTrust的列表中只有3个(15%)不良频道,而YouTube列表中有8个(40%)不良频道。在前10个频道中,HealthTrust只有1个(10%)不良频道,而YouTube有3个(30%)不良频道。在排名前5的频道中,HealthTrust的所有频道都至少有一位评论者推荐,比YouTube多一位。
在YouTube的前20名中,一些频道播放糖尿病产品的广告(例如,检测用品),几个频道是关于一位著名的糖尿病歌手(Jonas)的,还有一个频道是荷兰语的(尽管我们在API中将搜索限制为英语)。YouTube的列表中也有一些频道的名字中有“糖尿病”一词,但大多数视频都与糖尿病无关。
HealthTrust列表不包含任何带有广告的渠道,但它确实有一些来自电子患者的渠道,质量非常不同。令人惊讶的是,一些由公共机构运营的糖尿病频道,如青少年糖尿病研究基金会,在HealthTrust中排名并不靠前。对此最合理的解释是,一些相关频道不鼓励社交互动(如友谊或订阅),这种联系较少的性质可能会降低它们的排名。
在第二项研究中,我们探索了如何使用HealthTrust指标来检索糖尿病视频,以及HealthTrust与视频评分之间的相关性。
我们计算了为专业人员创建的列表在K处的精度,以评估搜索算法的性能。然而,我们没有研究消费者在K处的精度,因为数据集是预过滤的。
专家列表在K (K = 3, K = 7)处的精确度被认为是视频评级等于或大于3.5(取值范围从1到5)
由HealthTrust和YouTube检索的专业人员评估的视频精度为K
K点精度 | 血红蛋白的1 c | 糖尿病足 | ||||||
YouTube | HealthTrust | YouTube | HealthTrust | |||||
n | % | n | % | n | % | n | % | |
K = 3 | 2 | 66% | 3. | 100% | 1 | 33% | 2 | 66% |
K = 7 | 4 | 57% | 5 | 70% | 3. | 43% | 4 | 57% |
由HealthTrust和YouTube检索的专业人员评估的视频的贴现累积增益(DCG)
DCGi一个 | 血红蛋白的1c | 糖尿病足 | ||
YouTube | HealthTrust | YouTube | HealthTrust | |
I = 3 | 1.6 | 2.6 | 1 | 2 |
I = 7 | 2,6 | 3.4 | 1.9 | 2.9 |
一个I =检索到的视频数量。
通过研究HealthTrust评分和平均评分之间的相关性来确定我们的可信度评分是否对评分有积极的影响。
对于专业人士和消费者,我们用每个主题的视频创建了两个子集(血红蛋白A1c检查和糖尿病足)。我们用关于血红蛋白A的视频将0到1之间的视频的平均评分归一化1c糖尿病足的检测和子集。类似地,我们将每个子集中的HealthTrust分数标准化。如
评级与健康信托之间的Pearson相关性
血红蛋白的1c | 糖尿病足 | |||
皮尔森 |
|
皮尔森 |
|
|
专业人士 |
|
02 |
|
.41点 |
消费者的健康 |
|
06 |
|
.96点 |
在血红蛋白A的例子中1c视频中,我们发现专业人士子集的正相关性和统计显著性(Pearson
我们的研究结果表明,社会网络分析可以用来收集有关健康信息质量的信息。与YouTube搜索相比,基于HealthTrust指标的糖尿病视频和频道检索表现得相当好。在几乎所有情况下,使用HealthTrust检索的列表精度都优于使用YouTube检索的列表。精确是非常重要的,因为在健康无关的内容可能是潜在的非常负面的(见
很难确定YouTube和HealthTrust搜索之间的确切区别,因为YouTube没有公布其搜索算法,尽管已经公布了其推荐算法[
关于糖尿病足感染伤口的YouTube视频排名靠前。
一些来自可信来源的好视频,如公共卫生当局,获得了相对较低的HealthTrust值。对算法行为的最佳解释是,这些视频的创作者在糖尿病社区的联系较少。其中一些来源属于一个更一般的健康社区(例如,CDCStreamingHealth的频道),因此与糖尿病社区的联系较弱。此外,一些可信的来源不会与其他用户建立链接(例如,通过友谊、订阅或评论)。这种连通性的缺失导致了HealthTrust的得分较低。作为我们未来工作的一部分,我们将设计一个HealthTrust的增强版本,用于计算几个健康社区内的可信度值。
除了可信度和权威性之外,影响视频质量的因素还有很多。因此,我们没有在所有情况下发现统计学上显著的相关性也就不足为奇了。个人品味和喜好起着重要作用。例如,视频
有一些来自某些频道的视频,平均评分差异很大,但健康信托评分相同。在这种情况下,这些视频没有链接(收藏夹),但从它们的频道继承了HealthTrust评分。这一问题的一个例子是以下两个视频从糖尿病足列表中显示给消费者:(1)
视频截图
在这两个实验中,我们在进行实验时删除了一些视频或频道。在频道研究中,有两个被删除了,在第二个研究中,一些视频获得了较低的评分,因为它们是由作者保密的。这个问题不太可能对我们的研究产生偏见,因为它影响的样本很小,而且对所有算法的影响都是一样的。
为了推广我们的发现,我们必须进行大规模的研究,包括更多的查询、评论者和视频。我们基于调查的评估方法仅仅是健康消费者搜索信息的真实背景的近似值。基于调查的在线视频评估非常耗时,因为大多数视频持续几分钟。我们需要看30分钟左右的视频来完成我们的调查。因此,为了推广我们的发现,我们实现了一个视频门户,以捕获更多数据,以便在真实的用户环境中进行评估。视频门户还需要解决在线社区结构的持续变化(例如,随着时间的推移,声誉的变化)。对于在线社区的动态特性,一个可能的解决方案可能是定期计算HealthTrust。
此外,我们的方法是否适用于有大量用户宣传误导性信息的健康领域还有待观察。例如,有些社区提倡厌食症作为一种生活方式。
我们目前的研究仅限于在线健康视频;因此,我们需要在其他类型的社交媒体上重复我们的研究,以推广我们的发现。我们相信HealthTrust指标可以应用于任何类型的链接健康社区,在这些社区中,用户通过关注、友谊和喜爱的内容相互联系。然而,需要进行实验来评估算法,因为每种类型的社区可能有不同的结构和动态。
我们的研究仅限于自动提取基于信任的指标的方法,以及使用这些指标检索健康视频的可行性。还需要更多的研究来测试如何将HealthTrust与人类专家手动选择社交媒体相结合。HealthTrust在自动识别糖尿病社区中最可信的来源方面非常有用。然而,一些值得信赖的提供商有非常好的内容,但在在线社区中没有获得足够的信任。
每天,数以百万计的健康消费者在YouTube等社交平台上搜索健康信息,而从可信来源检索准确信息往往很困难。对于新的信息检索工具的需求尚未得到满足,以帮助健康消费者在社交媒体中找到值得信赖和相关的健康信息。
在本文中,我们提出了一个名为HealthTrust的新指标,来推断健康社区内社交媒体内容的可信度信息。我们测试了使用HealthTrust从YouTube上的糖尿病社区检索视频的可行性。根据我们与健康消费者和专业人士的评估,在几乎所有测试案例中,基于HealthTrust指标搜索糖尿病内容的表现都优于YouTube。然而,还需要进行更大规模的研究来验证我们在健康门户网站上的结果,以便在实际环境中测试该指标。
尽管我们的研究存在局限性,但我们得出的结论是,要将社交网络分析应用于检索健康信息,可以使用社交媒体开发工具,最终帮助找到相关和值得信赖的信息。社会网络分析也可以用于加强其他健康信息检索方法,如质量标签和人工审查内容。
应用程序编程接口
折现累积收益
疾病控制和预防中心
超链接诱导的主题搜索
我们要感谢我们的同事们非常有用的意见,这有助于改进这篇论文,特别是来自明尼苏达大学计算机科学与工程系GroupLens小组的Joseph A Kostan教授。此外,我们要感谢糖尿病之手基金会在招募糖尿病患者方面的支持。
本项目隶属挪威研究委员会联合资助的特罗姆瑟远程医学实验室,项目编号174934。
LFL参与了所有的研究和手稿准备工作。
RK审阅了手稿,并就研究的算法方面向LFL提出了建议。
GBM参与了研究设计、机构评审委员会申请、招募工作,并对稿件进行了审稿。