JMIR J Med Internet Res 医学互联网研究杂志 1438 - 8871 卡塔尔世界杯8强波胆分析 加拿大多伦多 v19i12e414 29237586 10.2196 / jmir.9266 原始论文 原始论文 利用社交媒体数据了解促销信息对外行人讨论的影响:以Lynch综合征为例 Eysenbach 冈瑟 鲁伊 帕克 温迪 Bragazzi 尼古拉 博士学位 1 http://orcid.org/0000-0002-2238-5429 Yunpeng 女士 1 http://orcid.org/0000-0002-5771-3373 萨卢姆 拉姆兹克 博士学位 1 http://orcid.org/0000-0002-8139-2418 英里每小时,博士 1 http://orcid.org/0000-0003-0587-4105 博士学位 2 http://orcid.org/0000-0001-7004-3549 Prosperi Mattia 孟博士 3. 4 http://orcid.org/0000-0002-9021-5595 Hansi 女士 1 http://orcid.org/0000-0003-4585-0888 Xinsong 女士 1 http://orcid.org/0000-0003-3713-3264 Ramirez-Diaz 劳拉·J 英里每小时 1 http://orcid.org/0000-0001-8291-6132 博士学位 5 http://orcid.org/0000-0003-3608-0244 太阳 博士学位 6
工商管理学院 浙江工商大学 下沙大学城浙江工商大学学政街18号 浙江杭州,310018 中国 86 0571 28008005 86 0571 28008006 d05sunyuan@zju.edu.cn
http://orcid.org/0000-0002-8659-1870
1 健康结果与生物医学信息学学系 医学院 佛罗里达大学 盖恩斯维尔,FL 美国 2 管理系 沃灵顿商学院 佛罗里达大学 盖恩斯维尔,FL 美国 3. 流行病学学系 公共卫生与卫生专业学院 佛罗里达大学 盖恩斯维尔,FL 美国 4 流行病学学系 医学院 佛罗里达大学 盖恩斯维尔,FL 美国 5 信息学院 佛罗里达州立大学 塔拉哈西,佛罗里达州 美国 6 工商管理学院 浙江工商大学 杭州,浙江 中国 通讯作者:孙元 d05sunyuan@zju.edu.cn 12 2017 13 12 2017 19 12 e414 31 10 2017 15 11 2017 17 11 2017 17 11 2017 ©边江,赵云鹏,Ramzi G Salloum,郭毅,王默,Mattia Prosperi,张汉西,杜鑫松,Laura J Ramirez-Diaz,何喆,孙元。原载于医学互联网研究杂志(//www.mybigtv.com), 2017年12月13日。 2017

这是一篇在知识共享署名许可(https://creativecommons.org/licenses/by/4.0/)下发布的开放获取文章,该许可允许在任何媒介上不受限制地使用、分发和复制,前提是原始作品首次发表在《医学互联网研究杂志》上,并适当引用。必须包括完整的书目信息,到//www.mybigtv.com/上原始出版物的链接,以及版权和许可信息。

背景

制药公司、政府机构、卫生保健组织、专业人员和新闻媒体等各种利益相关者正在使用社交媒体,作为吸引受众提高疾病意识并最终改善公共卫生的一种方式。然而,目前还不清楚这些健康信息对外行人有什么影响。

客观的

本研究旨在详细研究与Lynch综合征相关的健康宣传信息如何影响外行人在社交媒体平台(Twitter)上的话题意识和态度。

方法

我们使用主题建模和情感分析技术对Lynch综合征相关推文进行了研究,回答了以下研究问题(RQs):(1) Lynch综合征相关推文中讨论最多的话题是什么?(2) Twitter上与Lynch综合征相关的宣传信息如何影响外行人的讨论?(3)大肠癌宣传月和Lynch综合征宣传日的Lynch综合征宣传活动对外行人的讨论和态度有何影响?特别地,我们使用一组关键词,通过Twitter公共搜索应用程序编程接口(API)收集2016年10月26日至2017年8月11日(289天)与Lynch综合征相关的推文。我们尝试了两种不同的分类方法,将tweet分为以下三类:(1)不相关的,(2)促销健康信息,(3)外行人的讨论。我们采用主题建模的方法来发现这些与Lynch综合征相关的推文的主题,并对每条外行人的推文进行情绪分析,以衡量作者对Lynch综合征的态度(即积极、消极和中立)。通过主题建模和情感分析结果来回答这三个rq。

结果

在所有tweets (N=16,667)中,87.38%(14,564/16,667)与Lynch综合征相关。在与Lynch综合征相关的推文中,81.43%(11860 / 14564)被归类为推广推文,18.57%(2704/ 14564)被归类为非专业人士讨论推文。讨论最多的主题是 治疗(n = 4080) 基因检测(n = 3073)。我们发现外行人讨论中的话题分布与促销Lynch综合征相关信息的分布相似。此外,大多数人在讨论Lynch综合征时都持积极的态度。负推比例为3.51%。在每个主题中, 治疗(16.67%)和 基因检测(5.60%)与其他话题相比,负面推文更多。当比较月度趋势时,外行人的讨论与促销Lynch综合征相关的信息有很强的相关性 意识 r= .98, P<.001),而与 筛选 r=条, P= . 05), 基因检测 r= .624, P= .04点), 治疗 r=,。 P= .02点) 风险 r=点, P= 03)。我们还发现,结肠癌宣传月(2017年3月)和Lynch综合征宣传日(2017年3月22日)对外行人的讨论和态度有显著的积极影响。

结论

有证据表明,参与性社交媒体平台,即Twitter,提供了独特的机会,为癌症传播监测提供信息,并探索这些新的传播媒体影响个人健康行为和人口健康的机制。

社交媒体 林奇综合症 公共卫生监测 情绪分析
介绍

2000年,比尔·克林顿总统签署了一项白宫宣言,将每年的3月定为“结肠癌宣传月”,以引起人们对美国癌症死亡的第二大原因的关注。Lynch综合征,也被称为遗传性非息肉病性结直肠癌(HNPCC),是一种遗传性疾病,会增加患结肠癌和直肠癌的风险,特别是许多其他类型的癌症,如胃癌、肝癌、胆管癌、小肠癌、上尿路癌、脑癌和皮肤癌的风险[ 1]。Lynch综合征是遗传性结直肠癌最常见的病因,约占遗传性结肠癌病例的2%至3% [ 2]。3月22日被世界各地的社区定为“林奇综合症宣传日”[ 3.]。

社交媒体给健康传播领域带来了迅速的变化。特别是,社交媒体平台被用来促进健康行为[ 4],改善医疗和病人教育[ 5 6],克服提供保健服务方面的障碍[ 7],并处理公共卫生监督问题[ 8 9]。一方面,公共卫生利益相关者,包括卫生组织、政府机构、制药公司、新闻媒体和倡导者,利用社交媒体在互联网上广泛传播卫生信息。另一方面,外行人分享他们的个人健康经验,发表评论,并对特定的健康问题、医疗产品和医疗保健服务发表意见。然而,关于Lynch综合征和社交媒体的研究却很少。通过PubMed搜索,我们只发现了一项研究,作者要求一个倡导组织在Facebook上传播他们的研究信息,以展示在社交媒体平台上招募Lynch综合征参与者的可行性[ 10]。

推特是一个免费的社交媒体平台,用户可以发送和阅读140个字符的短帖子,称为“推文”。Twitter分析已被用于许多生物医学和公共卫生研究,涉及广泛的健康主题[ 11]。例如,Broniatowski等人成功地将Twitter数据用于流感监测[ 12]。workwych等人假设Twitter数据可能有助于理解公众对运动相关创伤性脑损伤的认知和误解[ 13]。Massey等人量化了Twitter上的人乳头瘤病毒(HPV)疫苗接种沟通,并使用情绪分析来调查人们对HPV疫苗接种的态度[ 14]。Cole-Lewis等人通过使用历史Twitter数据进行了内容分析,以确定有关电子烟(电子烟)的关键对话趋势[ 15]。

在本文中,我们以Lynch综合征为个案研究,寻找在Twitter上讨论的热门Lynch综合征相关话题,研究与Lynch综合征相关的促销信息(如广告、促销和公共关系相关的信息)与外行人讨论(如对卫生服务的评论、对政策的意见和自我表达的感受)之间的相关性,并了解Lynch综合征意识事件对外行人讨论的影响。注意,我们是根据信息类型而不是用户类型对tweet进行分类的。一个受过良好教育的外行人(例如林奇综合症患者)也有可能发布推文,以提高人们对林奇综合症的认识,并提供有关林奇综合症的知识。然而,在我们的研究中,这些推文被归类为促销信息。分析外行人在Twitter上的讨论将是一个非常有用的工具,可以收集外行人对林奇综合征和结直肠癌的认识、看法和态度,这对各种利益相关者来说都是非常有用的,包括制药公司、政府机构、卫生保健组织和专业人士,以及新闻媒体。例如,健康倡导团体可以通过了解外行人讨论的热点话题来调整健康传播策略,优化健康宣传信息的传播。通过了解意识事件如何影响外行人的看法和态度,卫生保健组织有机会估计他们的促销健康事件对外行人行为的影响,以供未来规划。

本研究的主要目的是了解与Lynch综合征相关的健康信息如何影响外行人在Twitter上的讨论。本研究旨在回答以下研究问题(RQ):

RQ1:与Lynch综合征相关的推文中讨论最多的话题是什么? RQ2:从主题分布的角度来看,Twitter上与Lynch综合症相关的宣传信息如何影响外行人的讨论? RQ3:大肠癌宣传月(3月)和林奇综合症宣传日(3月22日)是否会影响外行人在Twitter上的讨论和他们的态度?
方法 数据分析概述

我们的数据分析包括以下4个步骤 图1

第一步是数据采集和预处理。我们使用Twitter应用程序编程接口(API)基于与Lynch综合征相关的一组关键字收集公开推文。然后,我们过滤掉非英语的推文,并标准化文本(例如,标签和网络链接)。

第二步是tweets的分类。我们将外行人的讨论与宣传林奇综合症相关的信息分开。我们实验了两种方法来自动分类Twitter数据——卷积神经网络(CNN)和基于规则的分类器。

第三步是主题建模和情感分析:

主题建模:我们使用潜在狄利克雷分配(LDA)模型来确定所收集的Twitter数据集中促销信息和外行人讨论的主要讨论主题。

情感分析:我们建立了一个CNN,为外行人讨论中的每条推文分配一个情感标签,即积极、消极和中性。

步骤4采用rq,通过分析主题建模和情感分析的结果,检验促销Lynch综合征相关信息与外行人讨论之间的关系。在2017年3月结肠癌宣传月和3月22日Lynch综合征宣传日期间,我们展示了Twitter上Lynch综合征相关话题的频率表,Lynch综合征相关宣传信息与外行人讨论的相关性,以及与认知相关的话题/情绪趋势。

通过这些分析,我们旨在回答上面发布的三个rq。

第一步:数据采集和预处理

使用推特爬虫收集2016年10月26日至2017年8月11日(289天)与Lynch综合征相关的推文[ 16]基于与林奇综合症相关的一组关键字(即“Lynch syndrome”、“#lynchsyndrome”、“lynchsyndrome”和“#lynch_syndrome”),非英语推文被过滤掉。为了生成关键字列表,我们使用滚雪球抽样过程。我们从一组相关的种子关键词开始(例如,“lynch综合征”)。然后,我们用这些关键词在Twitter上搜索以检索tweets样本,评估检索到的tweets是否确实与Lynch综合征相关,并确定用于下一轮搜索的附加关键词。雪球采样过程迭代进行,直到没有发现新的关键字。我们选择了特定的时间段(即从2016年10月26日到2017年8月11日),因为我们的rq之一是检查宣传活动的影响(即2017年3月结肠癌宣传月和3月22日Lynch综合征宣传日)。该数据集为我们提供了足够的样本来比较事件发生之前、期间和之后的影响(例如,推文数量的变化、外行人的情绪变化和讨论主题的变化)。

然后,我们按照GloVe[]使用的预处理步骤对tweet的内容进行预处理。 17],并做了如下修改:(1)将所有标签(如#Lynchsyndrome)替换为“ PHRASE”(如“ Lynchsyndrome”);(2)用户提及(例如,“@MyGeneCounsel”)被替换为“”;(3)网址(如“https://t.co/fMmFWAHEuM”)被替换为“”;(4)所有表情符号都被替换为“”。

步骤2:Tweets分类

我们使用了两步流程将tweet分为3类(即,不相关的,与Lynch综合症相关的促销信息,以及外行人的讨论)。在第一步中,我们将推文分类为相关和不相关,而在第二步中,我们将推文进一步分类为与促销Lynch综合征相关的信息和外行人的讨论。由于数据集的大小,手动注释所有tweet是不可行的。因此,我们探索了两种方法来构建监督模型来对收集到的推文进行自动分类。我们拟合了一个CNN分类器,并建立了一个简单的基于规则的分类器。我们比较了两种方法的性能,并使用了平衡精度、召回率和F-measure的最佳性能模型。

Twitter数据处理和分析工作流程。

卷积神经网络分类器

cnn已被广泛用于具有最先进性能的句子分类任务[ 18]。为了构建CNN分类器,我们首先需要一个带注释的训练数据集。我们随机选择1000条推文,由2名评论者独立阅读和标记。注释任务是将每条推文分为以下三类:(1)与Lynch综合征无关(即即使一条推文包含与Lynch综合征相关的关键词,但该推文可能与Lynch综合征无关,例如,“我没有时间或耐心或业务娱乐没有人威利林奇综合征”);(2) Lynch综合征相关的宣传信息(如新闻、研究文章、宣传信息和广告,如“RT @ShewithLynch: #Lynchsyndrome # news:早期筛查可以拯救许多结直肠癌患者,研究表明- https://t.co/DVEb2xaD”);(3)与Lynch综合征相关的外行人讨论(例如,“第一次#结肠镜检查预约集”。在我的余生中,我每年至少要这样做一次#私刑综合征#结肠癌意识”)。

构建CNN句子分类器的一个常用策略是使用词嵌入[ 19将原始文本转换为实数向量作为特征。我们使用了GloVe预训练的词向量,它是在20亿条推文和120万个词汇表上训练的。对于每条tweet,通过将tweet中的每个单词映射到其对应的d维词嵌入向量来构建矩阵。由于每条推文的长度不同,我们用零填充长度小于最长推文的推文。这样,所有tweets都被转换成具有相同维数的词嵌入特征矩阵。然后将这些特征矩阵输入到cnn中。

我们使用相同的特征矩阵构建了两个cnn:一个将推文分类为相关和不相关,另一个将相关推文进一步分类为推广Lynch综合征相关信息和外行人讨论。

基于规则的分类

通过对收集到的推文进行随机抽样检查,我们发现96%的不相关推文都有关键字“willie”或“willy”,指的是一个名叫“willy Lynch”的人。因此,我们构建了一个简单的基于规则的分类器,如果tweet包含这两个关键字中的任何一个,它就会被分类为不相关。此外,在相关数据集中,我们观察到88%的外行人讨论不包含任何链接。与Lynch综合征相关的推广推文通常是提及Lynch综合征相关的新闻、新的诊断或治疗技术等研究成果以及健康促进活动。由于每条tweet的长度限制为140个字符,用户经常在tweet中使用超链接来引用源文章。相反,外行人的讨论典型地表达了他们自己的态度或意见,而没有参考任何其他信息来源。因此,在第二步中,如果tweet包含任何链接,则将其归类为与促销Lynch综合征相关的信息。除此之外,这条推文被归类为外行人的讨论。

步骤3A:主题建模

在自然语言处理中,主题模型是一种统计模型,可以从文档集合中发现抽象主题[ 20.]。在本研究中,我们使用LDA算法来寻找总体Twitter数据中呈现的主要主题,包括与促销Lynch综合征相关的信息和外行人的讨论[ 21]。LDA是一种生成模型,它将每个文档(即我们的推文)表示为潜在主题的混合物,每个主题都可以以一定的概率生成单词。主题模型最重要的特性之一是,它们不需要事先对文档进行任何注释或标记。然而,与许多其他无监督聚类算法类似,主题的数量是一个需要先验确定的参数。我们尝试了三种不同的统计方法来寻找适合LDA的主题数量,具体方法如下:(1)Arun2010: Arun等人将LDA视为一种矩阵分解机制,可以将主题分布分解为矩阵因子。然后,他们计算了由这些矩阵因子导出的显著分布的对称Kullback-Leibler散度。他们观察到,对于非最优主题数量,散度值更高[ 22];(2) Cao2009: Cao等人认为LDA过程类似于基于密度的聚类算法。因此,寻找最佳主题数量的目标与寻找最佳簇数的目标类似,都是最大化簇内相似度,最小化簇间相似度[ 23];(3) Deveaud2014: Deveaud等人与Arun2010方法类似,使用了一种简单的启发式方法,通过最大化LDA所有对主题之间的信息散度(即Jensen-Shannon散度)来估计潜在主题的数量[ 24]。然而,这些统计方法并不总是收敛的,而且经常发现的主题数量不符合人类的判断。因此,对生成的主题进行额外的定性分析以确定其质量仍然是必要的。

在应用LDA算法之前,我们进一步预处理了Twitter数据,对单词进行归纳,并删除常用但与主题无关的单词,我们的目标是基于停用词列表(例如,“it”,“he”,“she”和“that”)来发现主题。我们在训练LDA模型时遵循了最佳实践。当我们通过LDA学习了每个主题的单词概率分布(以及这些主题在整个文档集合上的概率分布,即tweets)时,每个主题都可以自然地可视化为单词云,其中单词的大小与其在主题上的概率成正比。

为了了解每个话题的成交量趋势,我们还需要知道每条推文的主题。LDA模型还可以根据tweet的内容为每个tweet分配主题。正如LDA模型所描述的,每条推文都是主题的混合体,其中每个主题都有一定的概率出现在该推文中。因此,每个tweet的所有主题都有一个概率值,不太可能出现的主题具有较小的概率值。换句话说,分配给tweet的每个主题都有一个概率来表示tweet将如何被分类到该特定主题中。因此,我们需要确定主题概率值的截止值,以便为每条tweet分配一个准确的主题。在tweet被分配了多个主题的情况下,我们选择具有最高概率值的主题。

利用主题建模和情感分析的结果分析三个研究问题,了解促销林奇综合症相关信息对外行人讨论的影响。

林奇综合症相关推文的主题是什么?

我们对从潜在狄利克雷分配(LDA)模型中发现的主题进行定性分析,并用一组词云对潜在主题进行可视化。

我们绘制了每个主题类别的推文数量,并根据受欢迎程度对主题进行排名。

我们考察了总体外行人情绪的描述性统计,以及他们的情绪的主题。

从主题分布的角度来看,Twitter上与Lynch综合症相关的宣传信息如何影响外行人的讨论?

我们计算每个话题在其用户群中的比例(即与促销Lynch综合征相关的信息和外行人的讨论),并将话题分布结果可视化为词云,以检验与促销Lynch综合征相关的信息是否与外行人的讨论具有相似的话题分布。

我们绘制了每月的主题趋势,包括与Lynch综合征相关的宣传信息和外行人的讨论。我们还使用Pearson相关效率检验了这些趋势之间的相关性。

结肠癌宣传月(3月)和林奇综合症宣传日(3月22日)是否会影响外行人在Twitter上的讨论和他们的态度(即积极、消极和中立)?

我们研究了在这些时间段内整体推文量是如何变化的,以及不同主题的推文量是如何变化的。

我们还绘制了人们整体情绪的趋势,以及他们在整个时间段内按主题的情绪,并研究了事件期间的变化。

步骤3B:情绪分析

情感分析是一种流行的自然语言处理方法,经常用于从一篇文章中确定作者的观点、态度或情绪状态。情感分析的一个基本任务是对给定文本的极性(即积极、消极和中性)进行分类。主要有两种情绪分析方法[ 25]包括:(1)基于机器学习的方法,从标记的训练数据中构建分类模型;(2)基于词典的技术,如语言查询和单词计数[ 26将词汇选择与作者的观点联系起来。根据基于机器学习的方法,我们按照步骤2中用于情感分类的相同过程构建了一个CNN模型。训练数据包含1092条推文(即,我们从1500条随机推文开始;重复数据删除后,从外行人的推文中(即,我们只对外行人对Lynch综合征的态度感兴趣)随机选择1092条推文进行注释,并由两个编码员(YZ和LJRD)将其注释为积极,消极和中性三大类。科恩kappa是0.89,这表明两位程序员之间有着强烈的共识。我们咨询了第三个审稿人(JB)来解决两个程序员之间的分歧。

第四步:研究问题

我们通过对主题建模和情感分析结果的分析,回答了这三个rq ( 文本框1)。

结果 第一步:数据采集和预处理

通过Twitter爬虫使用Twitter API [ 16],从2016年10月26日至2017年8月11日共收集了16667条推文。经过预处理和去除非英语推文后,还剩下14564条推文。 图2显示了该时间段内英文推文的月分布。

步骤2:Tweets分类

注释任务创建了1000条随机tweet的黄金标准数据集。两位编码员之间有一个中等程度的一致(即,Cohen kappa=.72) [ 27]。第三个人审查了这些分歧,并将这些推文归入了适当的类别。我们探索了两种分类方法(即CNN模型和基于规则的分类器)并比较了它们的性能。由于数据集是不平衡的(即,大多数推文都是相关的,因为我们使用了非常具体的关键字来收集这些数据,并且促销推文比外行人的讨论更多),我们使用加权精度,召回率和F-measure来衡量分类器的性能。

如图所示 表1尽管基于规则的分类器很简单,但它在这两个分类任务上都优于复杂的CNN模型。因此,我们使用基于规则的分类器对所有tweet进行分类。在14564条英文推文中,11860条推文被归类为相关推文。在相关推文中,有2705条属于外行人的讨论,11077条属于与Lynch综合征相关的宣传信息。

以月为单位收集的与Lynch综合征相关关键词的英文推文数量。

两种分类器性能的比较。

分类方法 相关与不相关 促销与外行
精度 回忆 F-measure 精度 回忆 F-measure
卷积神经网络 .651 .807 .720 .514 .717 .599
基于规则的 .938 .935 .936 .877 .870 .873
步骤3A:主题建模

我们尝试了所有三种统计方法来寻找与Lynch综合征相关的推文(即被分类为相关的推文)中的主题数量。如图所示 图3,这三种方法都没有收敛,因此我们可以选择适当数量的主题。注意,我们没有给出y轴的单位 图3由于三种不同的度量有不同的单位。然而,度量的单位并不重要,因为目标是找到曲线的“弯头”点,这将表明主题的最佳数量。

因此,我们对10、15、20和30个主题进行了实验,并使用词云来可视化结果。在每次迭代中,改变主题的数量(K=10、15、20和30),向两名编码员展示主题的词云和一组示例tweet,并要求他们根据自己的判断独立地为每个主题分配一个标签。每个编码员还被要求识别重复的主题和质量差的主题(即主题中的关键字没有代表一个连贯的概念)。然后我们选择了 K这产生了最少数量的重复主题和不充分的主题。我们确定最合适的主题数量是10个,并确定所有主题的标签。在编码人员不同意特定标签的情况下,通过与整个研究团队讨论来解决冲突。我们还将具有相似语义的主题合并到一个类别中。例如,“awareness事件”通常包含提高Lynch综合征意识的事件信息,而“awareness”主题中的推文则提高了Lynch综合征知识。因此,我们将“觉知事件”和“觉知”合并为“觉知/觉知事件”。最终提取的主题和相关的词云显示在 图4

在生成主题后,LDA模型还能够为每条tweet分配主题概率分布。如图所示 表2, LDA为每个主题分配了一个概率值,即使某个主题不太可能出现在tweet中。因此,我们需要找到一个截止概率值来提取每条tweet的主要主题。我们首先生成了50条tweet的随机样本,并迭代测试了不同的截止值。在每次迭代中,我们评估分配给50条tweet的截止概率值以上的主题,并手动确定分配是否合适。我们选择了每条推文产生最小主题数的截止值,准确率在80%以上(即超过80%的推文通过人工审核获得了正确的主题分配)。结果,一些推文被分配了多个主题,而另一些则没有任何主题。 表3显示每个主题中的tweet示例。

三个主题建模质量是通过主题的数量来衡量的。

从与林奇综合症相关的推文中学到的八个话题。

主题示例及其分配给每个tweet的概率。

类别 推特 前3个话题(话题概率)
促销 “随着时间的推移,林奇综合症患者患各种癌症的风险有多大?”基于人群的研究提供了答案。” 风险(0.644),基因检测(0.197),治疗(0.118)
“#癌症治疗期间适应身体变化#林奇综合症” 治疗(.533),患者(.276),家属(.139)
非专业人员 “我有林奇综合症,有60-80%的机会死于结肠癌,就像我的母亲和兄弟一样#我有一种预先存在的状况。” 家族和遗传(.442),筛查(.327),患者(.172)
“我的乳腺癌诊断让我做了一个基因测试,发现我有一个基因4 #林奇综合征#早期检测#结肠癌月” 患者(.716),风险(.128),意识/意识事件(.119)

按主题的tweet示例。

主题 例子推
家族和遗传 “本周,我们重点关注林奇综合征、家族性高胆固醇血症和遗传性乳腺癌和卵巢癌。”
“旨在预防遗传性癌症,研究人员关注# lynch综合征#NCICancerCurrentsBlog #癌症”
筛选 “#Lynchsyndrome #新闻:研究表明,早期筛查可以挽救许多结直肠癌患者”
“林奇综合症的普遍肿瘤筛查:医疗保健提供者的观点。”
广告 “感谢我们的新追随者!”加入我们的#周一#GenCSM!# Lynchsyndrome # HereditaryColorectalCancer”
#Lynchsyndrome #GenCSM:感谢我所有的新粉丝!祝你有美好的一天!!G @非营利组织:”
治疗 “对于已知患有lynch综合征的人,建议采用全腹结肠切除术来治疗结直肠癌。”
“#卵巢癌和其他妇科恶性肿瘤的治疗继续取得进展”
病人 “新发现的林奇综合症患者表示,30多岁的孩子因为‘不便’而拒绝接受检查。”希望时间/教育能改变人们的想法。”
“1/44 #结肠癌患者患有#Lynchsyndrome @HHampel1 @theNCI #登月计划#遗传性癌症”
风险 “顺便说一句,胶质母细胞瘤是非常恶性的,农药等化学物质是危险因素。林奇综合症等遗传疾病是一个风险因素。”
"作者指出Lynch综合征患者一生中患卵巢癌的累积风险:到80岁时为20% "
基因检测 "妈妈拿回了基因检测结果,很明显,他们把肿瘤归因于基因突变,所以她患lynch综合征的几率为24%;;;啊”
“遗传性结肠癌综合征可以通过基因检测来预测。# GetScreened # LynchSyndrome”
意识和意识活动 “# lynchsyndromeawarenessday快乐!# Lynchsyndrome #遗传学”
“#大肠癌宣传月-如果你被诊断为结直肠癌,确保你的肿瘤接受了IHC或MSI检测的4 #Lynch综合征筛查。”
步骤3B:情绪分析

我们用1092条带注释的推文训练了一个情感CNN分类器。我们遵循机器学习实验中的最佳实践来构建CNN,例如,使用80%的推文作为训练数据集,并在剩余20%的保留测试集上测量分类器的性能。CNN分类器的性能比较合理(precision: .737, recall: .766, F-measure: .736, accuracy: .766)。

第四步:研究问题 RQ1: Lynch综合征相关推文的主题是什么?

我们按主题绘制了tweet数量的直方图,并按数量对主题进行了排序,如下图所示 图5

治疗 基因检测, 意识是林奇综合症相关推文的前三大话题。

我们绘制了总体外行人讨论推文的情绪分布,以及每个主题的情绪分布,如图所示 表4.总体而言,大多数推文是中性的(78.07%),尽管积极的推文(18.42%)明显多于消极的推文(3.51%)。跨越情感分布的话题,只有 治疗Topic的负面推文(16.67%)多于正面推文。

rq2:从主题分布的角度来看,Twitter上与Lynch综合症相关的促销信息如何影响外行人的讨论?

我们计算了每个话题在推广Lynch综合征相关信息和外行人讨论中所占的比例,并使用词云对结果进行了视觉比较。如图所示 图6,外行人讨论的话题及其比例与宣传林奇综合症相关信息相似。

我们还计算了Pearson相关系数[ 28在Lynch综合症相关的宣传信息和外行人基于他们每月推文量的讨论(如图 图7)。如图所示 表5,外行人的讨论与宣传Lynch综合征的相关信息有很强的相关性 意识主题和主题上的适度相关性 筛选 基因检测 治疗, 风险

从潜狄利克雷分配模型中学习到的不同主题的推文数量。

外行人对Lynch综合征的整体情绪分布及其跨主题情绪分布。

主题 正面(%) 负(%) 中性(%)
家族和遗传 31 (35.63) 2 (2.30) 54 (62.07)
筛选 11 (8.73) 3 (2.38) 112 (88.89)
广告 36 (41.86) 2 (2.33) 48 (55.81)
治疗 0 (0.00) 78 (16.67) 390 (83.33)
病人 97 (49.75) 1 (0.51) 98 (49.75)
风险 24 (12.00) 0 (0.00) 176 (98.00)
基因检测 28日(17.40) 9 (5.59) 124 (77.00)
意识和意识事件 60 (20.00) 0 (0.00) 240 (80.00)
整体 498 (18.42) 95 (3.51) 2111 (78.07)

促销Lynch综合征相关信息的话题比例与外行人的讨论。

按月和推文类型划分的与Lynch综合征相关的推文数量(即,与Lynch综合征相关的宣传信息vs非专业人士的讨论)。

推广林奇综合症相关信息与外行人讨论之间的Pearson相关系数基于他们每月的tweet量。

主题 相关系数 P价值
家庭/遗传 .479 .14点
筛选 0。
广告 .112 .74点
治疗 .698 02
病人 .211 53
风险 .659 03
基因检测 .624 .04点
意识和意识活动 .989 <措施
rq3:结肠癌宣传月(3月)和林奇综合症宣传日(3月22日)是否会影响外行人在Twitter上的讨论和他们的态度(即积极、消极和中立)?

如图所示 图7在3月的结肠癌宣传月期间,推特总量急剧增加,并在2017年3月22日的林奇综合症宣传日前后达到顶峰。此外,如 图8在twitter上,单个话题的推文量也遵循同样的模式,尤其是“意识/意识事件”、“基因测试”和“病人”。

然后,我们绘制了外行人讨论中不同情绪类别的总体tweet量趋势,如图所示 图9.在整个时间段内,负面推文的数量基本保持不变。中性推文的数量在3月份急剧增加,反映了该月推文数量的显著增加( 图2)。3月份,积极推文的数量也有所增加,但没有中性推文那么咄咄逼人。

我们进一步以话题为单位分析外行人的情绪变化趋势,了解在认知事件中,外行人对哪些话题的态度变化明显。我们为每个话题构建了每个月的平均情绪得分。对于每条单独的推文,如果它是积极的,我们给它打分为1,如果它是中性的,我们给它打分为0,如果它是消极的,我们给它打分为- 1。我们按月汇总每个主题中所有推文的得分,并根据该月该主题类别中的推文总数对得分进行规范化。如图所示 图10在美国,“广告”和“意识/意识事件”的平均情绪得分在三月意识月期间显著上升,但随后立即下降。其他话题没有明显的情绪趋势。

按月和按主题发布的与林奇综合症相关的推文数量。

每月的推文数量和外行人的情绪。

每个月“广告”和“意识/意识事件”主题的平均情绪得分。

讨论 主要研究结果

我们研究的目的是了解与Lynch综合征相关的健康信息如何影响外行人在Twitter上的讨论。我们对Lynch综合征相关推文进行了主题建模和情感分析,回答了以下3个rq:(1) Lynch综合征相关推文中讨论最多的话题是什么?(2) Twitter上与Lynch综合征相关的宣传信息如何影响外行人的讨论?(3)大肠癌宣传月和Lynch综合征宣传日的Lynch综合征宣传活动对外行人的讨论和态度有何影响?我们发现,“意识”、“治疗”和“基因检测”是林奇综合征相关推文中最受欢迎的话题。此外,与社交媒体上讨论的其他话题相比,外行人对“治疗”和“基因检测”的态度相对消极。Twitter上与林奇综合症相关的信息大多集中在治疗和基因检测上,这并不奇怪,人们对这些话题的态度更为消极,因为他们担心患癌症的风险更高或癌症诊断为阳性的可能性,担心成本和诊断方法的质量(例如,“我患过两次癌症,我一直担心三次。没有医疗保险让我心碎”和“lynch综合征的基因检测费用”)。

促销性Lynch证候相关信息的话题分布与外行人的讨论相似。特别是,外行人对“意识”的讨论与Twitter上Lynch综合征相关的宣传信息高度相关,而对“筛查”、“基因检测”、“治疗”和“风险”的讨论则适度相关。这些结果表明,医疗机构和专业人员在Twitter等社交媒体平台上发布的促销信息可能对外行人产生重大影响。在某种程度上,我们的结果为在新的数字媒体上进一步开发新的癌症传播策略提供了证据[ 29]。

此外,健康相关意识活动和倡议,如3月结肠癌宣传月和3月22日林奇综合征宣传日,对外行人对健康状况的讨论、看法和态度有很大影响。我们对每月推文量趋势的分析显示,卫生组织和专业人员在这些宣传活动期间共同努力在推特上传播与Lynch综合征相关的宣传信息。此外,他们的努力对提高外行人对特定健康话题的认识产生了很大影响,这从这些意识活动期间外行人的推文数量增加中可以看出。此外,我们还观察到外行人在这些事件中有更积极的态度,如图 图10.有趣的是,在这些意识活动中,外行人对“广告”和“意识/意识事件”等特定话题的态度比其他话题更积极。态度的变化可以用社会影响理论来解释[ 30. 31]。当外行人获得更多关于结直肠癌和Lynch综合征的积极信息时,他们对健康状况有了更好的理解,并感知到更好的健康结果,这可能会导致更积极的思考。

积极影响外行人对Lynch综合征的态度和规范性信念的可能性,使我们有机会根据行为改变理论设计新的癌症预防和控制的参与性沟通策略。例如,在计划行为理论中[ 32],态度和规范性信念都可以塑造个人的行为意图和行为。然而,从我们的结果中可以明显看出,如 图7- 10与林奇综合症相关的推文数量和外行人的积极情绪在意识事件后都有所下降。这些结果表明,这些意识活动可能需要经常举办才能产生持续的效果。

与传统媒体(如报纸、电视广告、传单)相比,在社交媒体上设计合适的推广策略需要更多的考虑。卫生组织和专业人员需要考虑社会媒体可以提供什么样的信息,以及宣传信息如何实现其目标(例如,加强与受众的沟通以促进公众参与)。在我们的数据集中,许多与Lynch综合征相关的促销信息确实遵循了在社交媒体上发布健康促进信息的建议[ 33- 35],特别是传播重要的健康信息(例如,分享新闻、研究成果和林奇综合症的基本知识)和吸引公众参与(例如,结肠癌宣传月和林奇综合症宣传日)。

正如我们的研究所证明的那样,社交媒体在健康宣传中的使用正在迅速扩大。衡量这些健康促进战略的执行情况变得越来越重要。Neiger等人提出了一套关键绩效指标(kpi)和指标,用于评估社交媒体中健康促进的绩效[ 35]。kpi有四个指标,分别是:(1)insight(如社交媒体消费者反馈),(2)exposure(如某条推广信息被浏览的次数),(3)reach(如浏览过该推广材料及相关内容的人数),(4)engagement(如在帖子上点赞、分享和转发、参与线下活动)。我们的研究结果可以为这些关键指标提供更深入的见解。例如,情感分析结果将提供更多关于用户对这些健康促进事件的态度的细粒度信息,而不是简单的“点赞”。

我们的研究侧重于分析与Lynch综合征相关的推文文本,而Twitter收集了更多关于推文(例如,通过转发的推文之间的链接)及其用户(例如,用户位置,朋友和关注者)的信息。可以利用这些信息对Twitter上与健康相关的主题进行更深入的分析。例如,通过对转发网络进行建模,我们可以通过对社交网络的分析来研究推广健康信息是如何在Twitter上传播的。

限制

首先,为了对推文进行自动分类,并为每条推文分配一个情感,我们采用了计算分类方法,其准确率并不完美。这种不完美使得在微观尺度上(即在单个tweet上)有可能得到不正确的结果。然而,考虑到我们的数据量很大,在宏观尺度上的结果应该是一致的。此外,我们将推文分类为与Lynch综合征相关的促销信息和外行人的讨论。然而,我们归类为外行人讨论的一些推文可能来自卫生专业人员和卫生倡导团体。缓解此问题的一种方法是根据Twitter用户配置文件识别这些用户,并相应地对其tweet进行分类。此外,Twitter用户的人口统计数据(如年龄、性别、种族和民族)可能是我们分析中需要控制的混淆变量。然而,并没有一种简单的方法来确定Twitter用户的人口统计数据,因为Twitter并不要求其用户提供此类信息。

第二,主题建模只能在高层次上提取抽象主题。这些抽象的主题往往有更深入的方面需要探索。例如,“基因检测”可以进一步划分为更细粒度的方面(例如,基因检测的成本和基因检测的准确性)。解决这个问题的一种方法是开发一本编码书,并用细粒度主题手动注释每个单独的tweet。然而,这样的过程是劳动密集型的,并且对于大量的Twitter数据几乎是不可能的。一个可能的解决方案是标记tweet的一个小随机样本,然后开发监督分类器(类似于我们用于情感分析的方法)来自动标记其余数据。

第三,Twitter用户并不能代表一般人群。总的来说,大多数社交媒体用户往往更年轻;2017年,71%的推特用户年龄在49岁以下。 36]。

与前期工作比较

许多研究使用情感分析和主题建模来分析与健康相关主题的社交媒体数据。Doing-Harris等人设计了一个主题分类器,并确定了患者评论的共同主题,以了解患者对医疗服务的满意度[ 37]。Lu等人确定了热点话题,并测量了不同利益相关者的情绪表达,以了解他们的不同观点[ 38]。Guillory等人利用Twitter数据基于讨论主题和情绪分析电子烟讨论[ 39]。Wang等人使用关键词匹配和主题建模以及对社交媒体数据的定性方法来了解有关污染水平和公众反应的可操作信息[ 40]。Davis等人对Twitter数据进行情绪分析,以了解公众对奥巴马医改的反应[ 41]。据我们所知,我们的研究是第一次使用Twitter数据来了解促销健康相关信息与外行人讨论之间的相关性。

结论

我们的研究结果提供了证据,证实了卫生组织和专业人员在社交媒体平台上广泛推广的意识倡议和活动的积极影响。此外,更深入地了解这些宣传信息和活动如何影响个人的态度和他们所感知的社会规范,可以使我们更好地设计健康行为干预措施。一些未来的方向可以进一步促进我们对促销信息对外行人的影响的理解。例如,它将通过检查Twitter用户的个人资料和宣传材料的来源(按照tweet中的链接)提供额外的上下文和信息。然而,需要开发更先进的自然语言处理工具和机器学习模型来处理大量的Twitter数据。

缩写 API

应用程序编程接口

美国有线电视新闻网

卷积神经网络

HNPCC

遗传性非息肉病性结直肠癌

人乳头状瘤病毒

人类乳头状瘤病毒

KPI

关键绩效指标

乔治。

潜在狄利克雷分配

中移动

研究问题

这项工作得到了美国国家科学基金会(NSF)奖励#1734134、美国国立卫生研究院(NIH)资助UL1TR001427、OneFlorida癌症控制联盟(由佛罗里达州卫生部詹姆斯和埃丝特·金生物医学研究项目资助,资助号4KB16)以及由以患者为中心的结果研究所(PCORI)资助的OneFlorida临床研究联盟的部分支持。内容完全是作者的责任,并不一定代表NSF, NIH或PCORI的官方观点。

JB, YS, RS和YZ设计了最初的研究方案。YG, MP, ZH和MW对研究设计提出了重要的建议。YZ、LJRD和JB注释了Twitter数据。YZ和XD建立了情感分析的分类模型。YZ和HZ进行了主题建模。YZ做了统计分析。JB和YZ写了手稿。所有作者都对稿件进行了反馈和编辑。

没有宣布。

美国国家医学图书馆 遗传学主页参考 2017 林奇综合症 https://ghr.nlm.nih.gov/condition/lynch-syndrome Salovaara R Loukola 一个 Kristo P Kaariainen H Ahtola H Eskelinen Harkonen NgydF4y2Ba Julkunen R 把裙边 E Ojala 年代 Tulikoura J Valkamo E 贾维 H Mecklin 摩根大通 Aaltonen 德拉夏贝尔 一个 遗传性非息肉病性结直肠癌基于人群的分子检测 J .临床肿瘤学 2000 06 18 11 2193 200 10.1200 / JCO.2000.18.11.2193 10829038 acgblog 2017-12-06 林奇综合症宣传日 http://acgblog.org/2017/03/20/acg-presidents-blog-lynch-syndrome-awareness-day/ 科达 H Itani想知道 Z 利用社交媒体促进健康和改变行为 健康促进计划 2013 01 14 1 15 23 10.1177 / 1524839911405850 21558472 1524839911405850 切斯 CC 弗里金格 TE Chisolm 女士 社交媒体在医学教育中的应用:系统回顾 阿德莱德大学的地中海 2013 06 88 6 893 901 10.1097 / ACM.0b013e31828ffc23 23619071 l Mishna F VF 范维尔特 Bogo 社会媒体和社会工作教育:理解和应对新的数字世界 社会工作保健 2014 10 53 9 800 14 10.1080 / 00981389.2014.943455 25321930 Mattingly TJ 利用社交媒体的创新病人护理实践 美国医药协会(2003) 2015 55 3. 288 93 10.1331 / JAPhA.2015.14171 25859756 s1544 - 3191 (15) 30062 - 5 Kass-Hout 助教 Alhinnawi H 公共卫生中的社交媒体 Br Med Bull 2013 108 5 24 10.1093 / bmb / ldt028 24103335 ldt028 Velasco E Agheneza T Denecke K 基什内尔 G Eckmanns T 全球公共卫生监测系统中的社交媒体和基于互联网的数据:系统综述 米尔班克问 2014 03 92 1 7 33 10.1111 / 1468 - 0009.12038 24597553 PMC3955375 Burton-Chase 帕克 WM 亨尼希 K Sisson F Bruzzone 利用社交媒体招募患有罕见疾病的参与者:以林奇综合症为例 JMIR Res协议 2017 01 23 6 1 e12汽油 10.2196 / resprot.6066 28115298 v6i1e12 PMC5294367 Sinnenberg l Buttenheim Padrez K Mancheno C l 商人 RM Twitter作为健康研究的工具:系统回顾 公共卫生 2017 01 107 1 e1 e8 10.2105 / AJPH.2016.303512 27854532 PMC5308155 Broniatowski 保罗 乔丹 Dredze 通过Twitter进行国家和地方流感监测:2012-2013年流感流行分析 《公共科学图书馆•综合》 2013 12 8 12 e83672 10.1371 / journal.pone.0083672 24349542 玉米饼- d - 13 - 35058 PMC3857320 Workewych Ciuffetelli 毫米 R 年代 Topolovec-Vranic J Cusimano 医学博士 推特和创伤性脑损伤:对与运动相关的脑损伤有关的推特的内容和情绪分析 SAGE开放式医疗 2017 08 5 2050312117720057 10.1177 / 2050312117720057 28890783 10.1177 _2050312117720057 PMC5574478 梅西 领袖 一个 Yom-Tov E 布登兹 一个 费雪 K 克拉森 交流 应用多种数据收集工具量化Twitter上人类乳头瘤病毒疫苗的传播 J Med Internet Res 2016 12 05 18 12 e318 10.2196 / jmir.6670 27919863 v18i12e318 PMC5168526 Cole-Lewis H Pugatch J 桑德斯 一个 Varghese 一个 小波 年代 C 施瓦兹 Augustson E 社交聆听:Twitter上电子烟讨论的内容分析 J Med Internet Res 2015 10 27 17 10 e243 10.2196 / jmir.4969 26508089 v17i10e243 PMC4642379 J Github 2017 2017-12-06 tweetform:一个Python的twitter爬虫 https://github.com/bianjiang/tweetf0rm 彭宁顿 J Socher R 克里斯多夫 D 手套:单词表示的全局向量 2014 2014年自然语言处理(EMNLP)经验方法会议论文集 2014年10月25日至29日 卡塔尔多哈 1532 43 Y 卷积神经网络在句子分类中的应用 2014 2014年自然语言处理(EMNLP)经验方法会议论文集 2014年10月25日至29日 Qata多哈 1746 1751 10.3115 / v1 / d14 - 1181 Mikolov T Sutskever K 柯拉 G 迪安 J 词和短语的分布式表示及其组合性 2013 NIPS第26届神经信息处理系统国际会议论文集-第2卷 2013年12月5日至10日 内华达州的太浩湖 刘建军,刘建军,刘建军,刘建军。编辑器。Adv神经信息处理系统26 Internet Curran Associates, Inc 3111 3119 Papadimitriou CH Raghavan P 玉城丹尼 H Vempala 年代 潜在语义索引:一个概率分析 计算机系统科学 2000 10 61 2 217 235 10.1006 / jcss.2000.1711 布莱 DM Ng 约旦 潜在狄利克雷分配 J Mach Learn Res 2003 993 1022 10.1162 / jmlr.2003.3.4 - 5.993 阿伦 R 苏雷什 V MC 毫米 用潜在狄利克雷分配寻找主题自然数:一些观察 2010 柏林,海德堡 施普林格 391 402 J T J Y 年代 一种基于密度的自适应LDA模型选择方法 Neurocomputing 2009 3. 72 7号到9号 1775 1781 10.1016 / j.neucom.2008.06.011 Deveaud R SanJuan E Bellot P 面向特殊信息检索的准确有效的潜在概念建模 文档numerique 2014 04 30. 17 1 61 84 10.3166 / dn.17.1.61 - 84 威尔士 E 舒乐问 B Y Havasi C 意见挖掘和情感分析的新途径 IEEE intel系统 2013 03 28 2 15 21 10.1109 / MIS.2013.30 Tausczik Pennebaker JW 词的心理意义:LIWC与计算机文本分析方法 心理学[J] 2009 12 08 29 1 24 54 10.1177 / 0261927 x09351676 科恩 J 标称比额表的一致系数 教育心理手段 1960 04 01 20. 1 37 46 10.1177 / 001316446002000104 塞奇威克 P 皮尔森相关系数 Br Med J 2012 07 04 345 e4483 10.1136 / bmj.e4483 扩孔器 B 哈珀 H 威特 O 桑德勒 一个 deainfo.nci.nih 2014 06 13 2017-12-06 总统癌症小组:数字时代的癌症传播:机遇与挑战 https://deainfo.nci.nih.gov/advisory/pcp/pcp0614/13jun14stmt.pdf W 态度改变:说服与社会影响 精神病学年鉴 2000 51 539 70 10.1146 / annurev.psych.51.1.539 10751980 bohn G 绝对 NgydF4y2Ba 态度和态度的改变 精神病学年鉴 2011 62 391 417 10.1146 / annurev.psych.121208.131609 20809791 Ajzen 计划行为理论 器官行为嗡嗡作响的过程 1991 12 50 2 179 211 10.1016 / 0749 - 5978 (91) 90020 - t 疾病控制和预防中心 2011 健康传播者的社会媒体工具包 https://www.cdc.gov/healthcommunication/toolstemplates/socialmediatoolkit_bm.pdf 黄金 J Pedrana AE Stoove 年代 霍华德 年代 艾瑟琳说 J 大型 O Batrouney C Hellard 在社交网站上发展健康促进干预措施:来自FaceSpace项目的建议 J Med Internet Res 2012 14 1 e30 10.2196 / jmir.1875 22374589 v14i1e30 PMC3374544 寺观 提单 萨克雷 R 范Wagenen SA 汉森 CL 西 JH 巴恩斯 医学博士 费根 MC 在健康促进中使用社交媒体:目的、关键绩效指标和评价指标 健康促进计划 2012 03 13 2 159 64 10.1177 / 1524839911433467 22382491 13/2/159 希勒 E 戈特弗里德 J 新闻 2017 9 7 2017-12-06 2017年跨社交媒体平台的新闻使用 http://www.journalism.org/2017/09/07/news-use-across-social-media-platforms-2017/ Doing-Harris 公里 Mowery 戴斯。莱纳姆: 丹尼尔斯 C 查普曼 WW 康威 了解患者对所接受医疗保健服务的满意度:一种自然语言处理方法 AMIA年度会议进程 2016 2016 524 533 28269848 PMC5333198 Y Y J J P 从不同利益相关者的角度理解卫生保健社会媒体的使用:在线卫生社区的内容分析 J Med Internet Res 2017 04 07 19 4 e109 10.2196 / jmir.7087 28389418 v19i4e109 PMC5400888 Guillory J 一个 墨菲 J Bradfield B Nonnemaker J 谢长廷 Y 比较Twitter和在线小组对电子烟使用者和吸烟者的调查招募 J Med Internet Res 2016 11 15 18 11 e288 10.2196 / jmir.6326 27847353 v18i11e288 PMC5128722 年代 保罗 乔丹 Dredze 社交媒体作为中国空气质量的传感器和公众反应 J Med Internet Res 2015 03 26 17 3. e22 10.2196 / jmir.3875 25831020 v17i1e22 PMC4400579 戴维斯 K Y 莱维 H 推特上公众对奥巴马医改的回应 J Med Internet Res 2017 05 26 19 5 e167 10.2196 / jmir.6946 28550002 v19i5e167 PMC5466698
Baidu
map