2015年麻疹疫情期间推文的公众感知分析:使用卷积神经网络模型的比较研究

简介

由一种高度传染性病毒引起的麻疹每年有近4000万例，导致全球30多万人死亡[1］．在美国，由于在全国范围内成功实施了两剂疫苗接种计划，麻疹于2000年正式宣布被消灭[2］．然而，近年来，麻疹疫情在美国重新出现。最近一次大规模麻疹疫情发生在2015年初，病例高度集中在加利福尼亚州[3.］．研究人员认为，拒绝接种疫苗和疫苗接种不足的比例不断上升，使公众更容易感染这种可能致命的疾病[4］．

在麻疹等传染病爆发期间，负责的公共卫生机构需要在危机的不同阶段及时向公众发出信息[5］．例如，美国疾病控制和预防中心(CDC)采用了危机和紧急情况风险沟通的5阶段模型，包括危机前、初始事件、维持、解决和评估[5］．及时了解公众的看法将使公共卫生机构能够实时对人们的态度、情绪和需求做出反应，而不是依赖于基于阶段的预定时间表。在传染病爆发期间，以调查等传统方法研究公众看法既费时又费钱[4，6］．

公众、病人和卫生专业人员越来越多地使用社交媒体来交流与健康有关的问题[7］．研究人员研究了社交媒体内容，以检测药物不良事件[8，9]、评估有关防疫等健康问题的公众意见[10-13]，以及传染病爆发监察[6，14，15］．推特是世界上最大的公共社交媒体之一，用户实时分享疫情信息，谈论个人经历，就疫苗接种的必要性和安全性进行争论，并表达各种各样的情绪，从而为公众如何应对传染病爆发提供了独特的见解。研究推特内容可以对公众的反应进行即时评估，并使公共卫生专业人员能够调整他们的信息，更有效地与公众沟通。

许多研究使用Twitter来评估各种公共卫生主题。然而，迄今为止的大多数研究都集中在分析帖子的频率上，而不是理解帖子的内容[16］．开发自动的、可扩展的方法来准确理解大量Twitter帖子的需求越来越大。机器学习和自然语言处理(NLP)技术的最新进展允许对大量Twitter帖子进行严格分析。但是，与其他领域的文本相比，Twitter文本具有非常鲜明的特点，如非常短的文本、独特的Twitter语言和结构等。对于一些与健康相关的主题，也存在不平衡的类分布问题(某些类比其他类频繁得多)，这可能进一步侵蚀NLP模型的性能[10，13］．为了提高与健康相关的Twitter数据集的性能，在特征工程上投入大量时间和精力[10，17，18]对于传统的机器学习算法，包括支持向量机(svm)、k-近邻(knn)等，都是必需的。

与传统的机器学习算法相比，神经网络模型具有优势，因为它们在特定任务的特征工程上节省了大量时间，实现了更高的性能，并且可扩展到大型应用程序[19］．最近的一些研究将神经网络模型应用于社交媒体，以了解公众的看法和行为。例如，Lima等[20.]研究了使用多层感知器神经网络对推特上的个性进行分类。黄恩等[21]和Coco等[22]提出了一个深度神经网络模型，可以从Twitter数据中识别药物不良反应。坎德拉(23]使用5层神经网络来描述推特上关于抗生素的讨论。边等[24]应用卷积神经网络模型对外行人的推文进行情感分析。赵等[25]提出了一种半监督深度学习的流感流行模拟方法。然而，据我们所知，很少有人利用神经网络模型研究Twitter上公众对传染病和疫苗接种的看法。

方法

数据收集

2014年12月1日至2015年4月30日期间发布的所有推文，包括“麻疹”一词，都是从DiscoverText.com上购买和下载的。之所以选择这一时间框架，是因为此次疫情的身份不明的零号患者于2014年12月访问了加利福尼亚州的迪士尼主题公园。2015年1月5日报告了最初几例麻疹疑似病例，2015年3月2日报告了最后一例病例。疾控中心于2015年4月17日正式宣布疫情结束[26］．总共收集了1,154,156条推文。在时间范围内收集的推文数量可以在图1．

‎ 查看此图

金标准注释

为了全面理解Twitter上与麻疹相关的内容，我们创建了一个包含3个维度的注释方案:讨论的主题，情绪的表达,疫苗接种态度．编码方案讨论的主题而且情绪的表达改编自Chew和Eysenbach [6]，而编码方案疫苗接种态度是作者归纳得出的。为讨论的主题，确定了5个主题:资源(关于疫情的新闻更新、关于预防、治疗、麻疹症状的医疗信息)、个人经验(关于麻疹的直接或间接经验)、个人意见和兴趣、问题和其他(与麻疹无关)。情绪的表达被分为5种类型:幽默或讽刺、积极情绪(缓解和淡化风险)、愤怒、担忧和不适用。数据收集基于关键词麻疹;然而，在收集到的推文中，关于疫苗的争论占很大比例。因此，我们利用这个机会来测量麻疹爆发期间公众舆论是如何随时间变化的。疫苗接种态度分为支持(接种疫苗)、反对(反疫苗)、不适用(无态度)3组。看到图2用于3个维度和每个维度中的类别的可视化表示。

两名编码员手动编码了通过系统采样选择的所有推文的0.1%。第一条推文是用随机数生成器识别出来的。在此之后，每1000条推文都会在样本中被选中。三个维度的Cohen kappa互码器可靠性值分别为0.78、0.72、0.80。之后，两名编码员讨论了他们的结果以解决差异。

神经网络分类系统

数据清理

推特上使用的词汇与一般的英语词汇非常不同。用户名、url和标签需要规范化。我们首先将包含所有大写字母的令牌替换为字符串“”的令牌小写。然后将所有URL替换为字符串" "。Twitter用户名(例如@twitter)被字符串“< user >”取代。所有数字都替换为字符串" "。所有的标签都用大写字母分隔成符号(例如，我们将“#VaccineWork”替换为“ VaccineWork”)。之后，所有的推文都被转换成小写。我们的推文预处理过程基于Stanford GloVe推文预处理脚本[27］．推文预处理步骤示例如下:

原始推文:“RT @KTLA: #突发事件:12月15日至20日，至少有9例麻疹病例与参观迪士尼乐园有关http://t.co/1GRlwFhPgv http://t.co/3Nl15jmqAE”

清理推文文本:“rt <用户>:打破:至少<数字>麻疹病例链接到访问<用户>从12月<数字> <数字> ”

卷积神经网络

常用于各种计算机视觉任务[28]，卷积神经网络(CNNs)在NLP领域表现出了出色的性能，包括不同的文本分类任务[29-32］．我们扩展了Kim提出的经典CNN句子分类框架[29]结合通用Twitter嵌入和目标域Twitter嵌入[33］．有关CNN系统架构的详情，请参阅图3．我们在数据清理步骤之后清理了推文。然后将推文的每个标记通过2个词嵌入映射到2个高维表示:普通推文嵌入和目标域推文嵌入。这两种嵌入都在训练过程中进行了微调。

‎ 查看此图

‎ 查看此图

我们使用3个大小为3、4和5的过滤器在每个嵌入上生成卷积层。由每个嵌入的过滤器生成的特征图被连接并馈送到池化层。我们采用最大池化策略，在池化层上的退出率为0.5。输出层由每个维度的不同类组成。这个CNN系统是基于Python和Tensorflow库构建的[34］．

词向量嵌入

对于一般的推文嵌入，我们使用斯坦福大学预训练的GloVe推文嵌入。GloVe是Pennington等人开发的一种无监督学习算法[35]来获得单词的向量表示。GloVe推文词向量在20亿条推文和270亿个代币上训练[35]并已广泛应用于不同的与twitter相关的NLP任务[31，36，37］．对于目标域嵌入，我们使用相同的GloVe算法从我们自己的麻疹相关推文语料库(1,154,156条推文)中训练了一个推文嵌入。我们在预实验中测试了不同数量的嵌入维度。在维度200中嵌入tweets单词对于我们的任务实现了最好的性能。

实验

对于基于cnn的框架，我们进行了以下实验:(1)仅使用预训练的GloVe推文嵌入，(2)仅使用麻疹推文嵌入，以及(3)使用预训练的GloVe推文嵌入和麻疹推文嵌入的组合。为了只使用1个嵌入，我们只使用了建议框架的1个通道。我们选择了4个流行的机器学习模型作为比较基线:KNN [38]， naïve贝叶斯[39]， SVM [40]和随机森林[41］．对于支持向量机，采用径向基函数核。我们遵循了与这些传统机器学习模型相同的推文清理步骤，并提取了n-grams特征。怀卡托环境知识分析库用于训练和测试这些模型[42］．我们还评估了双向长短期记忆(Bi-LSTM)，它在许多分类和序列标记任务中取得了最先进的性能[43，44]，用于推文分类。Bi-LSTM的输入是预先训练好的GloVe tweets嵌入(维数:200)。我们在公众对麻疹的认知的所有三个维度上进行了这些实验。

系统评价

我们利用10倍交叉验证来评估这些模型对每个分类任务的性能。计算每个班级的标准指标，包括精密度、召回率和F1分数。我们还计算了微观平均F分数和宏观平均F分数，以评估它们在每个分类任务中的表现。对于微平均分数，我们总结了所有个体的真阳性、假阳性和假阴性。对于宏观平均分数，我们取不同类别F1分数的平均值。

伦理批准

这项研究得到了休斯顿德克萨斯大学健康科学中心人体受试者保护委员会的机构审查委员会的批准。参考编号为HSC-SBMI-16-0291。

结果

金标准描述

总共有1151条推文被注释。所有3个任务的职业分布高度不平衡(表1)．在这方面讨论的主题，近三分之二(718/ 1151,62.38%)的推文被归类为资源(即疫情更新或有关麻疹的医疗信息)。不到三分之一(344/1151,29.89%)的推文是关于用户的个人意见和兴趣。只有1.82%(21/1151)的推文讨论了个人麻疹经验，1.73%(20/1151)的推文提出了问题。为情绪的表达， 79.84%(919/1151)的推文被归类为表达关注。9.47%(109/1151)的推文是幽默或讽刺的。正面情绪和愤怒情绪分别占推文总数的3.38%(39/1151)和3.04%(35/1151)。最后，关于疫苗接种态度大多数推文(913/1151,79.32%)没有表达对疫苗接种的任何意见，17.55%(202/1151)的推文是预防接种，3.13%(36/1151)的推文是反疫苗接种。

卷积神经网络模型与传统模型的总体比较

CNN模型与4种机器学习模型在3个维度上的性能比较表2．如图所示，基于cnn的模型比其他传统的机器学习模型或Bi-LSTM模型具有更好的性能。结合两种嵌入方法的CNN模型在仿真中表现最佳情绪的表达和最高的宏观平均F得分讨论的主题．带有斯坦福嵌入的CNN模型具有最高的微平均F分讨论的主题并取得了最好的成绩疫苗接种态度．有麻疹嵌入的CNN在上的微平均F得分较高情绪的表达而且疫苗接种态度．Bi-LSTM模型在神经网络模型中表现最差，可能是由于训练数据的大小有限。

如表2，在传统的机器学习模型中，SVM总体上在三个维度上表现最好。为了进一步比较CNN模型在每个类上的表现，并试图提高整体性能，我们计算并比较了SVM的精度、召回率和F分，仅嵌入斯坦福GloVe推文的CNN模型，以及通用和目标域嵌入结合的CNN模型。

三维支持向量机与卷积神经网络模型的详细比较

表3的SVM和CNN模型的比较讨论的主题．在精度分数方面，嵌入GloVe tweets的CNN在tweets数量较多的类(资源和个人观点和兴趣)上表现更好。结合两种嵌入的CNN在推文数量非常有限的类(即问题)上取得了更好的性能。在回忆评分方面，无论是采用斯坦福嵌入还是两种嵌入的组合，CNN模型对个人观点和兴趣、问题等推文相对较少的类的回忆率都有较大提高，而SVM在资源方面的表现略好。回忆得分的提高对F得分的提高有很大的促进作用。不幸的是，就班级个人经验而言，没有一个模型能正确识别任何推文。

支持向量机与CNN模型的比较情绪的表达可在表4．CNN模型在愤怒和不适用等情况较少的类别上获得了更高的精度分数，而SVM在幽默或讽刺方面表现更好。对于回忆和F1分数，使用斯坦福嵌入或两种嵌入组合的CNN模型在所有类别上都表现良好。总体而言，结合两种嵌入的CNN在更多类别上的表现优于仅采用斯坦福嵌入的CNN。

对于维度3，疫苗接种态度， CNN模型与支持向量机的总体比较见表5．两种CNN模型在大多数分类中都优于SVM，其中带有斯坦福嵌入的CNN模型在大多数分类中表现更好。具体来说，对于精度评分，SVM在class pro上表现更好，而CNN模型在class against上表现更好，不适用。两种嵌入组合的CNN在对比中获得了最高的精度分数。在召回方面，CNN模型在推文数量非常少的类别(即支持和反对)上表现得更好，而SVM在不适用的类别上表现得更好。在F1得分上，斯坦福嵌入的CNN表现最好，SVM表现最差。

讨论

主要的贡献

这项研究有两个主要贡献。首先，我们设计并实施了一个全面的方案，用于对麻疹相关推文的公众感知分析，包括讨论的主题，情绪的表达,疫苗接种态度．我们手动策划了一个黄金标准集，其中包含根据该方案注释的1151条推文。这些推文是从2015年美国最近一次麻疹爆发期间所有与麻疹相关的推文中取样的。根据标注结果，我们认为该方案可以成功地对公众的意见和情绪进行分类。其次，我们设计并实现了用于麻疹相关推文分类任务的CNN模型，并通过对类分布高度不平衡的小规模推文语料库的综合比较，考察其与传统机器学习模型的性能比较。

主要研究结果

将麻疹相关的推文分类为讨论的主题，情绪的表达,疫苗接种态度，不同的分类器更适合不同的任务。然而，与传统的机器学习算法相比，CNN模型在所有3个任务上都取得了更好的整体表现。CNN模型和SVM的详细比较表明，CNN模型能够在所有3个维度的几乎所有类别上提高性能。整体性能提升的主要贡献者是召回率的提高，特别是对于案例少于平均案例的类。结合两种嵌入的CNN模型可以获得更好的性能讨论的主题而且情绪的表达，而带有Stanford嵌入的CNN模型在疫苗接种态度．基于深度神经网络的模型的一个常见障碍是需要一个大型训练数据集。然而，对于像我们这样的与疾病相关的推文分类任务，结果表明，即使在只有1151条标记推文的训练数据集上，CNN模型也能比传统的机器学习模型表现得更好。

局限性和未来发展方向

虽然CNN模型可以大大提高大多数类的性能，很少的情况下，一些次要类的情况非常少，如个人经验在讨论的主题， CNN模型和传统模型一样无能为力。对预测结果的进一步检验表明，许多小类中的推文被错误地划分为大类。例如，个人经历中的推文，要么被归类为资源，要么被归类为个人观点和兴趣。赞成反对反对疫苗接种态度在美国，大多数推文被归类为不适用，占标记数据的79%。高度不平衡的类分布是传统机器学习方法和神经网络方法面临的主要挑战。由于目前的金标准训练集相对较小，我们计划收集和注释更多相关的推文(特别是属于较小类的推文)，以构建更大的标记数据集。我们相信通过使用更大的标记训练数据集可以提高性能。

未来的研究可能有几个方向。额外的超参数调优(即激活函数选择、池化策略)也可以提高与疾病相关的tweet分类任务的性能。此外，尽管Bi-LSTM模型在我们的任务上效果不佳(可能是由于训练数据大小有限)，但其他基于循环神经网络的框架，如专注的Bi-LSTM [45]可能会带来更好的表现，特别是随着训练数据的增加。改进后的模型可用于自动预测麻疹推文的标签，这将有助于大规模分析公众对麻疹以及其他传染病的认知。一些无监督的机器学习方法也可以用于探索麻疹相关推文数据集中的主要讨论主题，例如主题建模方法[46，47]，因为这样可以节省注释的工作量。

结论

在麻疹等传染病爆发期间，及时了解公众的看法将使公共卫生机构能够调整其信息，以满足公众的需求、关切和情绪。为了理解Twitter文本中关于麻疹和疫苗接种的内容，我们设计了一个分类方案，包含讨论的主题，情绪的表达,疫苗接种态度与麻疹相关的推文。收集了包含1151条tweet的金标准，并根据分类方案手动注释。对CNN模型进行了评估，将推文分为不同的类别，以完成不同的任务。通过与4种传统机器学习模型以及Bi-LSTM模型的比较研究，评估了CNN模型的性能。CNN模型从高度不平衡的麻疹相关推文数据集中提高了主题、情绪和态度分类的性能。本文提出的CNN模型可以应用于大规模推文数据集。我们提出的方案和基于cnn的推文分类系统在Twitter上对麻疹疾病的公众认知分析可以用于其他传染病如流感和埃博拉。