用基于变压器的机器学习模型对疫苗信心进行分类:推特话语中疫苗情绪的细微差别分析

简介

背景

尽管人们在社交媒体上分享了不同的想法、问题和对疫苗的关注[1]，对社交媒体上疫苗话语的研究[2]表明人们的担忧，特别是错误信息的分享，被放大了[3.］．值得关注的是关于接种疫苗的不精确和不准确的文章的数量。

已开展多项研究以监测社交媒体上的疫苗接种讨论[4-6］．尽早解决误解和不准确问题对于制定健全的疫苗政策至关重要。然而，目前还没有足够的研究如何有效地分类在社交媒体上每天分享的大量疫苗数据中对疫苗情绪的看法的细微差别。能够在更大的全球范围内监测和了解社交媒体上错误信息的传播和牵引力，是减轻此类信息负面影响的关键。

尽管从社会和新闻媒体检索到的数据可能不能代表整个人口，但它们提供了讨论和想法的快照，这里观察到的趋势仍然被认为对理解新出现的令人关注的问题以及新闻和社交媒体平台上的错误信息之间的联系以及这种错误信息对疫苗接种信心和吸收的影响至关重要。然而，要发现这种趋势，我们需要深入了解这些信息的内容。虽然定性方法可能会提供这种见解，但大量的新闻和社交媒体内容使得这些方法很难随着时间的推移应用于所有人群的对话。机器学习和自然语言处理(NLP)具有处理大量信息的潜力。然而，对准确性的担忧，特别是在处理用于表达疫苗意见的语言的复杂性时，使这些方法无法非常有效。

机器学习中的情感分析是指自动确定一段文本的作者是赞成、反对还是中立的过程。这与姿态检测略有不同，后者涉及自动确定作者对某个命题或目标的态度[7］．虽然情感分析只能查看特定语句的语气，但立场检测通常指的是特定语句之外的目标。

推文的作者可以通过对反对疫苗的人表达消极的态度来表达对疫苗接种的积极态度反对疫苗注射)．这种双重否定将被解释为积极的或促销．这可以被称为作者对疫苗接种的看法，而是因为情绪常用于指声明的情绪，我们发现将其称为作者的立场对接种疫苗。在研究像疫苗接种这样复杂的问题时，这种区别尤其重要，因为许多文本经常对疫苗接种表达强烈的观点，而不直接涉及疫苗。中给出的例子可以说明这种区别表1．

历史上，NLP通常专注于普通的情绪分析。从技术上讲，这是一个简单得多的任务，但从社会学的角度来看，它没有那么有用。相比之下情绪，一个人的的立场朝向目标可以用消极的或积极的语言来表达。例如，人们可以从反对转变为反对堕胎为促进反对堕胎没有改变他们的基本立场。在社会学分析中，我们通常更感兴趣的是人们对一个话题或目标的立场，而不是在一个特定的声明中表达的情绪。

客观的

这项研究的目的是更深入地研究人们对母亲接种疫苗的态度，以及通过使用多种机器学习方法来完成检测推文中立场的任务。我们试图量化训练有素的注释者对这些推文的分类有多准确，以及与更新的机器学习方法相比如何。

方法

概述

这项研究收集了2018年11月1日至2019年4月30日之间6个月内发布的16,605条推特消息(推文)，来自Meltwater [8，这是一个媒体情报系统。该数据集的收集和编码是为了补充一项关于15个国家(澳大利亚、巴西、加拿大、法国、德国、印度、意大利、墨西哥、巴拿马、南非、韩国、西班牙、台湾、英国和美国)孕产妇疫苗接种情绪和经验的更大规模研究。非英语推文使用谷歌翻译脚本(Alphabet Inc .)翻译成英语。多媒体附件1包括本研究中使用的搜索查询。在注释之前，所有用户名和链接都被一个公共标记取代。这有两个目的:它保留了匿名性，并限制了基于编码器对用户名的解释的潜在偏见。分析的目标应该是破译文本实际上是在告诉读者作者对疫苗接种的立场。

在这项研究中，孕妇接种疫苗通常是指卫生部门建议孕妇接种的疫苗。

单个推文被手动编码为立场类别(文本框1)．对孕产妇疫苗的态度分为四类:促销(支持孕产妇接种疫苗)，模棱两可的(不确定性和对孕产妇疫苗的复杂情绪)，令人沮丧的(反对产妇接种疫苗)，以及没有立场(不表明作者立场的关于孕产妇疫苗的陈述或事实)。虽然可以认为有些类别可以排序，但在分析中，我们将它们视为名义变量，而不是序数变量。因此，一条声明孕妇应该接种破伤风疫苗而不是麻疹疫苗的推文被认为是支持孕产妇疫苗的宣传帖子，因为它鼓励遵循当前的健康建议。

清理数据集

在初始注释之后，对数据集进行重复和半重复清理。半重复是指一些字符不同，但含义不变的推文。一个典型的例子是带有RT:前缀。另一个例子是，一条推文(由用户或机器人)加上了几个随机字符的后缀，以避免被(Twitter检测算法)识别为群发。为了检测半重复，我们对超过130个字符的推文使用小于30的非归一化Levenshtein距离。对于较短的推文，距离进行了缩放。注释人员定性地评估了重复数据删除算法的有效性。我们的目标是贪婪的识别出太多的半重复而不是太少的算法。虽然这可能会轻微影响训练集的大小，但人们认为防止看起来太相似的推文被包括在训练和测试数据集中是更重要的。我们已经开源了我们为清理和删除重复而开发的Python代码，并将其提供给我们基于web的GitHub存储库[9］．

由于推文的立场应该完全根据文本内容来确定，我们删除了用户名和url。除了清理用户名和url之外，其目的是确保机器学习算法的输入与呈现给人类注释者的输入完全相同。在这方面，这既可以保持匿名性，又可以限制注释者对用户名的解释所产生的潜在偏见。这也有助于履行道德责任以及欧盟的《通用数据保护条例》指导方针。总之，3名独立评注员筛选了所有帖子，排除了与怀孕期间接种疫苗无关的帖子。批注者也就最终纳入分析的文章达成了一致[10］．

在第一轮注释后进行重复数据删除，然后要求注释者重新编码他们提供不一致注释的任何推文。例如，在某些情况下，同一个编码器对相同的推文进行了不一致的编码。从材料中只出现两次的推文中，我们计算了包含或排除以及立场的自我认同得分。这样做是为了说明手动注释的一些潜在挑战(图1)．

‎ 查看此图

来自变压器的双向编码器表示

主要模型基于最新的(2019年5月)谷歌的变压器双向编码器表示(BERT)的全字掩码变体[11］．在2018年底发布时，该模型在11个NLP任务上展示了最先进的结果，包括斯坦福问答数据集1.1版(斯坦福自然语言处理组)[12］．BERT是一个双向的上下文编码器，建立在一个叫做Transformer的网络架构上，它完全基于注意力机制[13］．训练的主要部分可以在无监督和无标签的文本语料库上执行，如维基百科，预训练的权重[14都是在这个通用语料库上训练的。

我们在特定领域的语料库上训练模型，使模型暴露于通常用于疫苗接种岗位的词汇表。通过下载与疫苗和疫苗接种相关的关键字搜索获得的590万条推文，我们开始创建特定领域的预训练数据(多媒体附件2)．该集合从Meltwater下载，并以与产妇疫苗tweet相同的方式进行预处理(即重复数据删除和用户名或链接匿名化)。BERT架构依赖于使用蒙面语言建模和下句预测技术进行无监督预训练。后一种方法要求每个文本段至少有两个句子。因此，我们过滤掉了所有不满足这一条件的推文，将数据集从160万条减少到110万条。刘等人后来的研究[15]指出，下句预测任务并不像预期的那样有效，而且只在蒙面语言建模任务上训练模型可能是有益的。由于我们有如此大量的短文本，这将扩展我们的数据集。我们将此数据集称为疫苗-tweet数据集。

我们使用BERT词汇表对推文进行标记，并将序列长度限制为96个标记。通过限制序列长度，我们能够增加批处理大小，这对性能有积极的影响。图2显示下载的推文的序列长度，显示这种修剪只会影响不到千分之一的推文。人工检查了超过96个标记的推文，确认这些主要是重复序列，并且修剪并不影响含义(例如，一条语句后面跟着不同长度的重复字符字符串，例如．．．．．．或? ?)．在Martin等人的研究中，我们进一步探讨了词汇语料库中的话语分布、标签和词汇平衡[10］．

此外，我们还从疫苗信心项目(伦敦卫生与热带医学学院)媒体档案中获得了一个包含201133篇疫苗相关新闻文章的数据集。这些文章是通过自动关键字搜索从几个来源收集的，包括谷歌News, HealthMap和Meltwater。这是从新闻媒体和博客中广泛收集的与疫苗相关的英文文章。多年来，搜索标准一直在发展，这就是为什么它们有轻微的变化，但它们与中提出的列表非常相似多媒体附件2．我们将此数据集称为疫苗新闻数据集。我们选择不在孕妇疫苗特定数据集上预训练模型，因为我们希望编码器表示也用于其他与疫苗相关的主题。所有预训练的学习速率为2e-5，批大小为216，最大序列长度为96。

这些领域特定的预训练权重是产妇接种疫苗推文分类的起点。人工分类的产妇接种推文按照疫苗推文数据集中的推文进行预处理，然后按照60:20:20的比例(N=1633:545:544)分为训练、开发和测试数据集。

‎ 查看此图

微调

转座子模型的预训练是一个非常缓慢的过程，但是当这些预训练的权重确定后，最后的微调步骤就会很快。据我们所知，比较各种预训练模型的最佳方法是通过微调后比较它们的性能。图3表明在15个epoch之后，微调并没有提高性能，但运行之间存在相当大的差异。出于这个原因，所有预训练的模型在15个epoch中使用平均10次微调运行进行评估。

为了获得比较机器学习模型的基线分数，对各种传统的和完善的网络进行了训练。其目的是使用已建立的具有已知性能的网络与标准化数据集进行情绪和立场分析。基准架构、神经网络和长短期记忆(LSTM)网络有或没有单词表示的全局向量(GloVe;斯坦福自然语言处理小组)的词嵌入都是从Python深度学习夏勒特[16］．

为了验证神经网络能够解决其他神经网络任务，我们在最基本的NLP任务之一上测试了网络结构:预测IMDb(亚马逊公司)电影评论中的积极和消极情绪[17］．

最后的领域特定的预训练和微调是在一个云TPU(张量处理单元)v2-8节点上进行的，该节点具有8个核和64千兆字节的内存，估计性能为180万亿次浮点运算(谷歌云)。特定领域的预训练进行了2周，但是，如图所示图3在美国，跑步几天后没有明显的改善。在这个平台上，微调需要较少的计算资源，通常在几分钟内完成。

‎ 查看此图

结果

概述

总共有3名注释人员分别编码了2722条推文。在这2722条推文中，1559条(57.27%)编码相同，Fleiss一致性评分κ=0.56。在会面并讨论了他们不同意的推文之后，注释者同意对所有剩余的推文进行注释。尽管注释人员对每条推文的最终分类达成了一致，但他们还报告说，6.83%(186/2722)的推文“可以进行解释”。讨论后的最终一致批注与批注员的初始批注进行比较，个别批注员的准确性分别为83.3%、77.9%和77.5%。机器学习模型的准确性也计算了最终商定的注释。

NLP的一个基本神经网络由两个完全连接的层组成。对于我们的数据集，这只提供了43.7%的准确性。因此，该网络无法获得比简单地预测过度代表的任务更好的结果促销对于所有数据点。在此结构中添加预训练的GloVe词嵌入会导致稍微更好的性能，在测试数据集上的最大准确度为55.5%。然而，这两种方法在使用这种规模的数据集仅仅几个时代之后就过度训练了。

为了评估这种低准确度的原因，我们在IMDb数据集上测试了相同的网络，设置了相同数量的训练示例(N=1633)。在本例中，即使没有GloVe词嵌入，该网络的准确率也达到了80%以上，说明准确率低与母体疫苗分类困难有关。

现代LSTM模型是一种带有记忆模块的循环神经网络。这种模型架构在几年前被认为是最先进的。我们在这里能够获得63.1%的准确率，并且通过添加预训练的GloVe词嵌入可以将其提高到65.5%。

主要研究对象

我们的主要研究目标是调查最先进的NLP模型是否可以通过使用BERT架构进行改进。使用原始的预训练权重，我们在15个epoch的微调中达到了76.7%的平均精度。

从原始权重开始，在100万个epoch的更大的疫苗新闻数据集上对模型权重进行预训练。在不同的检查点(0 E、25万E、50万E、75万E和100万E)，对模型进行分叉，然后在更小、更具体的疫苗推文数据集上进行训练。

在每个检查点，网络对手动标记的推文进行了15个epoch的微调，10次运行的平均值显示在图4．使用领域特定内容的预训练，仅在疫苗新闻数据集上训练时，准确率达到了约79%的峰值。然而，通过先对疫苗新闻数据集进行250,000个epoch的训练，然后再对疫苗新闻数据集进行额外的200,000个epoch的训练，我们能够获得81.8%的准确性。有关精度的比较，请参见表2．

‎ 查看此图

讨论

主要研究结果

本研究中选择的类别经过了几次修订，以确保它们能够被清楚地理解。批注员都能说流利的英语，拥有研究生学位，并在该领域有几年的工作经验。

推文中包含的一些细微差别意味着，很难将它们明确地归类为一种立场。因此，即使同一位编码人员稍后被要求编码一条几乎相同的推文，他们五次中有四次选择了相同的代码。在被给予第二次机会编码所有重复且不一致的推文后，注释者会面并讨论了他们不一致的类别。最终的平均准确率为79.6%。

理想情况下，正确的注释应该是大多数有经验的注释者都会选择的注释。将注释者的数量限制在3个会导致所有注释者都错误地编写了相同的tweet，并且没有一个注释者选择了大量注释者会选择的类别。因此，我们有理由认为79.6%的准确率对于一个普通的人类编码员来说可能有点乐观，即使是一个在该领域有长期经验的人。

注释的任务具有挑战性，因为它对解释是开放的，这也是NLP所面临的挑战。我们的测试表明，一个简单的神经网络在IMDb电影评论任务上的准确率可以达到80%以上，但在对母亲接种疫苗的推文进行测试时，它无法更好地预测任何事情。

不出所料，LSTM网络比普通神经网络表现得更好。预训练的嵌入在所有情况下都有帮助。使用GloVe词嵌入可以提高准确性。使用LSTM网络，我们实现了63.1%的准确率，并通过添加预训练的GloVe词嵌入将其提高到65.5%。然而，LSTM网络仍然落后于人类的准确性。

相比之下，基于变压器的架构性能明显更好。通过使用预先训练的公开BERT权重，我们实现了76.7%的准确度。这与本研究中精度最低的编码器所达到的精度大致相同。

特定领域的预训练也显示出潜力。尽管预训练确实需要一些计算能力，但它不需要手动注释，这可能会在时间和资源方面带来很高的成本。同样值得注意的是，我们故意只在一般疫苗术语上训练模型。我们没有专门针对产妇疫苗领域进行优化。这样做的主要原因是，我们希望权重可以转移到疫苗领域的其他任务。

在我们的设置中，在对关于疫苗的新闻文章进行初始训练后，然后对疫苗相关的推文进行训练，获得了81.8%的最佳准确率。这种准确性优于3个注释者的平均值，即使注释者对同一条推文进行了多次注释，并有机会重新编码任何不一致的地方。

在我们看来，任何单独的编码器在这项任务上能够达到90%以上的准确率都是值得怀疑的，因为即使有大量的注释者，也很难就绝对分类达成一致。总会有一些推文可以被解读，因此很难达到绝对准确的目标。

限制

我们使用了有限的数据集，特别是仅包含100万条疫苗相关推文的推文数据集。同样合理的假设是，在更大的非疫苗特定推文数据集上进行预训练可能会产生积极的效果，因为推文的语言与其他文本的语言有很大不同。扩大数据集是潜在地提高准确性的一种简单方法。

虽然它们是准确的，但基于变压器的模型需要运行来分析大量文本。当用于监控目的时，这可能是一个挑战。然而，这个问题很有可能在将来会得到缓解。

谷歌在2018年底发布BERT后，Facebook、微软和谷歌对模型的基于变压器的架构进行了多次一般性改进，以改进基础模型[15，18，19］．这些在本研究中没有实施。目前在该领域有重要的研究活动，并且有理由假设在基础模型中实现这些改进并重新启动特定领域的预训练检查点将导致我们的分类更高的准确性。

结论

能够分类和理解社交媒体上关于疫苗接种的对话的总体立场，特别是在识别令人沮丧或模棱两可的对话集群方面，将更容易发现可能表明疫苗犹豫或疫苗信心下降的活动，速度更快，准确性更高。在当今的信息社会，手动地、持续地监控这些对话几乎是不可能的。在这方面，显然NLP具有巨大的潜力，因为它可以处理大量的文本信息。

然而，到目前为止，NLP只能够解决非常简单的任务，无法处理与复杂问题相关的语言细微差别(例如，对疫苗接种的态度)。基于变压器的模型的新进展表明，它们将成为这一领域的有用工具，为社会研究开辟了一个新的领域。

我们已经证明，通过大约1600条推文的训练数据集，我们能够获得至少应该达到训练有素的人类编码员在分类社交媒体上关于孕产妇疫苗接种讨论的立场时所期望的准确性。尽管进一步提高这种准确性是有好处的，但主要的研究挑战是减少训练样本的数量。到目前为止，这是一个未被优先考虑的研究领域，也是我们应该期待在未来取得进展的领域。这项技术的真正好处将首先显现出来，当我们能够用几个初始示例进行这种分类时。能够在大型语料库中对文本进行分类，为我们跟踪并最终理解疫苗立场和情绪提供了一种新工具。