使用基于机器学习的方法检测和分类人乳头瘤病毒疫苗错误信息:Reddit讨论的信息流行病学研究

介绍

背景

人乳头瘤病毒(HPV)感染是一种非常普遍的性传播感染。在美国，HPV感染每年导致大约33,700例癌症，包括宫颈癌、阴道癌、阴茎癌、肛门癌和头颈部癌[1，2]。自2006年以来，针对最常见的HPV亚型的疫苗已经可用，以预防相关的癌症和生殖器疣[3.]。尽管有无可否认的证据证明其有效性，但HPV疫苗在家长中一直存在争议，这导致了疫苗犹豫甚至拒绝接种[4]以及相对较低的HPV疫苗接种和系列完成率[5]。由于HPV是一种性传播感染，父母担心疫苗对性行为的影响，因此对HPV疫苗产生耐药性，以及疫苗的安全性，以及卫生保健提供者不一致的疫苗建议[6]。

蓬勃发展的反疫苗运动影响了美国疫苗的总体覆盖率，并导致麻疹等疫苗可预防疾病的死灰复燃[7]。研究发现，对疫苗的犹豫主要是由于对疫苗安全性的担忧，并受到通过社交媒体传播的错误信息的推动[8]。社会媒体作为一种信息渠道的迅速发展，使不准确或虚假信息的迅速传播成为可能，并为反疫苗运动提供了一个平台，传播与疫苗有关的错误信息[9]。反疫苗运动的参与者通过各种互联网渠道传播反疫苗情绪和错误信息，并对个人和社区健康产生明显影响[10]。媒体传播专家认为，网络上的错误信息正变得难以控制，尽管人们越来越担心它会损害消费者的健康。11]。限制这一现象的努力，如报道标记和事实核查工具，不足以压制错误信息的倡导者[12，13因为这些工具的效率和可扩展性是有限的，而且错误信息的传播速度和范围比真实信息要快得多。

减少社交媒体上的医疗和公共卫生错误信息非常重要;然而，大量的信息使得有效和准确地识别这些帖子具有挑战性。尽管社交媒体为用户提供了生成、分享、接收和评论社交内容的便利方式[14]，需要采用大规模的创新方法来跟踪和了解社交媒体上健康错误信息的传播[15]。

识别社交媒体上出现的与疫苗有关的错误信息是及时遏制疫苗错误信息持续传播的重要第一步。鉴于社交媒体上大量的帖子和社交媒体语言的独特特征(即句子不完整和拼写错误)，使用自动化方法识别错误信息是具有挑战性的。然而，基于机器学习(ML)的方法先前已被用于识别Twitter上有关争议话题领域的错误信息[16]和关于一系列话题的谣言[17]。机器学习涉及使用算法和统计建模，这些算法和统计建模提供了自动执行任务和学习的能力，而无需使用显式编程[18]。尽管这些机器学习方法很实用，但在医疗或健康主题上的应用却很少。迄今为止，一个基于ml的系统追踪了社交媒体上关于寨卡病毒的错误信息[19]并在特定卫生论坛(例如MedHelp)内对错误信息进行分类[20.]。尽管一直在努力开发用于疫苗主题情感分析的ML [21，22，据我们所知，没有事先的工作自动识别社交媒体上与疫苗相关的错误信息。深度学习(DL)是基于深度神经网络的机器学习算法的一个子集。虽然DL在多个任务中有先进的ML算法[23]， DL在疫苗错误信息识别方面的应用仍不清楚。

客观的

我们报告了各种传统ML和DL算法的效用，使用Reddit上的帖子自动识别和分类关于HPV疫苗的错误信息，Reddit是一个流行的社交媒体平台，每月活跃用户超过3.3亿[24]。Reddit用户主要是35岁以下的匿名年轻用户，超过一半(54%)居住在美国。25])。研究显示，美国年轻人对HPV感染的易感性较低[26]、与人乳头瘤病毒和人乳头瘤病毒疫苗有关的健康知识较低[27]，并且比其他年龄段的人更有可能在社交媒体上寻求健康信息[28]。表1多媒体附录1列出了手稿中与ml相关的术语及其定义。

方法

概述

我们使用混合方法对Reddit上的HPV疫苗错误信息进行识别和分类(图1）.我们的方法可以分为两个步骤:(1)评估用于疫苗错误信息识别的ML算法;(2)对包含疫苗错误信息(ML推断)的Reddit帖子进行主题建模。

‎ 查看此图

首先收集包含HPV疫苗关键字的Reddit帖子，然后将帖子的随机子集标记为包含错误信息或nonmisinformation．标记的Reddit帖子作为训练和评估各种传统ML和DL算法的黄金标准语料库。最佳算法，即在接收机工作特性曲线(AUC)下达到最高面积的算法[29]，然后被选中来推断其余未标记的Reddit帖子的错误信息标签。最后，我们将主题建模应用于被分类为错误信息的Reddit帖子，以探索主要讨论主题及其流行程度。

数据集收集和标记

我们收集了2007年至2017年期间Reddit上与HPV疫苗接种相关的讨论(N=28,121)。30.]。包含不区分大小写表达式的提交(主题启动者)和评论(对主题的响应)cervarix或“加德西”或者两者的结合人乳头状瘤病毒或乳头瘤病毒与拍摄或疫苗收集。

我们从收集到的Reddit帖子(2200/28,121,7.82%)中随机抽取一个样本(简单随机抽样)，并将这些帖子标记为错误信息或非错误信息。这一步的目的是建立一个黄金标准语料库(即带有专家分配标签的Reddit帖子)，用于自动ML算法的训练和评估。疫苗错误信息的定义主要是由反疫苗信息疫苗错误信息本体的分类[31]，一个描述疫苗错误信息的正式本体。在VAXMO中反疫苗信息类包含几个子类，例如疫苗无效，替代医学，公民自由，阴谋论，谎言,意识形态．Reddit帖子的随机样本被用来通过注释者之间的讨论制定指导方针。3个研究注释者达成先验共识，将子类合并公民自由和意识形态再加上两个类别:疫苗的建议和其他。由此产生的决策规则是，如果Reddit帖子包含一种或多种疫苗错误信息，则将其视为错误信息(文本框1）.

此外，生物医学信息学和公共卫生领域的3名研究团队成员(JD, SP, HS)参与了注释。前100个帖子作为培训，注释者独立地注释每个帖子，然后作为一个小组讨论每个帖子及其注释。当注释者对所有帖子达成共识(或根据多数投票做出决定)时，培训结束。经过标注训练后，剩余的抽样Reddit帖子被分成3个标注者进行独立标注。为了检查注释的质量，我们从未标记的Reddit帖子中选择了200个额外的帖子，JD、SP和HS分别对这些帖子进行了独立的处理。我们计算了3个注释者之间的Cohen κ [32]。总标记的Reddit样本被用作金标准语料库的基础，该语料库随后用于自动ML算法的训练和评估。

错误信息识别

文本分类

文本分类是自然语言处理(NLP)的一项基本工作，目的是将文本文章分类为预先定义的类别[33]。NLP是人工智能的一个子领域，它允许计算机处理和分析自然语言(即自由文本)数据。我们将从Reddit帖子中识别错误信息作为一个二进制文本分类任务。在基于机器学习的自动算法(如下所述)中，每个Reddit帖子被分配了两个独家标签(即错误信息或非错误信息)中的一个。

ML算法

我们评估了5种基于ml的算法:3种常规算法和2种深度学习算法。传统的机器学习算法(即基于非深度神经网络的算法)与特征工程被广泛用于文本分类任务。在这项研究中，总共评估了3种传统的机器学习算法:支持向量机、逻辑回归(LR)和极度随机树。支持向量机已广泛应用于文本分类任务[34-36]。LR在许多任务分类任务上也取得了良好的性能，但所需的运行时间大大减少[37，38]。极度随机树是一种基于树的集成方法，在我们之前对社交媒体文本分类任务的研究中取得了不错的成绩[39，40]。这些传统的机器学习算法采用词频逆文档频率(TF-IDF)作为特征。TF-IDF是一种数值统计，用于评估语料库中单词对文档的相对重要性[41]。

DL是ML算法的一个子集。我们在本研究中评估了两种常用的基于dl的框架:卷积神经网络(CNN) [42]和循环神经网络(RNN) [43]。传统机器学习算法的有效性取决于特定任务的特征工程[44]。深度神经网络可以利用预训练的词嵌入来捕获词的语义，这为领域专家的特征工程节省了大量的精力[45]。DL算法在许多文本分类任务上取得了最先进的性能[46-49]。

由于社交媒体帖子中经常出现拼写错误，因此所评估的深度学习算法都包含一个字符层和一个词嵌入层，用于将词汇表内(即拼写正确)和词汇表外(即拼写错误)的单词映射到高维向量上，以表示其语义。GloVe (Global Vectors for Word Representation)嵌入(即GloVe . 840b .300d) [50]用于初始化词嵌入层的权值。CNN模型以词级嵌入作为输入，分别馈送到convolution层和max-pooling层，即一个完全连接层和一个softmax层进行分类[42]。RNN模型遵循与CNN模型相似的架构，用双向长短期记忆层和注意层代替卷积层和最大池化层。

更具体地说，对于CNN和RNN模型，学习率设置为0.01，批大小设置为64,epoch数设置为100。两个模型的字符嵌入长度都设置为50。对于CNN模型，滤波器尺寸分别为1、2、3，滤波器数量为2048个;对于RNN模型，长短期记忆单元和注意层的隐藏维数设置为128。两种模型的退出概率均为0.2。选取验证集上AUC值达到最佳的模型进行测试和预测。

实验设置与评价

黄金标准帖子(即带有专家指定标签的Reddit帖子)以7:1:2的比例随机分为训练集、验证集和测试集。我们采用了空间标记［51]将帖子文本拆分为单独的单词，删除标点符号，并将大写单词和字母转换为小写字母。按顺序，火车组被用来火车算法中，验证集用于超参数选择，测试集用于评估模型的性能。考虑到标签分布的不平衡，参考标准是由最佳AUC测量的特异性程度。选择AUC值最高的算法对未标记的Reddit帖子进行疫苗错误信息的推断。

我们进一步绘制了表现最好的模型(即CNN模型)的精度和召回率曲线，并选择了最优截止点(基于最高的)F₁在Reddit帖子中识别疫苗错误信息的算法得分)。精确度定义为标签器识别出的错误信息帖子在分类器识别出的错误信息帖子中所占的比例。召回被定义为由分类器检索的标签器识别的错误信息帖子的比例。的F₁分数是准确率和召回率的调和平均值。切断通往最好的路F₁为CNN模型选择得分。该模型被用于识别剩余未标记的Reddit语料库中与疫苗错误信息相关的Reddit帖子。

错误信息主题模型

上面描述的ML和DL算法可以潜在地用于自动识别带有错误信息的Reddit帖子，但它们没有对错误信息的类型进行分类。我们采用了主题模型算法(即Biterm topic model [BTM]) [52]，我们从GitHub存储库中实现了代码[53])从Reddit帖子的错误信息中识别和可视化主要话题。主题模型是一种用于对摘要进行聚类的统计模型主题发生在文档集合中的。在使用性能最好的ML算法来识别包含错误信息的Reddit帖子之后，我们将BTM应用于这些帖子。我们对每个单词进行词干提取以去除词形词缀(例如，死来死和否认来德利）.主题数是BTM的一个超参数，它决定了将要生成的主题数。我们评估了5、10和20作为主题的数量，并通过对主题和相关帖子的手动审查选择了10个。然后，我们手动审查这些主题、相关词汇和帖子，以进一步识别与疫苗错误信息相关的相关主题。BTM还输出每个确定主题的流行程度。然后采用词云来提供这些主题的图形表示，其中每个词的大小与其在有关该主题的帖子中出现的概率成正比[54]。为了检验确定的主题之间的关联，我们进一步在这些主题之间进行了网络分析。

伦理批准和同意参与

本研究获得了休斯顿德克萨斯大学健康科学中心人类受试者保护委员会的机构审查委员会豁免。参考编号:HSC-SBMI-20-0151。

结果

错误的注释

从2007年到2017年，共有28121个Reddit帖子被收集，来自超过16633个独立用户。这些帖子的统计数据以及它们在subreddits(即用户创建的讨论板，其中帖子按主题组织)中的分布显示在表1．在研究期间，与HPV疫苗相关的讨论(就帖子数量和独立用户数量而言)呈增加趋势。这些帖子有207,651个赞(一个用户喜欢这个帖子)和10,700个下(一个用户不喜欢这个帖子)。在28121篇帖子中，我们手动标记了2200篇(7.82%)随机选择的帖子。我们通过计算3个注释者之间的Cohen κ来衡量注释一致性:JD和HS为0.5578,JD和SP为0.5216,HS和SP为0.4685。根据El Eman [32，这表明我们的金本位制质量很好。在2200篇帖子中，396篇(18%)被标注为疫苗错误信息，1804篇(82%)被标注为非错误信息。高度不平衡的标签分布为实现分类算法的高性能创造了障碍。

错误信息检测与分类

在用于识别Reddit帖子中疫苗错误信息的3种传统ML算法中，LR算法的AUC值最高(0.7678)(图2）.两种深度学习算法(CNN和RNN)的AUC值都高于传统的ML算法。CNN模型在错误信息的识别上略优于RNN模型(0.7943 vs 0.7908)。应用具有最优截止点的CNN模型对含有疫苗错误信息的Reddit帖子进行分类。CNN模型的准确率和召回率曲线如图所示图2．最佳截断导致精度为0.4083，召回率为0.6202，和F₁得分为0.4925。加上1.41%(396/28,121)的Reddit帖子被手动标注为错误信息，25.63%(7207/28,121)的帖子被随机分类为疫苗错误信息。

‎ 查看此图

主题建模从7207个Reddit帖子中生成了10个主题，这些帖子被归类为疫苗错误信息。通过对这10个算法识别的话题进行定性分析，并回顾它们相关的Reddit帖子，我们将它们浓缩为7个(6个主要话题+)其他)主题。识别出的6个错误信息主题的词云如图S1所示多媒体附录1．6个主要主题，分配给该主题的帖子百分比，以及帖子示例列出在表2．

误传网络分析

我们进一步分析了确定主题之间的网络。对于每个Reddit帖子，我们确定了2个最相关的主题(由BTM生成的概率排序)。我们假设这两个最热门的话题被链接到该帖子，这被认为是网络中的无向边。图S2多媒体附录1显示了这7个话题之间的误传话题网络。每个主题的圆圈大小与主题的关联程度成正比(即与其他主题的连接数量)。边缘的宽度与两个主题之间的连接数成正比。

讨论

主要研究结果

在这项研究中，我们评估了使用不同的基于ml的方法来分析与HPV疫苗错误信息相关的Reddit讨论。与传统的ML算法相比，CNN和RNN算法提高了AUC值。通过了一项BTM，以进一步探讨与疫苗错误信息讨论有关的主要议题。总的来说，与HPV疫苗错误信息有关的6个主要话题包括疫苗死亡和严重反应和醇佐剂被确定。的疫苗不良反应指的是关于安全问题的一般错误信息，是HPV疫苗错误信息中最普遍的话题。

Reddit上与我们的方法一致的疫苗错误信息内容比例最高的是关于一般疫苗不良反应的内容(2672/7207,37.07%)，其次是关于疫苗阴谋论的内容(1072/7207,14.87%)。这些结果与之前对基于社交媒体的疫苗错误信息的分析一致，该分析发现，关于疫苗知识和风险的不准确信息(37.9%)构成了大多数负面疫苗情绪的社交媒体帖子[55]。同一项小型研究还发现，13.8%的关于疫苗的负面帖子包括对政府和制药公司的不信任，这与我们在Reddit上更大样本中的发现非常相似。

我们进一步分析了ML推断包含错误信息和非错误信息的帖子中的顶级子reddit。包含最多错误信息相关帖子的子reddit包括科学(n = 653),AskReddit(n = 604),阴谋(n = 593)政治(n = 397)。相反，包含最多非虚假信息相关帖子的子reddit包括AskReddit(n = 2040),性(n = 1994),TwoXChromosomes(n = 1652)科学(n = 1385)。除了像科学和AskReddit在美国，错误信息往往集中在诸如阴谋和政治．Reddit上讨论HPV疫苗相关话题的帖子从2007年的15个增加到2017年的5878个。随着时间的推移，Reddit上错误信息的比例呈下降趋势。错误信息的比例从41.8% (72/172;2008年)上升到53% (8/15;在2007年至2009年期间，其范围为22.84% (1009/4417;2016年)至33.85% (730/2156;在2010年至2017年期间(2011年)。减少的原因可能是公共卫生专业人员的持续宣传努力，以及用户互联网验证技能的提高。

我们对6个已确定的疫苗错误信息主题的网络分析结果(除了其他)进一步强化了我们的发现，并展示了每个主题之间联系的强度。尽管对疫苗安全性的普遍担忧成为对HPV疫苗接种犹豫不决的主要原因，但网络分析表明，确定的其他突出主题，如阴谋论的存在，也可能源于对疫苗副作用的担忧。仅仅是相信政府和制药公司通过欺骗或牺牲消费者的利益从大规模疫苗接种中获利，就会对人们对疫苗的安全性和有效性的态度产生强烈的负面影响，从而影响到是否接种疫苗的选择[56]。

值得注意的是，注释者有趣地观察到，在这项研究中发现的Reddit帖子似乎与任何有组织的运动无关;相反，它们是由单身用户提出的个人观点。一旦发现这些错误信息，打击这些错误信息的一个潜在方法是通过有组织的运动来反击它们，由事实、循证信息组成，不承认虚假信息。正如其他研究所指出的那样，承认和尊重与疫苗有关的网络纠纷可能会导致卫生信息寻求者对有关疫苗效力和安全性的既定证据产生怀疑[57]。此外，研究发现，试图直接纠正错误信息往往会强化那些持强烈反疫苗观点的人的情绪[58]。

据我们所知，这是早期努力探索使用自动化ML算法(例如ML和NLP)用于识别和分类社交媒体讨论中的HPV疫苗错误信息。我们选择HPV疫苗作为我们分析的用例，但提出的方法框架也可以应用于其他类型的疫苗或其他相关的健康相关主题。基于机器学习的框架也可扩展到大型社交媒体数据。我们的工作可以帮助政策制定者和行业准确理解和解决社交媒体上健康错误信息的传播。本研究中开发的方法框架可推广到其他社交媒体平台，如Twitter，可用于识别回顾性和实时社交媒体提要中的错误信息。这种方法的使用可以纳入致力于遏制这些网站上与健康有关的错误信息传播的社交媒体平台，尽管应考虑到这种限制的道德后果。

局限性和未来工作

本研究应结合其局限性和未来的研究需求进行解读。鉴于社交媒体语言的独特性，准确识别错误信息是一项非常具有挑战性的任务。最佳算法的AUC值为0.7943，该性能还有一定的提升空间。我们目前的ML分类器的召回率高于准确率(0.6202 vs 0.4083)。这意味着分类器倾向于将错误信息和非错误信息都标记为错误信息。在现实世界的场景中，分类器可以作为预先筛选错误信息的工具，并且需要更严格的事实检查方法(例如，人工检查)来标记真正的错误信息帖子。高度不平衡的标签分布(即，只有396/2200,18%)在金标准语料库中被标记为错误信息)损害了机器学习算法，因为大多数用于分类的机器学习算法是基于每个类别的样本数量相等的假设设计的。不平衡的标签分布导致模型具有较差的预测性能，特别是对于少数类别(例如，在我们的情况下，错误信息)[59]。随着我们进一步完善和扩展黄金标准语料库，这对ML算法的评估和训练至关重要，我们期望性能得到改善。此外，我们会探讨使用数据增强技术[60]和随机过采样方法[61，62]，以纾缓因标签分配不均而造成的问题。其他新出现的高级深度学习算法，例如转换器的双向编码器表示(BERT) [63]有改善业绩的希望。此外，我们在Reddit帖子级别执行注释，这可能会牺牲准确性。一条Reddit帖子通常包含多个句子，这使得一条帖子中存在错误信息和非错误信息。因此，一个Reddit帖子注释为错误信息也可以包含基于证据的事实。未来的研究可以在句子层面建立标注和分类的效果，以提高错误信息识别的精度。另外，鉴定抽象的话题主题建模是结合专家评审的半自动化过程。然而，主题分配和总结可能是主观的，也有偏见。未来，我们可以探索使用监督算法进行更精确的主题发现。

结论

我们基于ml的方法在社交媒体平台Reddit上讨论的HPV疫苗错误信息的自动识别和分类中证明了有效性。大量基于网络和社交媒体的医疗和公共卫生信息可能使那些健康和网络素养较低的人难以浏览和找到真实的、基于证据的信息。虽然我们的机器学习算法不能单凭一己之力解决健康和疫苗错误信息的问题，但我们提供了一个创新的垫脚石，可以连接多种方法来对抗这种侵入性和日益增长的公共卫生问题。准确和及时地了解社交媒体上的疫苗错误信息可以帮助疫苗宣传活动，防止此类信息误导脆弱的公众。我们的方法也可以应用于其他社交媒体平台，如Twitter，尽管需要新的标记数据。